■しかく 研究内容

• ウェアラブル物探し支援システムのための筋電位情報からの物体把持状態検出
• もの探し支援インタフェースにおける機能とデザインの両立
• もの探しのためのウェアラブルインタフェースI'm Here!
• Ubiquitous Memories: 遍在する実世界対象物を依代とした体験記録管理手法
• Residual Memory: 場所をトリガとする記憶想起インタフェース
• 記憶する住宅:個人体験画像の受動閲覧による記憶拡張支援
• ObjectCam2:環境に対するロバスト性を増した把持物体抽出カメラ
• ObjectCam:I'm Here!のための把持物体抽出カメラ
• 発表論文・参考文献一覧

□しろいしかく研究の背景

拡張記憶は,ユーザの日々の活動におけるコンテクストを計算機が保持しておき,その一部を再現してユーザの想起活動を促すことで,ユーザ自身の記憶領域が拡張したかのように感じられるような支援を行うという考え方で,「体験メディア」という用語を使うこともあります.カメラやマイクロフォンを身体に装着してユーザの日常活動を入力・記録すると共に,ユーザの置かれた様々な場所や時における状況を認識するために運動センサ等の身体装着デバイスや環境中の様々なデバイスと連携する必要があるため,この分野の研究はウェアラブルコンピューティングやユビキタスコンピューティングのコンセプトと親和性が高くなっています.我々は特にユーザが「見た」一人称情報が獲得・蓄積でき,そのデータを再生することでユーザの体験を「再現」できる視覚情報入力デバイスとしてのカメラを身体に装着した拡張記憶インタフェースを主に提案・試作しています.特に我々は「モノ」,すなわち実世界対象物と「場所」を手がかりにした記憶拡張が有効であると考えています.
また,IPA 未踏ソフトウェア創造事業においても,体験メディアを中心に ユーザの知的能力を増強するソフトウェアの開発プロジェクトを支援していますので, こちらもご覧下さい..

○しろまる本分野の総合解説記事

• 河野05
• 河村06a

○しろまる参考文献

• 河野06b
• Kono04a

□しろいしかくKeyword

Augmented Memory, Experience Media, Wearable Computing, Life Log, Body-mouted Camera

□しろいしかく 物探し支援システムのための筋電位情報からの物体把持状態検出

I'm Here!では身体装着カメラを用いて物探しを支援していました. カメラ映像のみを用いると, 下図のようにオブジェクトを置く動作がカメラの視野外で行なわれた場合, ユーザに正しい情報を提示できません. そこで腕の筋電信号を用いて掌の開閉を検出することでオブジェクトを設置した瞬間が, カメラの視野外であった場合でも常に「認識した場所と設置した場所」が一致し, 正しい情報をユーザに提示できます.




左図にウェアラブル物探し支援システムの流れを示します. 筋電信号計測装置から腕の筋電信号を計測し, 得られた動作波形の周波数特性を捉えて把持状態を検出することで, 探したいオブジェクトが設置された瞬間を検出します. 検出結果を基に, オブジェクトが設置された瞬間のカメラから得られたフレームにタグ付けを行い, その前後の映像をユーザに提示します.

○しろまる参考文献

• 吉村11

□しろいしかく もの探し支援インタフェースにおける機能とデザインの両立

I'm Here!では身体装着カメラObjectCam2を 頭部に装着していました. これは頭部装着カメラは視点に近い場所・姿勢で設置されているため, 把持物体をよく捉えているだろうという予測に基づいていました. しかし,頭に大きなカメラを装着するという外見は現実の日常生活では奇異な上に, 首や肩に負担がかかります. 本研究ではもの探しという機能ニーズと日常生活の自然性というデザインニーズを両立させるために, カメラを腰に装着するスタイルをとって衣生活に溶け込むファッション性を目指しました. 被験者実験の結果,頻繁かつ高速に姿勢を変更し, また無意識に把持物の設置を行う際には顔が把持物や設置位置を向いていないことが多いなどの特性を持つ 頭部装着カメラよりも,腰部装着カメラの方が安定して把持物を捉えていることがわかりました. また,腰部装着カメラの方が記録映像を見たユーザがその場所を認知しやすいことも確認され, 提案デザインがもの探しに適した機器配置であることが確認されました.
○しろまる参考文献
• 河野06a
• 三宅06b
• Miyake06a
○しろまるビデオ
• ISWC2005ファッションショー映像(6MB,mpg) 縮小版(3MB,M4V)
• NHK BS「経済最前線」(視聴範囲限定,172MB) 縮小版(29MB,M4V) 関学情報科学科内限定(29MB,M4V)
• 東京MXテレビ「ガリレオチャンネル」(視聴範囲限定,100MB) 縮小版(12MB,M4V) 関学情報科学科内限定(12MB,M4V)
○しろまる報道
• 神戸新聞, 一生、まるごと検索 関学大教授「ライフログ」考案, 2008年02月09日夕刊.
• 学研「大人の科学.net」, アペリティフ・ド・シネマ 第8回「デジャヴ」〜過去を自由に見られるシステムが実現?〜, 2007年8月2日.
• NHK BS1「経済最前線」, 興味新々 「探し物」を見つけます, 2005年12月16日. ビデオ(視聴範囲限定,172MB) 縮小版(29MB,M4V) 関学情報科学科内限定(29MB,M4V)
• 東京MXテレビ「ガリレオチャンネル」, ライフログ〜人生すべてを記録したい〜, 2006年7月9日. ビデオ(視聴範囲限定,100MB) 縮小版(12MB,M4V) 関学情報科学科内限定(12MB,M4V)
• 朝日新聞, ITライフに女性のセンス・・・ 奈良女子大・奈良先端大 新作コレクション, 2005年10月22日.
• 南日本新聞, ファッション性重視, 2006年03月08日夕刊(遊歩道「コンピュータを着る4」).
• 南日本新聞, 忘れた物 素早く発見, 2006年03月01日夕刊(遊歩道「コンピュータを着る3」).

□しろいしかくもの探しのためのウェアラブルインタフェースI'm Here!

日常生活において,ものを置いた場所を思い出せずに探し回らなければならない場面が頻発します. ある統計ではビジネスマンがもの探しのために浪費する時間は1年間に150時間に達すると言われています. I'm Here!はそのようなもの探しを支援するウェアラブルシステムです. I'm Here!を使うと, 1) 身体装着カメラによりユーザの視点に近い位置から撮影した視野映像を常時獲得すると共に, 2) ユーザが物体を手に持っていればその把持物体が何であるかを視野映像から常時認識し,その情報を視野映像と共に拡張記憶として蓄積しておき, 3) ものを探す必要性が生じた際にユーザがシステムに探索対象物を指定すれば,システムは指定された物体が最後に認識された場面の視野映像をHMDに再生し, 4) ユーザは対策対象物を視野内に含む提示映像の背景に映り込んでいる情報から撮影場所,すなわち探索対象物を最後に把持していた場所を推定する, ことで探しものの場所を素早く思い出すことができます.I'm Here!は視野映像から把持物体を抽出するためにObjectCamやObjectCam2を利用しています.
○しろまる参考文献
• 河村07a
• 上岡04a
• Ueoka03
○しろまるビデオ
• NHK BS「経済最前線」(視聴範囲限定,172MB) 縮小版(29MB,M4V) 関学情報科学科内限定(29MB,M4V)
○しろまる報道
• NHK BS1「経済最前線」, 興味新々 「探し物」を見つけます, 2005年12月16日. ビデオ(視聴範囲限定172MB) 縮小版(29MB,M4V) 関学情報科学科内限定(29MB,M4V)
• 週刊アスキー 「今週のIT学会」, ウェアラブルPCが起こすファッション革命!?, 2003年4月15日号.
• 日経産業新聞, 映像備忘録を開発, 2002年4月3日.

□しろいしかくUbiquitous Memories: 遍在する実世界対象物を依代とした体験記録管理手法

実世界物体は,人にとって体験を思い出すトリガとなる機能を備えています. また生物・無機物を問わない全てのものの中に霊魂もしくは霊が宿っているというアニミズム的な考え方が, 古来より宗教・習俗の中に世界的に広く存在しています. UbiquitousMemoriesは人がモノに対して持つ上記のような感覚を利用し, ユーザは手首に小型RFIDタグリーダを装着して 個々のモノに関連する身近な体験を「封じ込め」ます. つまり遍在する対象物を体験記録メディアとして使うというメタファを採用し, そして人がモノに「触れる」という動作を「封じ込め(関連付け)」たり「解放し(閲覧し)」たりの操作のトリガとしています. これにより,ユーザは日常生活の中で体験記録を自然なオペレーションで整理することができ, また他のユーザと記憶(体験記録)を共有できます.
○しろまる参考文献
• Kawamura07b
• 河村05
• Kawamura02a
○しろまるビデオ
• 東京MXテレビ「ガリレオチャンネル」(視聴範囲限定,100MB) 縮小版(12MB,M4V) 関学情報科学科内限定(12MB,M4V)
○しろまる報道
• 東京MXテレビ「ガリレオチャンネル」, ライフログ〜人生すべてを記録したい〜, 2006年7月9日. ビデオ(視聴範囲限定,100MB) 縮小版(12MB,M4V) 関学情報科学科内限定(12MB,M4V)
• ネイチャーインタフェイス, ウェアラブルで日常生活はどう変わるのか? No.20, pp.18-21, Apr. 2004.

□しろいしかくResidual Memory: 場所をトリガとする記憶想起インタフェース

人は,過去に体験したのと似た光景に遭遇すると,過去の体験を思い出すことがよくあります. Residual Memoryは,常時獲得されるユーザ視点画像と既に蓄積された未編集の長大な体験映像記録との類似性を判定し,類似性の高い映像区間を「ユーザの現在地で過去に記録された映像」であると判断して,検索結果の映像をユーザに提示するインタフェースです. ユーザはこのシステムを使うことで,来たことのある場所に意識することなく再び訪れた際に,その場所での拡張記憶要素を提示してその場所での思い出を想起させられます. また,特定の場所で発生した出来事を思い出すために,ユーザがその場所に行くことで映像記録を参照して内容を確認するという備忘録的な使い方もできます.このようなインタフェースの実現のために,(1)頭部装着カメラ辺に取り付けた加速度センサによりユーザの頭部運動を検出すると共に, (2) 映像中の運動領域を検出し,それらの影響をキャンセルした形で映像間の類似度計算を行っています.この類似度計算を準リアルタイムに行うために,頭部装着カメラ映像の時間的,空間的遷移特性を利用したHySIMを提案しています.
○しろまる参考文献
• Kawamura02b
• Kawamura01b
• 河村01a
○しろまるビデオ
• 日経CNBC「こんにちは!知事さん」(2MB,視聴範囲限定) 縮小版(500KB,M4V) 関学情報科学科内限定(12MB,M4V)
• デモビデオ(25MB)
○しろまる報道
• 日経CNBC 「こんにちは!知事さん」, ウェアラブル記憶想起システム, 2001年10月7日, 12:00〜. ビデオ(2MB,視聴範囲限定) 縮小版(500KB,M4V) 関学情報科学科内限定(12MB,M4V)

□しろいしかく記憶する住宅:個人体験画像の受動閲覧による記憶拡張支援

個人体験をディジタル化し,記憶想起活動を支援する場として住宅を記憶媒体とする試みを行いました. 住宅内部に大量のストレージを内蔵し,個人の「見たもの」「書いたもの」をスチル画像化して蓄積し, それを整理しブラウジングする環境を構築しました. 膨大なスチル画像を住宅内に設置した複数のディスプレイ上に並列にスライドショウ表示し, ユーザが住宅内で常時それらの画像を受動的に閲覧することにより記憶想起活動が活性化することを確認しました.
○しろまる参考文献
• 美崎05
• Kono04b
○しろまる報道
• MYCOM PC WEB, 【レポート】Pervasive 2004から見えてくるユビキタスの未来像 (6)「Remembrance Home(記憶する住宅)」、世界デビュー , 2004年07月01日.
• MYCOMジャーナル, 記憶する住宅 〜ITリフォームから電脳住宅へ〜, 2003年07月29日.

□しろいしかくObjectCam:I'm Here!のための把持物体抽出カメラ

I'm Here!を実現するために把持物体抽出カメラObjectCamを作りました. ObjectCamは可視光カラーカメラと赤外線カメラがビームスプリッタを介して光軸一致状態になるようセットされており, 可視光カメラからのカラー映像と共に ObjectCam前部に設置された赤外線LEDからの反射赤外光を取得することができる. 対象物か得られる反射光輝度が光源からの距離の二乗にほぼ反比例するということを利用して 赤外線カメラからの入力をマスク画像とすることで, ObjectCamはユーザが把持している物体のような近接した領域の画像を簡便な処理で得ることができます.
○しろまる報道
1. MYCOM PC WEB, 【WISS2001レポート】ウェアラブルからPDAギターまで、仰天インタフェース大集合, 2001年12月12日.
2. ITmedia News, ウェアラブルコンピューティング:「ファッション」としてのウェアラブル, 2003年4月22日.
3. ITmedia News, 特集:ウェアラブルがいっぱい --ウェアラブル国際ワークショップ--, 2003年6月5日.

□しろいしかくObjectCam2:環境に対するロバスト性を増した把持物体抽出カメラ

ObjectCamは環境中に屋外や窓際などの赤外線が豊富にある環境では有効に機能しない上に, ビームスプリッタと2台のカメラを厳密に設置しなければなりませんでした. これを改良したObjectCam2は高速なCMOSセンサを採用して光学系をひとつに集約し, 赤外光源を明滅させる構成にしました. 赤外光源の明滅にあわせて消灯時にはカラー画像を, 点灯時には反射してくる赤外光を含むカラー画像を交互に撮影します. そして,ObjectCam2は消灯時と点灯時の画像の明度を差分し,照射された赤外光の反射光のみを観測した画像(反射赤外画像)を得ます. このような構成により,ObjectCam2は環境中に赤外光成分が豊富に存在する窓際のような環境でも ユーザ把持物体を安定して抽出することができます.
協力:(株)ソニー木原研究所 (現在,ソニー(株)技術開発本部)
○しろまる参考文献
• 上岡05
○しろまるビデオ
• NHK BS「経済最前線」(視聴範囲限定,172MB) 縮小版(29MB,M4V) 関学情報科学科内限定(29MB,M4V)

■しかく 研究発表

学術論文誌

• [Kawamura07b] T. Kawamura, T. Fukuhara, H. Takeda, Y. Kono, M. Kidode. Ubiquitous Memories: a Memory Externalization System using Physical Objects. Journal of Personal and Ubiquitous Computing, Special Issue on Memory and Sharing of Experiences, Vol. 11, No. 4, pp. 287-298, Apr. 2007.
• [河村07a] 河村竜幸, 上岡隆弘, 河野恭之, 木戸出正継 頭部装着カメラを用いた物探し支援システムにおける視野角の影響, 情報処理学会論文誌,Vol.48, No.3, pp.1336-1348, March 2007.
• [美崎05] 美崎薫, 河野恭之, 住宅内部での個人体験の常時受動閲覧による人の記憶の拡張, 情報処理学会論文誌,Vol.46, No.7, pp.1637-1645, July 2005.
• [河村05] 河村竜幸, 福原知宏, 村田賢, 武田英明, 河野恭之, 木戸出正継, 対象物に『触れる』行為と記憶の遍在化による日常記憶支援, 電子情報通信学会論文誌,Vol.J-88-D-I, No.7, pp.1143-1155, 2005.
• [上岡04a] 上岡隆弘, 河村竜幸, 河野恭之, 木戸出正継, I'm Here!:物探しを効率化するウェアラブルシステム, ヒューマンインタフェース学会論文誌,Vol.6, No.3,pp.19-30, Aug. 2004.

査読付口頭発表

• [三宅06b] 三宅祐子, 河野恭之, 河村竜幸, 才脇直樹, 柴田傑, 西野勝章, 鈴木健一郎, 木戸出正継. ファッション性を考慮した物探し支援システムのデザイン提案. 情報処理学会インタラクション2006, pp.37-38, Mar. 2006.
• [Miyake06a] Y. Miyake, Y. Kono, N. Saiwaki, T. Kawamura, M. Kidode. Integrating object finding function into everyday fashion, Proc. MU3I 2006 (Third Workshop on Multi-User and Ubiquitous User Interfaces), pp.18-19, Sydney, Australia, Jan. 2006.
• [上岡05] 上岡隆宏, 河村竜幸, 馬場茂幸, 吉村真一, 河野恭之, 木戸出正継. 日常生活における記憶活動支援のためのウェアラブルカラーカメラ. インタラクション2005, pp.85-86, Feb. 2005.
• [Kono04b] Y. Kono, and K. Misaki, Remembrance Home: Storage for re-discovering one's life, Proc. Pervasive2004 Workshop on Memory and Sharing of Experiences, Vienna, Austria, pp.25-30, ISBN4-902401-01-0, Apr. 2004.
• [Kono04a] Y. Kono, T. Kawamura, T. Ueoka, S. Murata, and M. Kidode, Real World Objects as Media for Augmenting Human Memory, Proc. MU3I (Workshop on Multi-User and Ubiquitous User Interfaces), (Technical Report No.83, Department of Computer Science at Saarland University, ISSN 0944-7822), Island of Madeira, Portugal, pp.37-42, Jan. 2004.
• [Ueoka03] T. Ueoka, T. Kawamura, Y. Kono, M. Kidode, I'm Here! : a Wearable Object Remembrance Support System, Proc. MobileHCI 2003 (Fifth International Symposium on Human Computer Interaction with Mobile Devices and Services), pp.422-427, Udine, Italy, Sept. 2003.
• [Kawamura02b] T. Kawamura, N. Ukita, Y.Kono and M.Kidode, HySIM: A Hybrid-space Image Matching Method for High Speed Location-based Video Retrieval on a Wearable Computer, Proc. MVA2002 (IAPR Workshop on Machine Vision Applications), Nara, Japan, pp.94-97, 2002.
• [Ukita02] N. Ukita, A. Terabe, Y. Kono, M. Kidode, Wearable Virtual Tablet: Fingertip Drawing Interface using an Active-Infrared Camera, Proc. MVA2002 (IAPR Workshop on Machine Vision Applications), Nara, Japan, pp.98-101, 2002.
• [Kawamura02a] T. Kawamura, Y.Kono and M.Kidode, Wearable Interfaces for a Video Diary: towards Memory Retrieval, Exchange, and Transportation, Proc. ISWC2002 (6th International Symposium on Wearable Computers), pp.31-38, Seattle, USA, 2002.
• [Kawamura01b] T. Kawamura, Y.Kono and M.Kidode, A Novel Video Retrieval Method to Support User's Recollection of Past Events Aiming for Wearable Information Playing, In Shum, H.Y., Liao, M., and Chang, S.F. (eds.) Advances in Multimedia Information Processing -PCM2001 (Proc. The Second IEEE Pacific-Rim Conference on Multimedia, Beijing, China), Springer LNCS2195, pp.24-31, 2001.

解説

• [河村06a] 河村竜幸, 河野恭之. ウェアラブルコンピューティングによる記憶拡張. システム/制御/情報, Vol.50, No.1, 特集「体験の記録・利用とその意義」解説記事, pp.23-28, Jan. 2006.
• [河野05] 河野恭之. 拡張記憶インタフェース. 日本バーチャルリアリティ学会誌, Vol.10, No.2, 特集「ユビキタスとVR」解説記事, pp. 72-76, Jun. 2005.

その他の口頭発表

• [吉村11] 吉村昂士,河野恭之. ウェアラブル物探し支援システムのための筋電信号からの把持状態検出. 情報処理学会第73回全国大会, 3ZB-1, Mar. 2011.
• [河野06b] 河野恭之,河村竜幸,才脇直樹,木戸出正継. 実世界対象物を利用した日常記憶支援の試み. 第49回 自動制御連合講演会, Nov 2006.
• [河野06a] 河野恭之, 三宅祐子, 才脇直樹, 河村竜幸, 木戸出正継. 物探し支援ウェアラブルシステムのためのカメラ装着位置の検討. 情報処理学会 第118回ヒューマンインタフェース研究会, 2006-HI-118, pp.31-38, May 2006.
• [Ueoka04b] T. Ueoka, T. Kawamura, S. Baba, S. Yoshimura, Y. Kono, and M. Kidode, Wearable Camera Device for Supporting Object-Triggered Memory Augmentation, Proc. 3rd CREST/ISWC Workshop on Advanced Computing and Communicating Techniques for Wearable Information Playing, Arlington, VA, Oct 2004.
• [河村01a] 河村, 河野, 木戸出. 日常生活を拡張する着用指向情報パートナーの開発 -画像による日常記憶と想起のための基礎実験-. 画像電子学会年次大会予稿集, pp.85-92, 2001.

---

河野恭之 / 情報科学科(人間システム工学科) / 理工学部 / 関西学院大学

---