先端メディア学「音声対話でイラスト検索」

2016年2月29日 (月) 投稿者: メディア技術コース

みなさん、こんにちは、

2016年度からメディア学部は新しい授業「先端メディア学」を始めます。大学1年生の後期から研究室に所属し、最先端の研究に加わる今までにないスタイルの授業です。「先端メディア学」には、ほぼ研究室の数だけテーマがあります。
その1つが「音声対話でイラスト検索」です。今日は、この授業テーマでどんなことをするのかを簡単に紹介しましょう。
図1は音声対話で図柄パタンを検索してデザインするシステムです(文献3)。最近スマホやタブレットで音声で情報検索できるようになりましたが、図柄は種類が多いうえに、どのように言葉で表現したらいいのかわかりません。でも、人間同士は「あの、モコモコしたマルッコイの」などのように言えば、相手にイメージ伝わります。そんなことをコンピュータの検索システムでもできるようにしたのです。

Zugarakensaku

図1 音声対話で図柄パタン検索

みなさんはスマホのコミュニケーションアプリのLINEは使っているでしょうか?LINEにはスタンプと呼ばれるイラストを表示できる機能があります。この種類は非常に多くて、検索が大変です。最近は、「がーん」などの文字入力でスタンプ候補が表示されるようになりましたが、音声を使えば、もっと便利に探せそうです。それで、LINEのスタンプを音声で検索する研究を行ってきました(文献1,2)。音声認識機能を搭載していますので、音声認識された文章はLINEの対話のように文字で表示されます。動作例を表示したいところですが、スタンプには著作権がありますから、ここには掲載できません。
このようなことができると、キーボードで文字を入力して検索する方法では検索しにくかった、いろいろなものが検索できるようになります。「先端メディア学」に参加して、新しい方法を開発しませんか?
参考文献
以下はすべて、卒業研究中に学会発表したものです。
[1] 雨宮 香織,相川 清明, "擬態語・擬音語による音声検索を用いたスタンプ描画システムの性能を左右する要因", 日本音響学会講演論文集, pp. 73-74, 2015-03
[2] 冨田観月、相川清明, "擬態語・擬音語音声入力によるスタンプ描画インタフェース", 日本音響学会講演論文集, 2-Q4-12, pp.144-145, (2014-03)

[3] Yukiko Suzuki, Kiyoaki Aikawa, "Towards Voice-Input Symbolic Pattern Retrieval using Parameter-Based Search", INTERSPEECH 2011, pp.1121-1124, (2011-08).
(相川 清明)

AltStyle によって変換されたページ (->オリジナル) /