Summary
美の先端科学 インタラクティブアートの作り方
夢を与えるドラえもん その夢をアートで提供
アート作品が持つ目的のひとつとして、人々に夢を与えるという役割がある。特に、インタラクティブアートのように観客が触れることのできる作品では、実際に作品に接した観客に夢を持ってもらうことが重要ではないだろうか。 そんな夢を与える存在として思い浮かぶのが、かの国民的猫型ロボット”ドラえもん”である。このほど、大阪のサントリーミュージアム[天保山]で開催された“THEドラえもん展“に向けて『助けて！ドラえもん』という作品を制作したが、作品のモチーフとして、ドラえもんは実に格好の存在であった。
ドラえもんはいつも、のび太が困った時に、おなかの４次元ポケットから秘密の道具を取り出して、のび太を助けてくれる。こういう存在は、誰でも身近に欲しいのではないだろうか。そんな発想の元に作ってみたのが、『助けて！ドラえもん』なのである。
電話で受けた相談に込められた感情を認識
本作のコンセプトは“相談”である。人はいつでも、仕事や学校、恋愛といった悩み事を抱えている。その悩みを気楽に相談できる相手がいれば、気持ちがとてもラクになるはずだ。そこでこの作品では他人に悩みを聞かれないようにするために、電話でドラえもんと相談するというスタイルを思いついた。
電話を使って話し掛ける方式にはメリットがある。それは余計な雑音を拾うことなく、高い精度で音声を認識できる点だ。これまでの作品でも音声から感情を認識するという手法を採用してきたが、同じ手法を本作でも採用し、相談者の感情を判別することにした。
観客はディスプレーに映し出されたドラえもんと対話する形で悩み事を相談する。その時の声の調子から感情が認識され、ドラえもんの解答が決定される。その解答は“秘密カード”という一枚のカードとして、観客に手渡される。ちょうど、おみくじのようなものと考えればわかりやすい。
ここで採用している音声認識技術は、男性や女性、大人や子どもといった違いに関わらず、感情の認識ができるようになっている。そのため、ドラえもん好きのお子様のみならず、ママやパパでものび太の気持ちで、ドラえもんに甘えることができるのだ。
ドラえもんの音声でユーザーを惹きこむ
助けて！ドラえもんでは、ユーザーが電話の受話器を通して、自らの悩みをドラえもんに相談する。作品の外観は電話ボックスそのものだが、バックエンドではウィンドウズベースのパソコンが動作している。そこに内蔵された音声処理ユニットがと感情認識ユニットが、ユーザーの音声から会話の内容と感情を識別し、適切な回答を出力するという仕組みになっている。
本作品の大きな特徴は、ドラえもんの声が受話器から聞こえてくるという点だ。制作にあたってはドラえもんの声で知られる声優の大山のぶよ氏による協力を得た。ドラえもんが最初に話しかけてくれるセリフは次のようなものだ。 「ふふふふ、僕、ドラえもんです。こんにちは。君の相談に乗るからね。さあ、話して。」
ドラえもんの回答は“秘密のカード”で
これまでの作品では、コンピューター側で適切に音声が認識できない場合、ユーザーに対してエラーを伝える手段がなかった。だが助けて！ドラえもんでは、ドラえもんの音声がガイドとなり、話を促したりさえぎることができる。 たとえば、感情認識が不調な場合には「もうちょっと詳しく話して」「今なんて言った？」などのメッセージを出すことができるのだ。
音声処理と感情認識の詳細については下図のとおり。
この仕組みについてはこれまでの作品と大差はない。それに対し、助けて！ドラえもんにおける新しい点は、物質の形でリアクションを返すという点にある。
ユーザーには“秘密のカード“と名付けたメッセージカードが渡される。このカードにはドラえもんの名場面とその解説が記されており、その内容が、悩みへの回答となっている。
悩みに応じて回答が得られるという仕組みは、おみくじにアイデアを得たものだ。おみくじも一種のインタラクティブなシステムであり、その特徴を取り込むことで、助けて！ドラえもんは日本人の心情にマッチした作品に仕上がった。 
ドラえもんのお答えは相談者の感情から判定
助けて！ドラえもんでは、画面上のドラえもんがユーザーの悩みを聞き、その悩みにぴったりの言葉が記された“秘密のカード“をプレゼントしてくれる。一見、ドラえもんが悩みの内容を理解しているように見えるが、実際には、相談者のしゃべった内容は解答に反映されていない。
その代わり、相談者の話し声に隠された感情をコンピューターが判定し、その感情に応じた解答を出力するようになっている。ドラえもんが発するセリフは “インタラクティブ/スクリプト記述ファイル“という名前のファイルに収められており、音声はwavファイルで記録されている。その音声を必要に応じて再生している。
インタラクティブ性をリアルタイムＣＧで確保
画面上に現われるドラえもんの表情は、インタラクティブなＣＧとしてリアルタイムに生成される。特に重要なパーツは目の部分だ。これをドラえもんのカラダにテクスチャーファイルとして貼りこみ、全体のＣＧを生成している。
画面上に現われるドラえもんは３ＤＣＧとなっており、上や斜めといった角度から見たドラえもんも映し出される。もし最初から顔の表情を備えたＣＧを用意すると、データサイズがかなり大きくなり、描画にもパワーを食われてしまう。これではリアルタイム性を確保することは難しい。
だが、ドラえもんと電話を通して相談するというコンセプトからいって、本作にとってリアルタイム性はかなり重要な要素だ。その点、表情をテクスチャーとして別に用意すれば、カラダ自体は単純な形状なので描画が容易になり、十分に早い描画と応答が実現できる。
このように、感情認識とインタラクティブなＣＧ生成を組み合わせることで、本当にドラえもんが悩みを聞いてくれているような雰囲気を作り出すことに成功した。 
Documents
| 時間 | 2002.3.29 |
| 場所 | サントリー美術館 |
| 依頼 | あなたのドラえもんをつくってください |