視覚以外の仮想体験ってどこまで進んでるんですか？ - GIZMODO JAPAN

究極のVRってどんな世界なんだろう？

VR──バーチャルリアリティ、または仮想現実。究極の仮想現実とは、現実と寸分違わぬ世界なのでしょうか。もちろん空を飛んだり、ワープしたり、現実ではありえないようなことができちゃうのがVRの醍醐味です。ただ、今のところその世界は有限であり、自由も制限されています。

VRの世界で自由が制限されてしまうのは、既存のテクノロジーがまだ洗練され切っていないから。VRヘッドマウントディスプレイを装着して違和感を覚えるユーザーもいますし、パソコンとつながるケーブルによって体の動きが妨げられてしまう場合もあります。もうひとつ、VRで体験できる感覚が現時点では主に視覚と聴覚に限られてしまっているのもリアルな世界と大きく異なるところです。

嗅覚と味覚は記憶を形成したり、快楽を感じさせてくれたりと、現実世界で極めて重要な役割を果たしていますが、VRにはまだあまり取り入れられていません。さらにそこに触覚が加わり、それこそ今世界中のVR研究者が取り組んでいる喫緊の課題となっています。

さまざまな疑問・質問について専門家の見識を仰ぐ｢Giz Asks｣。今回は最新のVRテクノロジーについてのお話です。

触覚、味覚、嗅覚を刺激するVRテクノロジー

Krzysztof Pietroszek（アメリカン大学コミュニケーション学助教。Institute for IDEAS創立者兼ディレクター）

視覚以外の五感を体験させてくれるVRテクノロジーは、すでにいくつも商業化されています。

TESLASUIT（自動車メーカーとは関係なし）が開発しているVRハプティックスーツは、たとえばゲーム内で打たれたらその衝撃を感じられるようになっています。強い衝撃ではないですけどね。一方で、HaptXは外骨格のようなグローブ型ハプティックデバイスを作っていて、車のハンドルを握る時やりんごを手で掴む時の感触を再現してくれます。

シンガポール国立大学のNimesha Ranasingheは、舌の上に置くと様々な味覚を再現してくれる｢Digital Lollipop（デジタル・ロリポップ）｣という装置を作りました。あと、FeelRealという会社ではVRヘッドセットの下に着用するマスク型デバイスを開発中で、春の花々、山火事など、いろいろな匂いを再現できるそうです。

今こそVRテクノロジーの黎明期

Sarah Ostadabbas（ノースイースタン大学電気・コンピューター工学助教）

ストラップを締めて、ハプティックスーツにしっかりと身を包んだら、ゲームスタート。

あなたは一瞬にして中世ヨーロッパを彷彿とさせる異世界に運ばれ、気がつくと城の中にいます。背後にある暖炉の火が、脚のうしろをじんわりと温めるのを感じています。窓のほうへ歩いていくと、足音が石造りの床と壁に反響してコツコツと響きわたります。窓を開けると冷たい風が頬をかすめ、それと共に春の花の香りと羊の匂いが一緒くたになって吹き込んできます。羊毛の刈り取り時期だな、とわかります。窓辺に置いてあるトレイにはおいしそうなペストリーやタルトなどの焼き菓子がどっさり。ひとつ手に取ってほおばってみると、ちょっぴり塩気の利いたカスタードの甘さが口いっぱいに広がっていきます。

…こんな仮想体験を提供するために、テーマパークなどでは3D眼鏡や油圧サスペンションシート、それに加えて風、水しぶきや香りを噴射するマシンを使います。ただし、インタラクティブで多感覚的なVRの世界でこのような仮想体験ができるようになるのはまだまだ先でしょう。脳に直接介入して感覚野を刺激する高精度の手法が確立し、コンピュータの計算速度が上がれば可能になるかもしれませんが、少なくとも数十年先になりそうです。

しかしながら、冒頭でご紹介したような仮想現実を部分的に再現することは今でも可能です。そのうち聴覚はもっとも統合されつつある感覚のひとつで、たいていのVRシステムにはすでに空間サウンドが取り入れられています。聴覚はまだ視覚ほど忠実性が高くありませんが、没入体験には不可欠ですし、比較的容易に再現できるところがポイントです。

嗅覚に関しては、カートリッジに入った液体の香料を急速に気化させることで没入感の高い仮想体験を再現する手法やプロダクトがすでに開発されつつあります。もう一歩進んだところでは、嗅受容器に直接電気刺激を与える研究も始まっています。味覚に関しても、味を感じる受容体は舌に局所的に位置しているため、これらを電気、あるいは熱によって刺激することで味を再現する研究も行われています。

五つめの感覚である触覚はもっと複雑です。触覚は、圧力・温度・密度・加速度（直線と角）・物理的な抵抗力によって構成されています。フライトシミュレータには、加速しながら移動しているような感覚を再現するために長年油圧システムが使われてきました。近年では家庭でも使えるモーションベース（モーションベースとは｢臨場感を高めるために身体にかかる加重を再現するデバイス｣『仮想現実とVR』より）が出てきています。高価ではありますが、スポンサーがついているプロゲーマーならば手が届く価格帯でしょう。

ハプティックデバイスとはユーザーの動きに対して抵抗や振動を通じて触覚フィードバックを与えるシステムで、手術ロボットの遠隔操作、仮想オブジェクトの編集作業、またゲームにも使われています。最新の研究では、｢ごつごつした｣、｢べとべとした｣など、さらに複雑な触覚を再現する試みも始まっています。体全体を包み込むハプティックスーツの開発も進んでいます。

ほかのテクノロジーと同じく、これらのVRテクノロジーも広く普及すればするほど安価になり、さらに広く使われるようになるでしょう。まずは｢ふつうの｣VRヘッドセットなどを利用してみて、興味が湧いてきたところでさらに没入体験を深めるデバイスが求められるようになると思います。現時点ではまだ比較的ニッチな市場ですが。

嗅覚こそが次なるVR革命だ

Robert Stone（バーミンガム大学金属・材料科学教授。 Interactive Multimedia Systems研究室長、Human Interface Technologiesチームディレクター）

この5、6年間かけて、チームと共にVRに使われる嗅覚システム（正式には｢嗅覚ディスプレイ｣）を調査してきました。現在いくつかのプロダクトが市場に出ています。たとえば、Oloramaという会社は合成香料を噴射できるカートリッジ式注入システムを開発しています。これはデパートやスーパーなどで使われているシステムとも類似しています。

ほかにも、パラフィン製のブロックに人工香料を入れておき、高速で空気を注入することで香りを解放するテクニックも開発されています。また、プラスチックトレーの小さなくぼみに入った香料を加熱して、気化させてから風を送って拡散させるシステムもあります。

アメリカに本拠地を置くOVAという新しい嗅覚ディスプレイ会社では、主流のVRヘッドセットのほとんど（HTC Vive、Oculus Questを含む）に取り付けられる革新的な匂いデリバリーシステムを開発中で、現時点で確か9種類までの香りを扱えるそうです。私たちが今計画を進めている17世紀再体験プロジェクト『バーチャル・メイフラワー号』にもOVAの技術を使わせてもらおうと思っています。イギリスからピルグリムたちが新天地アメリカを目指して旅立った頃のプリマス港が、いかに異臭に満ちていたかを体験してもらうためにね！

VRの仮想空間内でどのように匂いがトリガーされるのかというと、オブジェクトのまわりに目には見えない｢力場｣のような空間域をつくり、VRユーザーの進路がその空間域と交差した時にその状況に即した香り、または複数の香りが放出される仕組みとなっています。たとえばイギリスの古いプリマス港を再現する際、匂いをトリガーするオブジェクトはたくさんありました。魚の匂い、滞留した海水の匂い、人糞、動物の糞などが充満し、どれだけ臭かったことか！17世紀のトイレのそば、または肥溜め、または汚物をそのまま海へ垂れ流している川の上を渡る時、あの時代にふさわしい悪臭の数々が鼻をつくことでしょう。

このような嗅覚ディスプレイを設置する時、私たちが常に直面してきた問題が｢いかに香りを届けるか｣です。ここでイギリス軍に向けた軍事用プロジェクトを例に取ってみましょう。中東に派遣された兵士が現地をパトロールしていた際に、特定の匂い──またはその匂いの欠如──がこれから起こりうる異変を知らせてくれることがわかったので、トレーニングのために中東の村の匂いを再現しました。例えば料理、タバコ、腐敗、乾燥肉などの匂いなどを生成することはできましたし、圧縮空気を使ったコンポーネントや電気じかけの装置を使ってそれらの匂いを空気中に放出することもできました。ところが、放出する際の機械音が香りよりも先にユーザーに届いてしまったせいで、残念ながら効果的なシミュレーションにはならなかったのです。

このような問題はあるものの、私は匂いこそがVRの世界で今もっとも注目に値すると確信しています。匂いはVRの没入感をさらに深めてくれますし、記憶や感情も呼び起こしてくれます。VR体験に音を加えるといかにユーザーのエンゲージメントが高まるかはもう何年も前にわかっていたこと。そこにさらに匂いを加えることで、VR体験に革命を起こすと信じています。

味覚は嗅覚と非常に近いものがありますが、18世紀にはすでに開発されていた電気的な手法あります（Galvanic Tongue Stimulation：味覚電気刺激と呼ばれるもの）。しかし、正直なところ、この先何十年かは味覚を刺激する非侵襲性な方法は出てこないと思います。さらにいうならば、『スタートレック』のホロデッキみたいな装置が開発されないかぎり、視覚、聴覚、触覚、嗅覚と、甘さ・苦さ・しょっぱさ・すっぱさ・うまみを感じられる味覚を体験できる完全没入型のVRシステムには到達できないと思っています。そのような装置が完成したら、もはやヘッドセットのようなガジェットを身につけなくてもVRを楽しめるようになりますね。

異なる触覚は異なる脳波のパターンを生み出す

Murat Akcakaya（ピッツバーグ大学電気・コンピューター工学准教授）

今私たちが取り組んでいる全米科学財団の研究プロジェクトでは、VRを含むシミュレート環境における触覚について調査しています。

まず、現実世界において人間かどのようにモノに触れているのかを観察することから始めました。ザラザラしていたり、ツルツルしていたり、異なるテクスチャを持つモノに触れている時、人の脳は異なるパターンを作り出すことがわかりました。脳波図、すなわちその瞬間に脳がどのように反応していたのかを見ることで、どんなテクスチャに触れていたかを判別できるようになりました。

次に、VR環境に移って、そこでの人々の脳の反応パターンを観測しました。電気刺激──振動のような刺激であればどのようなものでもいいのですが──を適用し、振幅・強度・振動数・位相などのパラメータを調節することで、実世界においてモノに触れた時に見られた脳波図と同じパターンを再現できるかどうか検証しています。

まだ調査段階の途中ですが、最終的な目標は実世界でリアルタイムに見られる脳波図のパターンをVRのようなシミュレート環境において再現できる電気刺激を開発し、VRの世界でよりリアルな触覚を提供することです。

VRで微小重力圏を再現する

Michael R.M. Jenkin（ヨーク大学電子・コンピューター工学教授。コンピューター・ビジョン、VR、モバイルロボティックの分野での研究に従事）

微小重力が長期的に人の知覚にどのような影響を及ぼすのかについて関心を持っています。

たとえば宇宙船を月に着陸させるための訓練を行うとしましょう。ただし、地球上で訓練を行わなければなりません。いざ宇宙船に乗って月へ向かい、着陸体制に入った時に受ける重力の影響は、地球と比べてかなり低下しているはずです。だとすると、地球で習得した着陸シミュレーションは果たして効果を発揮してくれるのでしょうか？それとも重力の影響が違いすぎるがために、シミュレーションで学んだことが逆にミスの原因になったり、パフォーマンスにマイナスな作用を及ぼしてしまうでしょうか？

これと逆のことも考えられます。長期のスペースミッションにおいて長らく重力ゼロの環境に身を置いていた宇宙飛行士が地球に帰還する際、微小重力下で積んだトレーニングがマイナスに作用することはあるのでしょうか？

以上のことから、私が本当に知りたいのは｢微小重力が体に及ぼす影響をVR環内で再現できないか？｣です。おそらくできると思います。

空間オーディオには改良の余地がある

Jurgen Schulze（カリフォルニア大学サンディエゴ校科学研究員）

私たちにはすでに｢空間オーディオ｣という名の耳にとってのVRがあります。ほとんどすべてのVRヘッドセットに空間オーディオ機能が搭載されています。同じ音でもひとつの耳からより大きく聞こえることで音に方向性が生まれ、VRの没入感を飛躍的に高めてくれます。

ただ、あからさまなだけに、音はVR環境においてもっとも重要で、同時にもっともないがしろにされている分野でもあると思います。空間オーディオをVRプログラムに組み込む時、適切な注意が払われていないと感じるからです。

ほとんどの場合、音が環境内でどのように反響するかまでは考慮されていません。ただなにもない空虚な環境で、ほかのオブジェクトも存在していない場所でアクションが起きた場合に想定される音が再現されるに留まっています。音の方向性はあるものの、その音が何かにぶつかって反響したり、異なる環境下で異なる音が出ることまでは反映されていません。

石造りの教会に入ると、そこでの足音はカーペットもカーテンも備わっている部屋とはまったく違う響き方をします。サッカーボールが石でできた床に当たる時、木でできた床ともカーペットが敷かれた床とも違う音がします。これらの違いがVR内に組み込まれていることは稀で、既存のVRアプリにも導入されていないことがほとんどです。

パンデミックに打ち勝つために必要なのは多感覚応用VRかもしれない

Kevin Curran（アルスター大学サイバーセキュリティ学教授）

バーチャルリアリティ（VR）は私たちの脳の主たる部分を騙すことでイマーシブな世界にいざないます。視覚的な没入感に加えて、ほかの感覚も視覚を補うために使うことができます。

VRの世界において使える感覚は視覚（見ること）、聴覚（聞くこと）、嗅覚（嗅ぐこと）、体性感覚（触ること）と温度覚（熱を感じること）です。これらすべてが統合されることにより、ユーザーはシミュレートされた環境に知覚的に没入することが可能になります。

様々な感覚を統合することでバーチャルな環境に没入する体験を初めて提供したのは1957年の『Sensorama』でした。ディスプレイに映像が表示されるとともにステレオサウンド・香り・風・そして椅子の振動が加わりました。しかし、この実験を最後に、ほとんどのVRシステムは立体映像を駆使して視覚と聴覚を刺激するのみとなっています。

例として『Lost Foxfire』というゲームシステムがあります。プレイヤーはVRヘッドセットと合わせて多感覚応用スーツを着用し、熱・風・そして香りの刺激を感じることができます。VRスーツには熱を感知するためのモジュールが5つ備わっており、体の前後、首の両脇、そして顔で熱を感じ取れるようになっています。プレイヤーがキツネに遭遇するとりんごの香りを嗅ぎ、また火に近づくとその熱を感じます。これらの感覚を通じて、プレイヤーの没入感が高められていきます。

音もVR体験には欠かせませんが、真にリアルでイマーシブな音となると、音の距離と方向性を再現できる空間オーディオが必要となってきます。VR大手のほとんどはすでに空間オーディオをハードウェアに取り入れていて、音が自然に耳から耳へと伝わる様を再現するべく細かい調整がなされています。

扁桃体は脳の感情と記憶を司る部分ですが、嗅覚とも密接に関わっています。だからこそ、匂いはパワフルな刺激ともなりうるのです。例として、ゲーム内で海辺で展開するシーンにおいて潮の香りが導入されたりしています。しかし、VR体験に匂いを取り入れることは決して簡単ではありません。匂いを作り出す成分はほかの成分と混じり合って違う匂いを作り出すこともあります。

これまで引き合いに出された例がゲームばかりでしたが、VRテクノロジーはゲーム以外の分野でも活用されています。触覚、または嗅覚に対する刺激を使って、特定の恐怖症やPTSD（心的外傷後ストレス障害）の症状を緩和する試みも研究されています。研究によると、触覚と嗅覚以外の感覚も加えていくことで、よりVRを使ったセラピーの効果が上がったそうです。

また、VRテクノロジーは常に進化を続けています。ハプティクスとは振動などによって身体的な感覚を再現する技術の総称ですが、これまでのハプティックデバイスはかさばるものが多く、それに加えて大きな電池や何本ものワイヤーが必要でした。ところが、つい最近ノースイースタン大学が開発したハプティックデバイスはたった15cm四方で、直接肌に装着することでアクチュエーターが振動して触覚を再現できる仕組みになっています。この｢人工肌｣とも呼ぶべきデバイスはアプリによるワイヤレス操作が可能で、様々な触感パターンを再現することができるそうです。

バーチャルリアリティは進化生物学に則って私たちの五感をジャックし、以前は考えられなかったほどにリアルな体験をしていると脳に信じ込ませる力を持っています。新型コロナウイルスの世界的なまん延が、現実世界のあやうさと、私たちがどれだけ人との触れ合いを欲しているかを浮き彫りにしました。次のパンデミックを乗り切るために必要なのは多感覚応用VRかもしれません。これだけは確かです──テクノロジーが衰退することはありえません。常に進化し続けるのです。