映画館の巨大なスクリーンは、その誕生以来、視聴覚技術として発展し続けてきました。映画の発明から現在に至るまで、よりリアルな体験を提供するため、フレームを超えたさまざまな技術が提案されています。「フレーム感」というのは、メディアアートや写真の分野で用いられる専門用語であり、観る者と作品の間に存在するフレームの存在感を指します。このフレーム感を解消することは、観る者に「こっち」と「あっち」の区別を曖昧にし、より没入感を高めるための試みです。
このフレーム感の解消は、単にVR技術への移行以上のものを意味します。フレーム感が軽減されることで、観客は物理的なスクリーンがあるにも関わらず、映画の世界と同じ空間にいるような感覚を得られるようになります。つまり、より没入感を得るためには、フレームを超えた体験が必要なのです。これは、小さな映像や音声でも、フレーム感が薄れれば薄れるほど、観る者は映画の世界にいるかのような感覚を持てるということです。実際に「こっち」と「あっち」繋がってるような体験を実現することが、この技術進化の目指すところなのです。
Contents
「共在感覚」の実現に向けたアプローチ
2019年にNTTコミュニケーション科学基礎研究所を中心に山口情報芸術センター[YCAM]、慶應義塾大学大学院メディアデザイン研究科、名古屋工業大学の研究チームが開発した公衆触覚伝話は、音声や映像だけでなく、振動（触覚）も伝送することで、新たなコミュニケーションの形を模索する研究です。同じ空間を共有しているかのような「共在感覚」を生み出すことに焦点を当て、離れた場所にいながらも、遠隔地でも人々がよりリアルな交流を享受できるようにすることを目指しています。「共在感覚」というものはフレーム感をどのような方法で解消するかという問題で、このチームでは、触覚研究と視覚技術を専門とする研究者が協力して開発を行いました。
《公衆触覚伝話》 [2019] “Public Booth for Vibrotactile Communication”リサーチ・コンプレックス NTT R&D @ICC
高実在感を伴う遠隔コミュニケーションのための双方向型視聴触覚メディア「公衆触覚伝話」の提案 論文
公衆触覚伝話の仕組みと特徴
触覚伝話に使用されるラウンドスクリーンは、600mm x 1040mmで、R55mmのカーブを施し90度に曲げられています。水平面は床から700mmの高さに設定された、一般的なテーブルの高さです。スクリーンの上部に設置されたカメラは、対話時の垂直な上半身と水平なテーブル面を同時に撮影し、これらの映像を相手側のラウンドスクリーンにリアプロジェクションすることで、まるで600mm x 600mmの正方形テーブルを挟んで直接対話しているかのような臨場感を生み出します。
手元のサイズが同じであること、テーブル越しの相手が現実空間と同じサイズで見えることこの二つが重なったとき、この映像のフレーム感は軽減します。
軽減の一つの証拠として、普段のビデオ通話では自分の姿をモニターしながら対話をしますが、ここでは、自分の姿が気になりません。その要因は、自分が見ているように相手からも観られていると感じていることが上げられます。厳密にアンケート調査したわけではありませんが、テーブルを前にすると不思議とそう思えるのです。
技術的な側面では、カメラは90°傾けられており、縦方向のアスペクト比を利用します。スクリーン素材には、従来のリアプロジェクションスクリーンよりも光の拡散率が狭いフロストアクリルを使用しています。これにより、カメラがテーブル面を撮影しても映像のハウリングがほとんど発生しないため、よりクリアで鮮明な映像を提供します。
映像と触覚の認知的側面
さらにい一歩踏み込んだ認知的な説明をします。映像を鑑賞する際は、スクリーンやディスプレイが壁に掛けられたり、垂直に設置するのが一般的です。これは、人間が主に前方に注意を向けるため、前方のビジュアル認知が特に発達しているからです。視覚認知が主に垂直方向で行われるためです(図1 a)。一方で、私たちは手を使って物を操作する生き物であるため、テーブルのような水平面にも注意を払います(図1 b)。私たちは前方と手元の両方を認識し網膜に映る映像同等に捉えています。
奥行きの認識は大きく2つのタイプに分けられます。一つは物が重なっていることで奥行きを感じるタイプ図a、もう一つは物体が立ち上がっている面を通じて感じるタイプ図bです。
すべての人が遠近法の消失点を意識しているわけではありません。多くの人は図aの前方に物が重なることで、奥行きを感じています。図ｂの視点はこれは上から見た配置図に似ており、物が面上に立ち上がって配置されている様子を表します。これらは表面上似ているように見えますが、実際には少し異なる認識の仕方です。
手話において、手前の空間をミニチュアの箱庭のように表現する手法は一般的です。これはまるで上から見ているような視点、つまり俯瞰的な視点を取り入れているからで、人には図bの視点を持っています。
ラウンドスクリーンは、これら二つの視点が重なっており、普段一般的なビデオチャットには存在しない図ｂ-2の絵を映し出すことで、「こっち」と「あっち」をつなぎ合わせています。
触覚振動の役割と心理的効果
このシステムには、触覚振動を生成する振動子と、それを捉える圧電素子が搭載されています。これにより、一般の音声信号として転送される触覚情報をテーブルを介して相互に伝え合うことができます。触覚振動のハウリング除去は、あまり使用されない振動帯域にゲートを設定し、抑えられない振動帯域はエコーキャンセラーで制御しています。この技術により、例えば、ビー玉がコップの中でゆすられる際の振動や、重いものと軽いものの質感が異なることを感じ取ることができます。
しかし、現実の触覚と比べると、やはり若干の劣化は避けられません。そのため、このシステムは触覚だけではなく、映像や音声と組み合わせて、よりリアルなコミュニケーション体験を目指しています。例えば、テーブルに物が置かれた瞬間を、映像、音声、振動で表現し、実際の物体がそこにあるかのような錯覚を生み出すことができます。また、相手の手の感触を再現することで、より親密なコミュニケーションが可能になります。
このシステムに関する直接の実験ではありませんが、関連する基礎研究では、子供の宿題中の集中力を計るテストで、触覚振動子で触覚つまり鉛筆などのカリカリという音を双方向に共有する2つの勉強机が、通常の机よりも集中力を高めて持続させるという結果が出ています。この研究は、触覚振動を共有することで、別々の空間をつなぎ、子供たちの集中力に肯定的な影響を与える「共在感覚」の効果を示唆しています。
レイテンシー軽減は力技
この装置が開発された2019年当時、ビデオチャットのZOOMはまだ広く普及していませんでした。双方向コミュニケーションにおいて重要なのは、レイテンシー、つまり転送時の遅延です。遅延が少なければ、より精密で密なコミュニケーションが可能になります。インターコミュニケーションセンター[ICC]での展示では、有線のアナログ直結された装置と、東京と山口を結ぶ長距離転送装置が展示されました。長距離転送ではレイテンシーが問題となるため、専用ハードウェアの使用や太い回線の利用により、速度を大幅に向上させることで、フレーム感を軽減することに成功しました。
公衆触覚電話の使い方については以下のリンクが詳しいい
触感コンテンツ専門誌「ふるえ」26号
触感コンテンツ専門誌「ふるえ」27号
未来への展望
2021年には簡易型の触覚公衆電話が発表され、それに先立つ2022年には山口情報芸術センターで技術の未来を探るシンポジウム”YCAM InterLab Camp vol.4：遠隔・身体・共創“が開催されました。このシンポジウムでは、触覚技術だけでなく、ロボットアーム、VR技術、ラバーハンドイリュージョンなど、先進技術や錯覚現象について、研究者や技術者による講演やデモンストレーションが行われました。また、ハッカソンを通じて、参加者による自由な発想によるアイデアソンやプロトタイピングが行われました。この一連の活動は、テクノロジーと人間の感覚がどのように結びつくかを探求する貴重な機会となりました。