[VR-content] The Other in You わたしの中の他者 2018

コンテンポラリーダンスの新しい鑑賞方法として制作されたこの作品は、最先端のCG(コンピューター・グラフィックス)、身体にダイレクトに表現する触覚センサー、17チャンネルの立体音響、そしてVR(バーチャル・リアリティー)技術の独自の研究を元に、それらを結集することで、これまで体験したことのない、ダンスの鑑賞体験を実現しました。

これまでの劇場体験は、暗く身動きの取れない客席でしたが、VR等の新しい視聴覚技術は没入型の一人称視点へとシフトし、これまで闇の中だった鑑賞者をスポットの当たるステージ上に連れ出し自由な体験を可能にしました。

本作品では、VR技術によって忘れられていた鑑賞者の身体がデプスカメラ(奥行きの情報を取得する深度センサーを内蔵したカメラ)によって3Dで再現され、作品のいち役者として登場します。さらに、鑑賞者の視点は一人称視点から三人称視点へと幽体離脱的にスライドし、これまで体験したことのないボディーイメージを体験できます。

近年、VRの視聴覚技術は大きく飛躍しましたが、VR技術における触覚ディスプレイはまだまだ発展途上にあります。表面的な触覚体験は作れるものの、重さや硬さを表現することが技術的に困難だからです。
本作品では、視聴覚に対応した触覚体験ではなく、共感覚としての触覚情報を扱い、体験者は、白い球体のインターフェイスに触れることで、踊りの躍動感を触覚的に体験します。

本作品のVRによる視点移動体験と触覚体験によって、観客は「私」が身体に宿る唯一単一の心というもののバランスが揺らがされます。その体験は、究極的には、ダンス体験が自分の中に見出す他者であると作者は意味付け、タイトルにその意味が込められています。

3DCGアニメーションは、映画、ゲーム、デザインの現場など、様々なジャンルで使われています。現在、個人でも映画制作会社に劣らない作品が作られるようになりました。しかし、CGの動きにかんしては、自主制作の場合、コンピューターに直接手入力して動きを作ります。これはモーションキャプチャデータ(動きのデータ)からキャラクターに動きを割り付ける作業が、各社各ジャンルで全くノウハウが異り、実は複雑で簡単にはできないからです。

この作品では、高額でブラックボックス化したアプリケーションを使わずに、ダンサーの動きのデータキャプチャーからキャラクターへのリターゲット(動きの割付)をする際のクリエイティビティーは担保しながら、それらの製作を行いました。

一般的に、VRのインタラクティブコンテンツを制作するプラットフォームの多くはゲームを作るために特化された仕様になっているため、制約が多くあります。
今回のプロジェクトでは、VRの立体視のリアルタイムレンダリングにTouchDesignerが使われ、アセット製作等、メインのDCCツールとしてHoudiniが使うことでより自由な制作環境をじつげんしました。

Houdiniは一般的には主にVFXエフェクト等の製作で使われるツールですが、今回の制作ではモーションキャプチャデータを使ってのキャラクターのアニメーション、シーンのセットアップ、ライティングなど制作を大部分をHoudini上で行なっています。その他のツールとしてはモーションキャプチャの収録にOptitrack Motive、モーションキャプチャデータのリターゲッティングにWebAnimate、キャラクターモデルの制作に3DS Maxが使用されました。

Theater experience until now was limited to stationary audience seats in the dark, but new visual and auditory sense techniques such as VR have shifted to absorbing with the first person view. This shift has enabled the audience in the darkness to step up to the stage with the spotlight and experience freedom and mobility.

In this work, the observer’s body, which was forgotten in the VR techniques, will be reimaged in three dimensions by the depth camera, which obtains the depth information from a depth sensor embedded in the camera, and will play a role in the work. The observer’s perspective slides from the first person view into the third person view, which is astrally projected.

Recently visual and auditory VR techniques have been rapidly progressing, but the haptic display in VR is still in the development process. They are able to produce surface haptical experiences, yet are unable to create weight or hardness with recent techniques.
This work will interact with haptical information going beyond the visual and auditory senses to work on a synesthesia basis. The audience will haptically experience the dynamics of the dance by touching the white spherical object interface.
The audience will experience the unbalanced one and only “I” in a person’s body by this work’s VR, experiencing the moving viewpoints and haptical experiences. The experiences in the end will ultimately be “the other” found in one person, which is why our title is “The other in you.”

3DCG animation is used in movies, games, designs and more. Today, individuals are able to create as high-quality animation as movie production companies can. As for the CG movements, the individual creators directly enter the movements. As the layout process of the motion capture varies from company to company and is complex, the individuals are therefore forced to choose direct entries.

We produced this work without using expensive black boxed applications while maintaining the creativity of the retargeting to characters from the captured date of the dancers’ movement.

In general, the VR platform for making interactive content is specialized for creating games, limiting it. In this project, we applied TouchDesigner to the real time rendering on the VR stereoscopic and Houdini as a main DCC tool for asset productions, enabling us to have a freer creative environment.

Houdini is usually mainly applied to VFX effects, but we used Houdini in this production for greater extent from creating the character animation by using motion captures, to the setup scenes and lighting. Other equipment was also used, Optitrack Motive for shooting the motion capture, WebAnimate for retargeting the date of the motion capture and 3DS Max for creating the character model.

コンセプト、ディレクション、機構設計:大脇理智(YCAM InterLab)
共同開発:YCAM InterLab

ダンス: 辻本智彦

音楽・サウンドデザイン:内橋和久
音響システム構築:中上淳二(YCAM InterLab) 、伊藤隆之(YCAM InterLab)
録音:中上淳二(YCAM InterLab) 、安藤充人(YCAM InterLab)

ビジュアル・プログラミング、システム・ディレクション:比嘉了

CGディレクション:尹 剛志(十十)、小松 泰(回)
CG協力:高原文江(YCAM InterLab)、太田拓
撮影用システム制作・オペレーション:岩谷成晃(anno lab)
モーション解析 : 清水琢人
視聴用ヘルメット作成:安藤充人(YCAM InterLab)

テクニカル・マネージメント:岩田拓朗(YCAM InterLab)
プロダクション・マネージメント:クラレンス・ン(YCAM InterLab)
テクニカルサポート:西村悦子、矢野舞台

コーディネーション：イフク キョウコ、北堀あすみ(YCAM InterLab)

監修:伊藤隆之(YCAM InterLab)
キュレーション:竹下暁子(YCAM InterLab)

山口情報芸術センター［YCAM］委嘱作品
Richi Owaki+YCAM “The Other in You”

Concept / Directed by Richi Owaki (YCAM InterLab)
Co-developed with YCAM InterLab

Dance: Tomohiko Tsujimoto
Music /Sound Design: Kazuhisa Uchihashi

Sound System Engineering: Junji Nakaue (YCAM InterLab), Takayuki Ito (YCAM InterLab)
Sound Recording: Junji Nakaue (YCAM InterLab), Mitsuhito Ando (YCAM InterLab)

Visual Programming / System Direction: Satoru Higa
CG Direction: Takeshi Yoong (Jitto), Tai Komatsu (Cai)
CG cooperation: Fumie Takahara (YCAM InterLab), Taku Ota

Sensing System Operation: Nariaki Iwatani (anno lab)
Motion Analysis: Takuto Shimizu
Helmet for HMD: Mitsuhito Ando (YCAM InterLab)

Technical Management : Takuro Iwata (YCAM InterLab)
Production Management : Clarence Ng(YCAM InterLab)
Technical Support : Etsuko Nishimura, Yanobutai
Coordination: Kyoko Ifuku, Asumi Kitahori (YCAM InterLab)

Supervisor : Takayuki Ito (YCAM InterLab)
Curator: Akiko Takeshita (YCAM InterLab)

Commissioned by Yamaguchi Center for Arts and Media [YCAM]

–
比嘉了

1983年生まれ。プログラマー/ビジュアルアーティスト、リアルタイム3Dグラフィックス、コンピュータービジョン等の高度なプログラミング技術と多種多様なプロジェクトに関わった経験を生かし、インスタレーション、舞台演出、VJ、ライブパフォーマンスなど幅広い制作活動を行なう。 2015年よりラボスペース 「backspacetokyo」 を立ち上げる。

Satoru Higa

Born 1983. Drawing on his experience working as a programmer and visual artist on a wide variety of projects incorporating realtime 3D graphics, computer vision and other advanced programming technologies, Higa is active across such diverse fields as installation, stage art, VJing and live performance. Launched the lab space “backspacetokyo” in 2015.

辻本知彦

2004年金森穣主宰Noism04に所属、200７年シルク・ドゥ・ソレイユにて日本人男性ダンサーとして初めて参加。主な振付作品に、冨田勲×初音ミク「ドクター・コッペリウス」、第67回NHK紅白歌合戦、郷ひろみ「言えないよ」土屋太鳳（ダンス指導/振付）、ミュージックビデオSia「Alive」の日本版である 土屋太鳳、米津玄師「LOSER」、同じくミュージックビデオDADARAY「WOMAN WOMAN」など。 https://www.tsujimoto.dance

Tomohiko Tsujimoto

Joined Jo Kanamoriʼs Noism04 in 2004, and Cirque du Soleil as the first ever Japanese male dancer in 2007. Main choreography works include Isao Tomita + Miku Hatsune “Dr. Coppelius”, Tao Tsuchiyaʼs dance performances during Hiromi Goʼs rendition of “Ienai yo” at the 67th NHK Kohaku Singing Contest (dance instruction & choreography) and in a music video for the Japanese version of Siaʼs song “Alive”, as well as Kenshi Yonezuʼ s dance in “Loser”, and another music video for DADARAYʼs song “Woman Woman”.

内橋和久

イノセントレコード､インプロヴィゼーショントリオ「アルタードステイツ」主宰。83年頃から即興音楽に取り組み、さらに UA、細野晴臣、七尾旅人、青葉市子、Salyu、くるり等のポップミュージシャンのプロデュースやライブに参加。その活動は演劇、ダンス、映画などの音楽制作など多岐にわたる。劇団「維新派」の音楽監督を30年にわたり務める。インドネシアのSENYAWAと組んだグループMAHANYAWAは今年で5年目を迎える。

Kazuhisa Uchihashi

Heado fInnocent Recordsand the improvisation trio Altered States. Has been involved with improvised music since around 1983, and further produced and performed live for/with such pop musicians as UA, Haruomi Hosono, Tabito Nanao, Ichiko Aoba, Salyu and Quruli. Generally operates in the fields of theatre, dance and film music production, while functioning as musical director for the theatre company Ishinha for thirty years. In 2013 he hooked up with Indonesian SENYAWA to form the group MAHANYAWA.