シエ・ジル・ジョバンは、スイスのジュネーブを拠点に活動するダンサー兼振付家です。2008年には山口情報芸術センター[YCAM]で”Text to Speech”という作品を上映しました。今回は、「YCAM InterLab Camp vol.4：遠隔・身体・共創(2022年12月)」に登壇し、そのもようを文字お越ししたものです。
大脇: ジルさんはメディアアートとステージパフォーマンスを融合させた作品を数多く発表し、今回の登壇ではテレプレゼンスをテーマにした作品を披露し、その現場の声に直接触れることを提案しています。彼のカンパニーは最近、積極的にパフォーマンスを配信しており、ジュネーブを拠点に世界中に向けてパフォーマンスを展開しています。
ジルさんの素晴らしいところは、そのフットワークの軽さです。一部の劇場系アーティストは特定のフォーマットに固執しがちですが、ジルさんは常に最新のテクノロジーを取り入れ、作品化・発表に至るまでスピーディーに行動します。これは彼のスタイルであり、今も変わらぬものです。
本来は会場側でゲーミングコンピューターを用意してジュネーブからはモーションデータだけを転送し、会場でゲームエンジンでレンダリングすることで高品質な映像で上演するのですが、今回のパフォーマンスはZoomでの安易的なパフォーマンスです。
Contents
YCAM InterLab Camp vol.4 遠隔・身体・共創
YCAM InterLab Camp vol.4 遠隔・身体・共創
山口情報芸術センター[YCAM]ジル・ジョバン パフォーマンス公演”Text to Speec”
出演者
振付家/パフォーマンス: ジル・ジョバン
パフォーマンス: スザンナ・パナデス
オペレーション: ペドロ・ヌニェス・リボット
通訳: 辻井美穂
ジル: こんにちは山口これがスイス、ジュネーブの私たちのスタジオでここからライブ配信しています。スタジオに見えている赤いライトのついたものがカメラで、モーションキャプチャーようのカメラが42台設置されていて、それを使ってダンスの動きをとらえ、ヴァーチャルスペースへ接続しています。私のカンパニーのエンジニアのペドロがUnityを使ってストリーミングを行います。
これはゲームコントローラーを使用し、カメラの動きを制御したり、アバターを変更したりでるのです。これは、リハーサル中に時間のロスを避けるためには、適切なツールを使用することが重要で、リアルタイムで動作するために独自のツールに開発しています。今日は、後から、私たちのシステムのいくつかをデモします。まずは、原点を振り返ることから始めるべきではないかと思い、以前の作品のビデオをいくつか紹介します。
ジル・ジョバン2017-2022
VR_I
この作品は、2017 年に作成された”VR_I”という作品です。
ヘッドセットを装着し、コンピュータを背負て鑑賞するVR作品で、ヴァーチャルスペースにはダンサーのパフォーマンスを鑑賞します。ヴァーチャルスペースでは観客同士の身体を通したコミュニケーションを取ることもでき、観客は肌の色も体格も多様なアバターとして再現されます。紹介している映像では、創作のプロセスです。スタジオで私たちが作業したりリハーサルをしている様子も見ることができます。(2019年5月に東京スパイラルで上演)
Magic Window 2017
2017年に制作されたもう 1 つの作品”Magic Window”は、ジャン・チュミ（1904-1962）によるこの60年代の建築にスマートフォンを使ってヴァーチャルなダンサーをマッピングしたものです。
その後、世界中のさまざまな場所にダンサーを配置する”Dance Trail”というアプリを開発し、サンダンス映画祭で披露しました。
専用アプリケーションをApp Store からダウンロードして体験するAR作品です。スマートフォンからQRコードを読み込むと、都市風景にダンサーをマッピングされます。さまざまなグローバル空間に、ダンスをマッピングでき、その場所場所で記念写真も撮影できます。
Real Time 2020
2020年私たちは、ステージ上でモーションキャプチャーとプロジェクションを融合させた”Real Time”というパフォーマンスに取り組んでいました。
残念ながら、突然のロックダウンのため、作品を完成させることはできませんでした。しかし、ロックダウンの間、私たちは遠隔モーションキャプチャーに取り組みました。
私の自宅から、スザンナと一緒に、ジュネーブから100キロ離れた場所から接続しました。モーションキャプチャーを遠隔で接続するテレポートという感覚は初めての体験です。加速度センサー付きの Rokoko Suits を使いました。スタジオは光学式のモーションキャプチャーを使用しており、そのスーツはスタジオのシステムほど正確ではありませんでしたが、私たちは2つの異なる環境でパフォーマンスができるようになりました。これが、スタジオでは無い場所から接続することは、新しい可能性を理解するための最初の一歩でした。
その後、第 77 回ヴェネツィア国際映画祭でVR でのリアルタイム マルチユーザー パフォーマンスに着手しました。ジュネーブの5人のダンサー、バンガロールから1人、そしてメルボルンから1人が参加するVR没入型プロジェクトに着手しました。
ジュネーブのスタジオには3人のダンサーを、私たちは外出禁止だった各自宅から創作を始めました。時間がないプロジェクトで、6月に着手し8月には仕上げる必要がありました。
ダンサーがフルフィギアのキャラクターでメタバース空間に入り、観客はシンプルなアバターで参加します。VRを通じて、あるいはビデオゲームのようなPCを使って、空間に自由に参加しています。10から15カ国、時には40人ほどの参加者がいました。興味深いプロジェクトでしたが、より多くの観客にリーチするのは難しいことがわかりました。
COSMOGONY 2021
次に”COSMOGONY”です。
私たちはスタジオからカスタマイズしたライブ・ストリーム・パフォーマンスを開発し、遠隔地からの接続とパフォーマンスを可能にしました。これは2021年のシンガポールで作られました。もともとは100メートル幅の建物にマッピングする予定でしたがオリジナルのプランでは実現しませんでした。コロナの影響でシンガポールでは外出制限があり、劇場ステージに３つのスクリーンを設置し客席は十分な距離を取って上演されました。
VIRTUAL CROSSINGS 2022
最後に、最近行ったプロジェクトの1つを紹介します。
“VIRTUAL CROSSINGS”と呼んでいるもので、遠隔地にいるデジタルアーティスト同士をネットワーク上で結びつけ、動きやモーションキャプチャーをめぐって一緒に会いセッションを行うというものです。
このハイブリッドパフォーマンスは初めての試みで、リアルなイメージとモーションキャプチャーを一つの舞台でミックスすることが可能だという新たな可能性を示しました。
古い映画館の中に模擬ステージとヴァーチャルステージとがあり、映画館のスクリーンでの中のヴヴァーチャルステージを軸にダンスと音楽とダンスでセッションを行うライブパフォーマンスで、映画館に観客を同意しました。これはヴァーチャルとリアルとが交差する試験的な最初のステップでした。舞台での映像とモーションキャプチャを組み合わせる可能性には、素晴らしい未来と可能性があると考えています。これが、ここ数年行ってきたことの概要の一部です。
ミニパフォーマンス
パフォーマンスはダンサーのスザンナがメインで踊りながら、ジルが解説しました。グリッドが引かれたスペースでは、その場でレコーディングしたアバターが増殖していきます。観客からは、どのダンサーがリアルタイムのスザンナか見失いそうになりますが、当人は客観的にそれらのレコーディングされた動きを見ながら的確に動きているのが分かります。これらが一種の振付装置であることが観客からもすぐにわかります。
ジル: ヴァーチャルスペースでの作業用に私達はさまざまな種類のツールを作りました。これらを紹介します。
私たちが「mocp-space」と呼ぶ主要な作業ツールがあります。床にグリッドが描かれていますが、これは実際のスタジオにも同じすケースのものが書かれており、私たちに参照点を与えるもので、私たちは物理空間とヴァーチャルスペースとの正確な位置を参照するために使っています。ほかにも、他の場所から来たアバターを招待するときに特に自分たちの位置を知るにも使われます。そして見えているグリッドを1ユニットとして、外側に自由に複製できます。(スクリーンに写されているヴァーチャルスペースにはグリッドが複数あり、広いスペースが見えている)
外にもプレゼンテーションようにゲームのコントローラーを使っています。これによってアバターを変更できます。(コントローラーをつかってアバターを瞬時に変えて見せる。SFのキャラクターから、トトロのようなプロポーションが異なるものまで様々に用意されている)
それから、この機能でできることは、動きを記録し、記録をとったその場所でループ再生できます。(ダンサーはヴァーチャルスペースに自分の動きを次々とプロットして見せる)
これは振付のための新しいツールと言えるでしょう。今回は一人だけで使用していますが、ダンサー全員を記録することができ、条件が変わると、また違った振付のアイデアが生まれてきます。
今スクリーンで見せている視点は、仮想カメラです。つまり、私はカメラの動きをライブで行うことができます。(モーションキャプチャー用の再帰性反射のマーカーが付いてA3サイズ程度の四角いフレームを持ち出し、そのフレームを動かすことで仮想カメラをコントロールする)
ご覧のように、このバーチャルカメラは私の姿を効果的に消去したり再出現させたりすることができます。これはペドロのMIDIコントローラーで制御しています。
ビジュアルの詳細
アバターの品質について説明すると、現在もわずかな問題があり、これらの問題のほとんどがリギングのプロセスに起因するものです。リギングとは、骨格にフレームワークを配置することを指し、体のプロポーションが正確であることを確認することが極めて重要です。リギングには、 体の比率の問題があり、 たとえば、トトロのようなプロポーションのアバターは非常に長いうでと短い足を持っています。 これにより、手の間隔が狭くなり、指の動きが制限されるといった問題です。
次に表情も問題です。 振り付け師としての私にとって、顔の表情は主要な問題ではありません。目の瞬きや微妙な表情を自動的に生成するプログラムを使って修正できます。
しかし、手に関して、特に指の動きを正確に表現する問題が残ります。これらの動きの表情の制限に注意を払う必要があります。
このようなデジタルならではの問題と向き合いことは、現在の利用可能なリソースと高品質のアバターの動きのバランスを見つけることが不可欠です。ダンサーや振り付け師にとって、これらのツールを習得することは、デジタル制作パイプラインを理解することとともに、大きな挑戦でした。
ヴァーチャルスペースをクリエイションすること
私たちは、バーチャル要素と現実世界の要素を融合させる試みを行っています。最近のプロジェクトでは、バーチャルシネマスタジオを作成してプロセスを高速化し、従来のレコーディング方法をバイパスしてUnityに直接統合しました。
先に説明した、ゲームコントローラーを使用したり、移動用のバーチャルカメラを含むさまざまなカメラを操作は、Unityと呼ばれるゲームエンジンの内でさまざまな角度とカメラをコントロールした後、プロジェクトのビデオコンパイルが自動的に作成されます。私たちは、各プロジェクトのユニークな要件に合わせたソリューションを見つけ、その特性と望ましい結果に適応することを目指しています。
モーキャプスペースのアーティストのレジデンスへの開放
ほかには、ジュネーブにある私たちのスタジオは、主に自社プロジェクトに注力していますが、近年の取り組みとして、アーティストのレジデンスにも開放しています。モーションキャプチャー技術へのアクセスを民主化することを目指しています。このアプローチは移動を最小限に抑え、炭素排出量を大幅に削減します。今日の講演は、物理的な移動なしで共有できる方法と、デジタル領域における可能性を探る方法を示しています。
最後に、私たちは探検家のようにデジタルのフロンティアを探求を紹介してきましたが、ヴァーチャルスペースへの身体の統合は、この世紀にとって重要なテーマであり、今後も研究を続けていきます。それでは、質疑応答のセッションに移りましょう。
質疑応答
Q: ダンサーへの質問です。パフォーマンスは環境とのインタラクションによって作成され生成されますが、お二人がモーション キャプチャと拡張現実を使用してパフォーマンスを行う場合、ダンサーにとってどのようなインタラクションがあるのか、そしてこのインタラクションによってダンス自体がどのように進化するのかお聞かせください。
スザンナ: 私は刺激というものにフォーカスしています。実際バーチャルの刺激が仮想世界からやってきて、そこで相互のやり取りが生まれる点が重要です。ただし振付を行う際、現実空間でのダンサー同士の接触を避けるようにします。それはセンサーのえらによってアバターが予期せぬ動きをするからです。したがって、この接触は主に仮想世界で発生し、そこでやりとりが行われます。ダンサーにとって動きの動機はすべて仮想の現実から与えられることにあります。
ジル: ヴァーチャルスペーススペースでアバターによるのパフォーマンスは、コロナ渦での無観客のサッカーの試合に似ています。我々ダンサーはパフォーマンスする自分を心に投影しています。サッカー選手もきっと最初は違和感があったでしょう。しかし、しだいに適応していきます。スポーツの歴史では、例えばサッカーの試合は60年代からテレビ中継されいますし、そもそもニュース映像はテレビスタジオからジャーナリスト一人を撮影し配信しています。そのとき出演者はカメラを通じて、誰かが見ていることを知り、他人の目線を自分の心に投影しているのです。
Q: 配信中のダンスパフォーマンスに観客からの影響についてもう少しお聞かせ下さい。
ジル: 現地に行くことなくパフォーマンスを行うというこの新しい現実には、パフォーマンスの後の観客との交流が全くなくなったことから、観客からのフィードバックを得るのが少し難しくなりました。
私たちはパフォーマンスをする際に、観客の姿が見えません。部屋の雰囲気を感じたり、投影の質を確認したりすることができません。配信の場合は、どの様なディスプレイなのか、大型モニターなのか、はたまた携帯電話で見られているかもしれない。画質が良いのか悪いのか、音が良いのか悪いのかわからないため、常に私たちは、プレゼンテーションのリアリティから切り離されているいます。私たちは良いパフォーマンスをすることにだけに集中しています。
また、時差の関係で、山口では午前6時または5時、マイアミでは午前1時、ジュネーブでは午後7時、ロサンゼルスでは午前4時にパフォーマンスを行うなど、時差がある時間帯でパフォーマンスを行うこともあります。
これはそれ自体が新しい現実であり、新たな可能性に満ちた経験です。ダンスカンパニーとして、私たちは毎日、夜に公演を行います。ダンスカンパニーとして、私たちは日々の業務を管理し、夜のパフォーマンスの準備をします。旅行する必要はありません。翌日にはスタジオに戻ります。これらの新しいメディア ツールは、非常に専門的で、柔軟性があり、正確です。これが新しい可能性を表わすニューメディアだと考えています。
ダンスカンパニーとして、私たちは日々の業務を管理し、夜のパフォーマンスの準備をし、頻繁な出張の必要性を避けています。 これらの新しいメディア ツールは、非常に専門的で、柔軟性があり、正確です。 私たちのチームは、これらの新しいメディア テクノロジーを容易に理解し、受け入れることができると信じています。
最後に、我々はダンサーを擁し、人間が本来3次元であることを活かして、ヴァーチャルスペースへ容易にアクセスできるようにしています。現在、ハイブリッドパフォーマンスに取り組み、モーションキャプチャーをステージに取り入れ、24人のための作品を制作する予定です。この装置をフル活用した素晴らしい作品になるでしょう。
私たちは得意とするヴァーチャルスペースのパフォーマンスを、創造し、新しい表現のに挑戦することです。私たちにとってヴァーチャルスペースは魅力的で、簡単にアクセスでき、それほど難しいことではありません。ヴァーチャル環境に慣れ親しんでいる私たちにとって、それは自然なことなのです。これは私たちが魅力的に感じていることであり、皆さんも同様に魅力的に感じていることだと思います。
私たちのこれからの挑戦としては、現実のパフォーマンスとヴァーチャルスペースでのパフォーマンスをハイブリッドに交差したパフォーマンスへの移行していくことです。モーションキャプチャープロジェクトを核に24人のダンサーと舞台作品を創作します。素晴らしいものになりそうです。ご清聴ありがとうございました。