ダンスのヴィジュアル化(視覚化)は古くから行われてきた芸術表現の一つです。近年、ダンスをビジュアルエフェクトで表現する手法が、ダンスPVにおいて人気を集めています。しかし、現状では多くのエフェクトがポストプロダクションとして事後的に加えられており、ダンサーが踊っている時にダンサーはエフェクトを確認することなく、動画編集時にアフターエフェクトエンジニアによって制作されており、ダンサーが踊っている時に思い描いているイメージは反映されてはいないのが現状でしょう。
Contents
概要
VR時代の新しい身体感を探す
一方で、メタバースでのコミュニケーションが活発になっていますが、VRでの視点位置はアバターの目の位置か背後からの俯瞰視点にあらかじめ固定されており、それ以外の視点は選ぶことができません。VR-chatなどのダンス練習用のワールドでは、現実のダンス練習場のように、鏡のような物が壁一面に設置され、自分の姿が鏡面反転して映るようになっています。しかし、物理法則を自由に変更できるメタバース上で、もっと別の方法で自分の姿を確認できてもいいはずです。その昔、バレエの練習場に大型の鏡が設置されたことで、舞台表現の様相に大きな変革をもたらしたのと同じように、VRでの新しい視点からVRならではのダンスが生まれるのではないでしょうか？
動きの研究としてのアニメーション
ダンスとビジュアルエフェクトの融合には長い歴史があります。この融合の起源は、アニメーションの技術にまでさかのぼり、ウォルト・ディズニー・スタジオなどのアニメーション制作者たちが先駆者となり、様々な手法で動きの研究を行われたことに起因します。
モーションキャプチャーとメタバース
一方で当初は軍事研究として始まったヘッドマウントディスプレイ(HMD)やモーションキャプチャーの技術が、芸術やエンターテイメントへと応用され、近年著しい進化を経てインターネット上に構築された3次元の仮想空間メタバースにまで領域を拡大してきました。
2016年のVR元年、2020年からのCOVID-19パンデミック、そしてVtuberの台頭を経て、今や一般的な技術となりました。
しかし、従来のダンスのビジュアルエフェクトは、撮影後のポストプロダクションで作成され、振付家からダンサー、そして映像エンジニアへと一方通行の創作プロセスで制作されてきました。
ダンスをビジュアル化することでアニメーションを創発する手法
2011-2017年、山口情報芸術センター[YCAM]が開発したReactor for Awareness in Motion (RAM)は、この状況に一石を投じました。
RAMは、人間の動きをビジュアルフィードバックすることで、動きのアイデアを引き出すシステムです。openFrameworksを用いて開発されたRAMは、クリエイションにかかる時間を大幅に短縮することができ、ダンサーとプログラマーの協働を促進しました。さらにRAMというプラットフォームをオープンソースとして公開することで、様々なクリエイターが着手できるようになり、実際にワークショップ参加者達は、自分の領域で新たな作品制作を行いました。また2022年に開催されたYCAM Dance CrewではRAMの知見を生かし、YCAMでは一般向けのゲーム什器として制作され、マーカレスモーションキャプチャーの技術を使うことで、手軽に市民がダンスヴィジュアルクリエーションすることができました。
ここでは、RAMの知見である、ビジュアルフィードバックとVRならではの新しい姿見の手法を生かすことで、メタバース時代のダンスを創造することが求められるでしょう。そのためのプラットフォームがどの様な構造であるべきかをこの後の章で考察したいと思います。
自分の視点を変えてみる
私たちは、胴体のてっぺんの頭部に目があることから、視点位置は無意識にその高さにあり固定されています。しかし映画などを観ている時は、カットアップという編集手法を特に意識することなく、あちこちに自分の身体を抜け出して、さまざまに視点を移動しながら観ています。このように、人間は幼少のころから映像のカットアップの視点が訓練されていますが、日常生活においては自分の頭に固定された視点で暮らしています。
VRの世界ではこの固定された視点である必要はないはずです。少なくとも、ダンスを練習する際は、一般的には鏡を用いて、自分の姿を客観的に確認して練習を行いますが、この鏡を用いたダンスの練習方法は大型ガラスの製造が実現したことで生まれた方法で、それ以前には自分の全身を観ることすらできませんでした。私たちは姿見に映る自分の姿が左右反転していることに無自覚ですが、振付を他の人に向かい合って教える時、他人とは左右が反転していることに気づかされます。本来、反転している方がおかしいのです。
カメラがもたらしたボディーイメージは革新的でした。私たちはポータブルなビデオカメラを手に入れることで、時間をさかのぼって自分の動きが確認できるようになりました。しかし、逆にカメラの位置が固定されることによって、表現の幅が制限されることもあります。それは見えていないところはダンスとして意識さえない。またフォルムを重視するため、見た目の美しさに影響されます。例えば、社交ダンスのように回旋しながらフロア全体を移動するダンスはカメラからは死角が多いでしょう。フォークダンス(盆踊りなど)のように、参加者することに意味があるダンスでは、映像では十分に伝えることが難しくなります。
これらの点を考慮し、映像技術を活用する際にはその特性を理解した上で、より効果的な方法を模索することが重要です。VRという新しい人間のツールは、さらなる視点の発展を考えられるでしょう。自分の好きな視点から自分の姿を確認し、さらに同時に複数の視点を一度に取得することも考えられます。
RAMの基本原理
2011-2017年にダンサーの安藤洋子を中心にYCAMで開発されたReactor for Awareness in Motion (RAM)ではサイバネティクスの基本的なルーティンが採用されています。
例えばサッカーボールドリブルで考えてみましょう。蹴るという行為を行ったときに、ボールが転がりますが、思っていた方向と少し違うなら、それをボールのそれる角度を考慮し蹴り方を補正してからもう一ど蹴ります。ドリブルではこれを繰り返しています。このようなルーティンがダンサーの動きにも適応されます。
自分の動きが抽象的に目の前に取り出されたときに新しい動きのアイデアが生まれます。これは自分の姿が直接見えているよりも、サッカーのドリブルのようにボールとして動きが抽象かされている方が、人間には脳内で処理しやすいことがRAMの研究から分かっています。人は対象物に対して意識的になれます。見た目同じ所作であっても、ボールなどで抽象的に動きの結果が表現されたとき、所作の違いに気づくことができるのです。
ダンスの詩学(本質)はどこにあるのか？
動きのダイナミクスとしてのダンス
ダンスの本質については多くの議論があり、一つに限定することはできませんが、私は動きのダイナミクスにあるのではないかと考えています。
一つには、一般的に良いとされているダンサーのダンスほど、ダンサーの顔や体の特徴は印象に残らず、その動きのダイナミクスだけが印象として残るダンスをいうからです。
初期アニメーションに動きの研究
また一方で、歴史に目を向けると、映画の発展とともに始めるアニメーションの研究が上げられます。アニメーターたちは様々な動きの研究を行うことで、抽象的な動きの構築方法についての研究が、特にアニメーション映画の初期には多くなされました。それは音楽の視覚化であったり、実写のダンス映像のトレースによって行われる「ロトスコープ」と呼ばれる手法であったり、様々な方法で研究されました。これらの手法は後にビジュアルプログラムのモーション関数に転用されます。つまり振舞つまり動きは関数で表現できるということです。これらの研究は様々なジェネラティブプログラムとして応用されていきます。
コンピューターサイエンスとダンスの交差点
一方、コンピューターサイエンスの分野では、ジョン・コンウェイのライフゲームや、クレイグ・レイノルズのBoidsプログラムなど、生命的な振る舞いや群れの動きをシミュレートするアルゴリズムが開発されてきました。統計学におけるランダムウォークの概念も、動きのアルゴリズム的研究の一例と言え、これら生命的な振る舞いを研究としてA-Lifeと呼ばれる学際的研究領域があります。
近年、CPUの速度限界や量子コンピューターの発展といった時代の動向があり、従来のノイマン型アーキテクチャを超えた新たな計算方法の探索が進んでいます。その中でも、フィジカルコンピューティングは、コンピューターの原理を根本から再考する動きとして注目されています。
ダンスにおける動きの質の研究
ダンスの方ではまず、ルドルフ・ラバンは動きの記譜法の研究で有名です。なかでも「エフォート」と呼ばれる記譜法は動きの質を８種類のダイアグラムで表現します。これは方向性や描く形は同じだったとしても、動きの強弱といった質的表現を分類したもので、動きのダイナミクスを記述する方法です。
のちにダンサー振付家のアンナ・ハルプリンと建築・ラウンドデザイナーのローレンス・ハルプリンによって、より総合的な踊られる環境全体の記述法(ダンスの動きにとどまらない記述方法なので棋譜法とは分けて表現する)が研究されます。ハルプリンのワークショップに参加するダンサーたちはジャドソン・チャーチ・グループを形成し、舞台表現から距離を置くことで、音楽からの束縛を離れ、動きの本質の探求が明確に意識化されます。なかでもイヴォンヌ・レイナーやトリシャ・ブランを代表とする振付家によって、ダンスの動きはよりアルゴリズミカルに解釈されていきます。このように動きの研究は、ラバンの「エフォート」、ジャドソン・チャーチ・グループの動きの流れは、初期アニメーションの研究からビジュアルプログラミングといった参照点がかさなりました。
身体表現における情報伝達のためのラバン特徴の数理モデルの研究論文(もっと深められるはずの研究で、あくまで参考事例)
モーションキャプチャー
モーションキャプチャーという技術の一つにボーン(リグ)と呼ばれる人間の骨の役割をするものがあり、この関節にあたる部位をノードと呼びます。モーションキャプチャーとはこのノード(関節にあたる点)の動きを計測し記録する技術です。メタバースなどの中の動きの研究とは、このノードをどのように扱うかということに帰結します。
現在、VRChatを代表とするメタバースでは、個々のアイデンティティを表現するアバターの使用を推奨しています。これは、社会性を重んじるメタバース内ではアバターの使用が前提として考えられているからです。
ダンスにおける動きの本質をノードのダイナミクスとするなら、メタバース内で個人を表現するアバターを使う必要は特になく、ノードと身体との関係について考えることです。そして初期アニメーションにおける研究からも、ダンスのダイナミクスには人型である必要も本来ないのです。
上の図はモーションキャプチャーにおけるボーンの歩行のモーションを表現したものですが、手足の連続する動きを赤と青の抽象的な線で表現しています。これは動きの研究エティエンヌ＝ジュール・マレー(1830-1904)による連続写真(下の図)をつかった写真に類似します。抽象化することで別の可能性が見えてきます。
絵画、華道、日本の書が動きのダイナミクスの残像を鑑賞する芸術ととらえることができるなら、ダンスは動きのダイナミクスを抽象的な点や線として表現し鑑賞する芸術とも言えるでしょう。
記念SNSで流行った動く棒人間のような動画は、サイリウムを使った簡単に自作できることから 世界中で人気を博しました。これも動きが抽象的に取り出された効果によって表現されており、リアルな実写で人を見るよりも、重症化されても残る動きにおおくの人は心引き付けられるのです。
データをつかった具体的な動きの構築方法
以上のチューリアル動画はRAMのワークショップ用に制作されたチュートリアルです。体の動きに追随する対象を作ることで、動きのアイデアを具体的に引き出す方法を提示しています。
openframeworksを使ったRAMは現在プラグインの問題から動作しませんが、以下の動画ではプログラミングでの思考の進め方も具体例で示しています。
フィジカルコンピューティングの可能性
この分野では、「アンプラグド」（コンピューターを使用しない）な計算層として、多数の参加者を集めて抽象的な点の動きを人間の群れとして再現し、そこから新たな思考を導き出す試みがなされています。これは、ジャドソン・チャーチ・グループの実験的アプローチが現代に蘇ったとも言えるでしょう。
実際、多くのフィジカルコンピューティング研究者がブラック・マウンテン・カレッジの実験を参照しています。ロバート・ラウシェンバーグ、ジョン・ケージ、マース・カニンガムらが参加したこの芸術学校は、後のジャドソン・チャーチの活動に大きな影響を与えました。
フィジカルコンピューティングの研究者で、アンプラグドコンピューティングを牽引する代表的な研究者としてゴラン・レビンがいます。ゴランはクリエイティブ・コーディングのレクチャーでプログラミングを体感的に学習るすために、実際に群像のモーションシミュレートした実技を行います。
“A Workshop in Unplugged Computing” Golan Levin
これは、ブラック・マウンテン・カレッジに起因し、ジャドソン・チャーチ・グループのシモーヌ・フォルティなどのダンス・コンストラクションの仕事に影響を受けたものです。ゴランは引用元として、ナオミ・レオナードとスーザン・マーシャルによるダンス/エンジニアリング・パフォーマンス「Flock Logic」(2010)を参照しています。
ダンスの動きの解釈としてのコンピューティング
日本のメディアアートグループライゾマティクスがエンターテイメントの音楽ユニットPerfumeのモーションデータとその音楽データをサンプルコードとともにgithub.comに2012年に公開したことで、多くのクリエイターがパフュームのダンスのビジュアル化に挑戦しました。これらは、モーションデータの再利用がもたらす新たな創造を示唆しています。
https://github.com/perfume-dev
これらの表現はただし、ステージ作品もしくは時間軸をもったショーとして作られてきました。根本的に新しい表現を求める志向は、フィジカルコンピューティングといった動きの研究をへて創造されています。その先駆け的な研究としてフォーサイス・モジュールがあります。
2009年にオンラインで公開されたインタラクティブ・アート作品「Synchronous Objects for One Flat Thing, reproduced」は、振付家のウィリアム・フォーサイスを中心とし、30名を超える研究者の協力を得て制作されました。このプロジェクトは、ダンス作品をデータとして取り出すことで新しくビジュアルアートとして再創造するものです。このプロジェクトではステージ作品「One Flat Thing, reproduced (2000)」のデータを通じてダンスの振り付け情報を再利用する視覚化、アニメーション、インタラクティブ・ソフトウェアを制作しました。最終的にはOne Flat Thing, reproducedを再構築できるアプリケーションを公開し、誰もがOne Flat Thing, reproducedを創作できるようになりました。
Synchronous Objects for One Flat Thing, reproduced
このプロジェクトは新たな４組の振付家、デボラ・ヘイ、ジョナサン・バローズとマッテオ・ファルギオン、ベベ・ミラー、トーマス・ハウアートを迎えてmotionbankとして先起動し、数多くの新しいダンスアーカイブにとどまらない表現をて辞しました。motionbankはフォーサイス・モジュール「Synchronous Objects for One Flat Thing, reproduced」のプロジェクト同様に、あらかじめ上演された作品のアーカイブの方法をリクリエイションするもので、すでに完成した作品の記述から始め、そえはモーションキャプチャーの場合もあれば、テキストの場合もあり、このスコアを元に新しい表現を創造するプロジェクトです。
motionbankと同時並行で行われたワークショッププログラムとしてChoreographiCcodingLabがあり、RAMと同様にダンスのコンピューティングに新たなムーブメントを作り出しました。これは、あらかじめ上演された作品アーカイブをリクリエイションするのではなく、ダンスとコンピューティングが双方向的に取り組むもので、時にはダンサー無で上演される作品も存在します。
現在ではmodinaといった研究が2023年より進められており、motionbankの時代では取り組まれていないAIを用いた研究が行われており、現在進行中です。
結論：メタバース時代のダンスの可能性
ダンスとビジュアル表現の融合はダンスとは異なるムーブメントの歴史を持ち、ステージとは異なる場所でテクノロジーの進歩とともに新たな可能性を開いてきました。
初期のアニメーション研究から始まり、モーションキャプチャー技術、VR、メタバースの登場により、ダンスの表現と体験の方法は大きく変化しています。特に注目すべき点は以下の通りです：
- フィジカルコンピューティングとの融合：人間の動きそのものをコンピューティングの一部として捉える試みにより、ダンスと技術の新たな関係性が模索されています。
- オープンソース化と共有：ダンスのデータやツールのオープンソース化により、より多くの人々が創造的な実験に参加できるようになっています。
先に紹介したRAMはそれらにダンサーにとっての新しい鏡として提案しました。
筆者はさらにVRの特性を生かし、固定された視点から解放することでさらなるダンスの新しい観察と表現の可能性を示唆しています。
これらの発展は、ダンスをただの身体表現から、技術と芸術が融合した新たな表現媒体へと変容させつつあります。今後も技術の進歩とともに、ダンスの概念や体験方法はさらに拡張され、新しい芸術形態や communication のあり方を生み出していく可能性を秘めています。