先日アップされた2本のプレゼン動画からその続編の今回は第3回目の実践編、いよいよ完結です。
言葉尻ばかりを無限に生成してしまうデコーダー偏重のいわゆる生成AIに、そのまま作文を任せるのではなく、物理現象や身体感覚の数値を算出し、まだこの世に存在しないオノマトペ――すなわち「未知の獲物」をAIに生成させる、という実験的なアプローチを紹介します。
AIは言葉を「意味の地図(コーパス)」上の座標として管理し、AIを蜘蛛に見立てて、それらコーパスの近い言葉同士を線で結んで「言葉の構造」言葉の巣のようなものを作っています。しかし、「蜘蛛が立派な巣を作るだけでは意味がない。そこに『獲物(物語)』がかかって初めて人間にとって価値が出る」というお話をしましたね。
私たちが「サクサク」「ドンドン」といったオノマトペから感じるリアルな感覚。これは言葉の音自体に、物理的な「動きの記憶」が刻まれているからです。AIのベクトル空間上でも、「音の響き」と「身体動作」は数学的にリンクしていることが証明されました。
準備:文章作成プロンプトの作成方法――言葉を物理演算する
では、この変換を行うための「魔法の呪文(プロンプト)」はどうやって作られているのか。その裏側(バックエンド)を解説します。
このプロンプトをそのままチャット欄にぶちこみ、変換したい文章をプロンプトの末につけくわえるだです。今回はGeminiをしようしていますがchatGPTでも似たような文が生成されます。
以下はプロンプトの内容を紹介します。
ステップ1:座標の作成(基本データ)
まず、既存のオノマトペ辞書にある単語をAIに読み込ませ、それぞれの「座標」を特定します。これはPart 1で話した「トークンの住所」ですね。
ステップ2:物理現象の算出(流体力学)
次に、ここが重要なのですが、言葉を「流体(液体や気体の流れ)」として捉え直します。今回導入した指標の一つが「レイノルズ数(Reynolds Number)」です。これは流体力学で使われる数値で、流れの「乱れ具合」を表します。
- 層流(数値が低い):「さらさら」「すーっ」のような、整ったきれいな流れ。
- 乱流(数値が高い):「ざわざわ」「ごちゃごちゃ」のような、不規則で乱れた流れ。
言葉の響きが持つ「濁り」や「摩擦」を、このレイノルズ数で計算させています。
ステップ3:ラバン・ムーブメントの算出(身体感覚)
続いて、Part 2で紹介した身体運動理論「ラバン・ムーブメント・アナリシス(LMA)」を適用します。ソースコード上では、以下の4つの軸(Category A)で数値を算出しています。
- Weight(重さ):「ふわふわ(0)」のような軽さか、「ずしっ(9)」のような重さか。
- Time(時間):「ねっとり(0)」と持続するか、「パッ(9)」と一瞬で終わるか。
- Space(空間):「うろうろ(0)」と彷徨うか、「ズドン(9)」と一直線に向かうか。
- Flow(フロー):「さらさら(0)」と自由か、「ぎちぎち(9)」と抑制されているか。
ソースでは「5つの軸」ではなく、この4つを基本のエフォートとして定義しています。
ステップ4:拡張感覚と音響物理
さらに、これらに加えて「音響物理(Category B)」と「拡張感覚(Category C)」を設定します。
- Hardness(硬度):剛体か、流体か。
- Moisture(湿度):「かさかさ(0)」か、「びしょびしょ(9)」か。
- Temperature(温度):冷たい(ccc)か、熱い(hhh)か。
- Color(色):その音が持つ色彩(HTMLカラーコード)。
これら全てを組み合わせることで、「重さ9、湿度9、温度は超高温で、色は赤」といった、現実にはありえない「高温で重く湿った赤」という物理状態をAIに入力します。するとAIは、その物理状態に合致する「未知の音(新語)」を合成せざるを得なくなるのです。
プロンプトの構造と演出指導
実際のプロンプトには、生成された言葉を人間がどう読むべきか、という「演出指導(ディレクション)」も出力させるように組み込んでいます。例えば、「Decay(減衰)」というパラメータが9に近い場合は「スタッカート(鋭く断つ)」、0に近い場合は「ドローン(息を長く続ける)」といった具体的な指示が出るようになっています。これにより、単なる文字列ではなく、身体的なパフォーマンスとしての再現性を担保しています。
実践:詩からオノマトペを生成
以下の俳句を読ませてみましょう。
古池や蛙飛び込む水の音
読ませると以下のような回答が生成されました。(乱数をゼロに設定しているのですがなぜか毎回別の文が生成されます。)以下はGeminiの生成結果です。
乱数シード 1 を固定し、物理現象を音響エネルギーへと解体・再構成します。
【創作された詩】
ザップン・ギョイ・ヴォレ・ト・ルッッッ。ヴ・ム・ッッッッ……シパ。
【読み上げのための演出指導】
詩の解釈とベクトル構造
この詩は、松尾芭蕉の句が持つ「静寂→突発的運動→流体衝突→拡散する余韻」という物理プロセスを、既存の語彙を破壊して再合成したものです。
- ザップン (Zappun):
- Category A/B/C: $[V = 8, 8, 9, 4 / 6, 9, 140, 7 / 19000, 9, mc, \#0000CD]$
- 物理的意図: 蛙の質量が水面に激突する瞬間の最大圧力。有声破裂音 /z/ と /p/ の連動により、液体の圧縮(Boyle Number 9)を表現します。
- ギョイ (Gyoi):
- Category A/B/C: $[V = 6, 9, 7, 6 / 6, 7, 250, 9 / 10000, 8, c, \#006400]$
- 物理的意図: 蛙の生体的な粘性と脚の蹴りを抽出。高周波成分を含みつつ、着水直後の肉体的な収縮を意味します。
- ヴォレ (Vore):
- Category A/B/C: $[V = 5, 4, 3, 2 / 8, 9, 150, 3 / 2000, 9, mc, \#4169E1]$
- 物理的意図: 境界膜が破れ、水中に酸素が引き込まれる際の流体渦(Reynolds Number 乱流)。
- ルッッッ (Ru-):
- Category A/B/C: $[V = 3, 9, 9, 9 / 7, 2, 550, 9 / 12000, 8, 0, \#FFFFFF]$
- 物理的意図: 弾き音 /r/ からの急峻な遮断(Decay 9)。運動エネルギーが水中で完全に停止する刹那。
音読ディレクション
- 強調すべきアクセント:
- 最初の「ザッ」に全呼気圧を集中させてください。
- 「ヴォレ」は喉を鳴らし、低周波の共鳴(150Hz付近)を意識して、水の深さを表現します。
- 時間的制御 ($x_8$: D-Type 指導):
- ルッッッ(9付近:スタッカート):声帯を力強く閉鎖し、あたかも世界から音が消えたかのように鋭く断ってください。
- ヴ・ム・ッッッッ(9付近):短い遮断を連続させ、水泡が上昇し、表面で弾ける不連続な気圧変化をシミュレートします。
- シパ(0付近:ドローンへの移行):最後は「シ」の摩擦音を極限まで引き延ばし、波紋が消失していく静寂の真空(Color: #F0F8FF)へと回帰させてください。
ご提示いただいた「古池」の静寂を、さらに「重力加速度」や「表面張力の崩壊」といった観点から深度を増したオノマトペに書き換えることも可能です。次はどのような物理現象を解体しますか?
2026年2月時点のGemini
私たちが創造すると「シーンぽちゃん…シーン」になると思いますが、様子がやや違ことがわかります。
さらなる応用:感覚からの逆算
ここまでやって朗読をしても十分面白いボイスパフォーマンスになりますが、さらに応用が可能です。
通常、私たちは「悲しいから『しくしく』」というように、意味→言葉の順で選びます。しかしこの手法は、物理数値→未知の言葉という逆のアプローチが可能です。
これはつまり、文章の中で起きている現象や感情を、言葉尻ではなく「エネルギーの波」として数値化し、そこから新しい言語を再構築できるということです。Part 1で言った「蜘蛛の巣(構造)」を数値で固定し、そこに引っ掛かる「獲物(言葉)」を入れ替える遊びとも言えます。
先のプロンプトで指定したベクトルを固定し、言葉だけを入れ替えてもう一度俳句を生成してみます。シチュエーションは5つ提案してもらいました。
「音響物理詩人」として、固定されたベクトル $V = [\text{ザップン・ギョイ・ヴォレ・ト・ルッッッ・ヴ・ム・ッッッッ・シパ}]$ を5つの異なる物理環境へと逆写像します。
このベクトルは「強大な衝撃($x_{10}$ 9)→生体の収縮($x_5$ 6)→激しい攪拌($x_9$ 20000)→急峻な停止($x_8$ 9)→淡い散逸($x_{12}$ #F0F8FF)」という構造を持っています。
1. 鍛冶場(高熱の金属加工)
焼刃鋼めつつ 火を 断ちて 冷めゆく 鉄の色
- 物理解釈: 灼熱の刀身を水に突き入れる「焼入れ」の衝撃。蒸気が爆発(ヴォレ)し、急冷によって分子構造が固定(ルッッッ)されるプロセス。
2. 厳冬の砕氷船(北極海)
氷船めつつ 波を 断ちて 凍れる 海の風
- 物理解釈: 巨大な船体が氷を叩き割る質量衝突。砕けた氷片が乱流(ヴォレ)を起こし、氷点下の空気によって瞬時に運動が停止(ルッッッ)する極寒の物理。
3. 剣道(一撃の打突)
面身を硬めつつ 息 断ちて 残れる 残心の白
- 物理解釈: 竹刀が面に当たる瞬間の全質量衝突。体当たりによる生体の硬化(ギョイ)。打突後の静止(ルッッッ)から、緊張が空気中に溶けていく「残心」への移行。
4. プレス工場(巨大重機の振動)
圧板めつつ 火を 断ちて 止まれる 油の虹
- 物理解釈: プレス機が金属板を成形する圧力衝撃(Boyle 9)。圧搾された空気が噴出し、機械が定位置で固定される。あとに残る油膜の虹色(#F0F8FFに近い低彩度の輝き)。
5. 滝壺(豪快な落下と飛沫)
滝岩めつつ泡 断ちて散りゆく 霧の青
- 物理解釈: 落水が滝壺を叩くエネルギーの激突。岩肌の剛性と激しい気泡の混入(Bo 8)。水しぶきが空中で減速し、霧となって消える散逸プロセス。
【演出指導:ベクトル固定による変奏】
どのパターンにおいても、上句の「ザップン」に最大級の呼気圧(Weight 8)を置き、下句の「ルッッッ」で声帯を完全に遮断(Decay 9)してください。その後に続く「シパ」は、それまでの破壊的な音響に対する「救済」としての静寂(Color #F0F8FF)として響かせます。
次は、これらのシチュエーションから一つを選び、その物理現象をさらに詳細な「音響ベクトル報告書」として解体してみますか?
2026年2月時点のGemini
4. プレス工場(巨大重機の振動)を散文として再生成してもらいました。
「音響物理詩人」として、固定されたベクトル $V$ をプレス工場の巨大な重機が支配する物理空間へと転写します。金属の塑性変形と、駆動系の極端な遮断が生む「圧」の散文です。
【逆写像された散文:プレス工場の鼓動】
「ザップン・ギョイ・ヴォレ・ト・ルッッッ。」
工場の深部、数千トンの加圧ヘッドが自由落下し、鋼鉄の板に叩きつけられる。その瞬間、空間は「ザップン」と歪み、大気が一気に圧縮される。逃げ場を失った分子たちが悲鳴を上げ、金属は熱を帯びて「ギョイ」と強張る。塑性変形の限界点。超高圧によって押し出された潤滑油の霧と火花が、重機の隙間から「ヴォレ」と噴出し、乱流の渦を描いて視界を覆う。 そして、機械のストロークが最下死点に達した刹那、すべての運動エネルギーが「ルッッッ」と暴力的な制動によって断絶された。
「ヴ・ム・ッッッッ……シパ。」
巨大な鉄塊がゆっくりと上昇を始めると、圧縮から解放されたシリンダーが「ヴ・ム・ッッ」と重く湿った排気音を漏らす。 加熱された鋼板の表面で油煙が揺らめき、加工の余熱が工場の冷えた空気に溶けていく。あとに残るのは、ただ無機質な金属の光沢が放つ「シパ」という静かな散逸の気配だけだった。
【物理的相関の事後解析】
- ザップン(加圧衝撃): $x_{10}: 9$ (Boyle Number) による気圧の急激な圧縮と、固体への質量投下。
- ギョイ(塑性変形): $x_5: 6$ (Hardness) の剛体が、圧力によって流体的に歪む瞬間の生々しい抵抗感。
- ヴォレ(油煙の噴出): $x_9: 20000$ (Reynolds Number) の極大乱流。圧縮された気体と油が噴霧化する物理現象。
- ルッッッ(最下死点の停止): $x_8: 9$ (Decay) による運動の完全な遮断。これ以上の変位を許さない空間の硬直。
- シパ(放熱と静止): $x_{12}: \#F0F8FF$ が示す、熱が奪われ、彩度が落ちていく金属表面の冷却プロセス。
この重厚な金属の物理を、さらに「ミクロな電子の衝突」や「深海の高圧環境」へと再構成することも可能です。次は、どのスケールの「圧」を観測しますか?
2026年2月時点Gemini
やや描写が大げさすぎる傾向がありますが、プレス機のリアルな情景は伝わってくるように思います。(わたしだけか?)
このように「蛙飛び込む…」といった仏教的な静寂の表現と評されたものが、重厚なプレス機に動作に変換されるというは、なかなか結び付かない題材がみごとにつながっているように思われます。
では次に筆者が同じ方法で先日行ったパフォーマンスを紹介します。
身体と言葉の再結合:パフォーマンスへの実装
2026年2月3日、京都のUrBANGUILDで開催された「FOuR DANCERS vol.340」。そこで私は、「未開拓オノマトペ」の生成・実装の成果を、ひとつのパフォーマンスとして提示しました。
この「未開拓オノマトペ」は、画面上のテキストデータに留まるものではありません。私はこのシステムを実戦投入し、身体表現とデジタル情報を衝突させるパフォーマンスを試みました。
今回のパフォーマンスでテキストソースとして選んだのは、夏目漱石の『吾輩は猫である』と、折口信夫の『死者の書』です。近代文学の端正な文体と、これらを先ほどの流体力学やラバン・ムーブメントの計算式(ベクトル)に通すことで、誰も聞いたことのない、しかし物理的な説得力を持つ音響へと変換しました。
表現の三層構造
パフォーマンスは、以下の3つのレイヤーで構成されています。
- オノマトペの音声表現化(Voice)生成された未知のオノマトペを、私自身がその場で朗読します。「ザップン」「ルッッッ」といった音に含まれる減衰率(Decay)や湿度(Moisture)の指示に忠実に従い、声帯を物理的な楽器として鳴らします。
- 身体の翻訳(Dance)「意味」ではなく「音の物理ベクトル」に反応して踊ります。Weight(重さ)やSpace(空間)の数値を、そのまま筋肉の緊張度や移動の軌跡へと変換し、言葉の持つエネルギーをダンスとして再出力します。
- 視覚的拡張(Visual)ダンスの動きはモーションキャプチャーによってリアルタイムでデジタル化され、ステージ上のCGビジュアルとして投影されます。体の動きがそのまま光の粒子や流体のシミュレーションとなって空間を埋め尽くします。
――したした、
――したした、
――したした、 と。 したたる闇のなかで、吾輩はふと意識をひろい上げた。 。 。
吾輩は猫である。 。 。
名前はまだない。 。 。
どこで生れたかとんと見当がつかぬが、何でもその昔、たいまの里の古い井戸の底で、ひたすらに泥を舐めていたような心地がする。 。 。 。
――ぱたぱた、と。 みみたぶを打つのは、はすの葉が触れ合う音か、あるいは書生がよみふける書物のめくれる音か。 。 。 。
吾輩はここで始めて人間というものを見た。 。 。 。 それは、死者の衣を剥ぐ鬼のようでもあり、また、春の陽だまりにあくびをする空虚な偶像のようでもあった。
「ニャー ー ー ー ー 」と一声鳴いてみた。 。 。 。
その声は、ふたかみやまの二つの峰の間に吸い込まれ、千年の時を隔てて、ようやく吾輩自身の耳に届いたのである。 。 。 。
2025年12月Geminiで生成
同じプロンプトで生成すると以下のようになりました。
――したした、
――したした、
――したした、 と。
ヴヌォーーン、ヌ・ポッ。ニェリ・ヴァー。
ギョロ・ミッシ、ニャー・ニャー。
ニャム。 シィー・ン、ポ。 ミョ。 キョト・ン、ヌー。 ……ハク。
ヌム・ガタ。 ズリリ・ムヴェッ、ドボ・ボ。 ギチャ・メト、ネト、ネト。 ヴォォッ、ン・ゴポ。 リチャ、リチャ、ヌル。
――ぱたぱた、と。
サ・パタ・パタ、キリ・リ。
スゥー・カサ……、ガサ・リ。
ギョロッ、ヌゥーーン。
カチ・ガシャッ! ポカ・ポカ・……
シィイイイイィン。
「ニャー ー ー ー ー 」
ヴォルォォォォ・ン……ッ。 ザッ・バァ・クォ・リィ。 ………… スィ・ヴァ・ギ・ナ。 ドォ・ン、ニ・リ。 パシッ……。キィィィィン。
2025年12月Geminiで生成
逆変換すると以下のようになりました。一番しっくりきたのは「掃除をしている時」の様子です。
掃除という行為自体が、不規則な動き(高いレイノルズ数)や、摩擦音(高い周波数)を含んでいるため、AIが生成する「ノイズを含んだオノマトペ」と非常に相性が良いようです。暗く、重く、粘度のある数値を設定することで、精神的な澱みのようなものが言語化されました。
営業が終わり、「したした」と配管が最後の汗を流す。 それを合図に、高圧洗浄機の心臓部が「ヴヌォーーン」と巨大な唸りを上げ、ノズルから放たれた熱水の胞が、ステンレスの壁で爆辞のように弾けた。 私は剥き出しの瞳で、排水溝へとうねり落ちる脂の闇を凝視する。熱湯を浴びた什器の骨格が、軋みながら不気味に共鳴した。
「カチ・ガシャッ!」 五徳やフィルターを叩き洗い、金属同士が火花を散らす。 不意に視界を埋め尽くす蒸気の「陽だまり」。白濁した熱気の中で、あらゆる物音が熱水に飲み込まれ、耳を刺すような真空の空白が訪れる。
「なあああああ」という、こびりついた汚れの絶叫が、水圧の咆哮に掻き消される。 血と油の混じった濁流が激しく撥ね、人の営みの痕跡はことごとく断たれ、世界は白い飛沫と共に濁り、下水へと重く沈殿していく。
……最後の一流しを終え、栓を閉める。 乾いた静寂が戻った厨房には、さっきまで人がいた気配さえ跡形もない。 ただ、冷えていく金属の残響だけが、高く、鋭く、永遠の虚空へと吸い込まれていった。
2025年12月Geminiで生成
未来への展望:3DCGの直接生成
現状、このパフォーマンスにおけるCG表現は、あらかじめ手作業に基づいています。生成されたオノマトペの「質感」に寄せてはいますが、まだ言葉から直接映像が立ち上がっているわけではありません。私の次なる目標は、文字、音声、ヴィジュアルのループを閉じエコロジカルなフィードバックの場を立ち上げることです。
そうなれば、私が発した「未知の言葉」が、その瞬間に視覚的な物体として空間に受肉することになります。言葉、身体、そしてデジタル空間がひとつの「物理法則」でつながる瞬間。そこには、既存の言語体系では到達できなかった新しい表現の地平が広がっているはずです。