還暦から始める萌え仕事

　今度は２０１８年６月４日に、ビューアーで見る対象をスマホじゃなくてプリントアウトしたシートにロックするようにして、それをリアルタイムに録画してるデモがこれです。 　お菓子の絵にロックしてるのは、たまたまプログラマーさんがテストする時に、Minta のパッケージが手元にあったからです。

　話の順番が逆になっちゃいましたけど、昨日のビデオのビューアーに映ってるミクの演奏動画の元になってるデータがこれです。 　これは２０１７年の９月に、近所のファミマの喫茶コーナーに人がいなくなった隙にコッソリ撮ったビデオに初音ミクを合成しています。 　いわゆるマッチムーブってやつで、机の上にオモチャのピアノを置いて撮影し、そのカメラの動きのデータを Blender で解析し、抽出したカメラの視点で MMD のミクが演奏する絵を再生し、それを元のファミマの動画に合成してるわけです。 　これ完成してすぐに自信満々でカヤックに連絡して動画見せましたがスルーされました。

　で、例によってあちこちプレゼンしたけど、イマイチ効果は期待できず。 　それでもそんな中、２０１７年に紹介されてた人が２０１８年にチョコっと手伝ってくれて、フミカの 3D データとビューアーを作ってくれる事になりました。 　最初はプログラマーの人がチョイと趣味で作ってみました、みたいな感じで、スマホをターゲットに向けるとピアノを弾く初音ミクが現れるというシカケ。 　これが２０１８年６月初旬の話。渋谷のカルチャーカルチャーのイベントにゲストで出た時、偶然連絡があり、ビューアーの簡単なテストが出来たので渋谷あたりで、っていう事だったので、イベントの準備中に持って来てもらって見たのが、この動画です。 　ここでは一台のスマホにターゲットになる絵を表示しといて、そこにビューアープログラムを向けてカメラで見ると、そのターゲットのスマホの上にピアノを弾く初音ミクが浮き上がってきます。 　ターゲットの絵は、この動画ではスマホを使ってるけど、別に印刷物でも、立体物でも OK です。 　というわけで動画。

　昨日の続きで、映画音楽＋イージーリスニング＋ピアノ、時々プログレ、という路線で AI の侵略に対抗しようか、と考え始めたわけだけど、以前のブログのエントリーを見ると、マニアックな映画音楽の話とか書いてます。 中古レコード屋でスパイ物シングルを漁る話 http://anz-yokohama.blogspot.com/2018/06/blog-post_43.html カルトスパイ物、OSS117 の話 http://anz-yokohama.blogspot.com/2018/06/oss117.html エンニオモリコーネの話 http://anz-yokohama.blogspot.com/2018/07/ep.html 　とまあ、その辺の考えがまとまって来た段階で、メインで演奏するバーチャルキャラをどうするか？って考えたわけ。 　ひとつ考えられるのは初音ミクのキャラを使わせてもらうパターン。これは実験的に使わせてもらって、盛り上がったら商業的にどうするか考える、ってやり方が可能かと思いました。 　だけど、初音ミクの人気にあやかった便乗商法パターンは、自由がきかなくなる可能性があるわけで、色々考えてた時に「あ、それ行けシンセ女子！で作ったピアノの女の子、フミカのキャラを使ってみたらどうかな？」と思いついたわけです。 　ただ、フミカの絵はあったけど、３D化してたわけじゃないんで、とりあえず初音ミクのデータを使ってプレゼンして、反応があったらフミカの絵を３D化する予算を出してもらう、というような他力本願の甘い考えを持ってたわけです。

　なぜか昨日の書き込みの参照数が多い、ミク物、とかのキーワードに引っかかったのか？ 　さて、昨日も書いたように１０代に教えられるような形で、自分が昔から好きだった音楽にこだわるのも悪くないと思い始めたわけです。 　さらに２０１０年代中盤頃から AI が注目されるようになり始めたのは、皆さんご存じの通り。AI 自体はかなり昔からあったけど再注目されたのは、やっぱり Google の Alpha Go で囲碁に強い謎の人物みたいなので話題になってからでしょうね。 　余談になるけど１９８０年代に人工知能ならぬ、人口無能なんてのが流行った事があって、ネットのチャットで人口無能相手にバカな会話を楽しんだりしたものです。ただ、人口無能とはいえ、コンピューターの辞書リストから突然発せられる会話は、思わぬ閃きのように見え「こいつ、ホントは頭いいんじゃないか？」なんて笑ってたもんです。 　さて本題の AI、音楽だけど、私が好きな音楽ジャンルの一つ、映画音楽のうち、誰がやってもおんなじだろう！みたいな映像向け BGM は、かなり早い時点に AI に取って代わられるだろうな、ってのは簡単に思いつく事でした。 　特に最近の映画音楽って、な～んか同じようなのばっかりで、サンプリングのオーケストラで Epic Orchestral！とか言って、メロディー性の希薄な金太郎飴音楽がやたら多くてウンザリ！！！ 　で、もちろん、将来的にはほとんど全てが AI に取って代わられ、人間はコンピューターに飼われるネコみたいな存在になるか、スタートレックみたいに、お金を稼ぐ仕事はなくなって、仕事っていうのは栄誉のためにするもの、ってな感じになると思うけど、そこに行きつくまでには淘汰されるであろうジャンルの仕事が沢山出てくるわけで、特に金太郎飴状態になってる映像向け音楽の仕事は、かなり危ういでしょう。 　それなら自分は何をするのが正しいのか？っていう自問自答を繰り返したんだけど、まず昨日も書いたように「昔の音楽だっていいじゃん！」っていう考えの中、自分的に「これは好きだ！」ってのを割り出しつつ「このジャンルは最後まで AI に侵食されにくいのでは？」って傾向を考えてみたわけです。 　自分が１０代の頃から好きだった音楽は映画音楽だったわけだけど、その流れの中でイージーリスニングに分類される音楽は、映像向け音楽・軽

　ちょうどフミカのプロジェクトを考えている時、友達のお母さんがやってる音楽学校に頼まれて週一でポピュラーピアノを教えに行ったんですよ。 　「今のご時世だから、ミク物とかアニメの曲とか J-Pop がメインなんだろうな」と思い、どういう曲が中高生の間でヒットしてるのか勉強させてもらうつもりで教えに行ったのです。 　生徒は小学校～高校まで男女６人でした。ところが彼らがやりたいと言って持って来る曲が面白かった！ 　ミク物アニメ物の他に、結構７０年代のヒット曲をやりたいって持ってくるんですよ。 　「こんな古いのどこで聞いたの？」って聞くと、映画に使われてたとか、テレビで聞いてカッコ良いと思ったとかって話。 　彼らは J-Pop を持って来なかったし、８０年代後半から最近までのヒット曲も持って来なかった。 　で、私が「う～ん、君たち若いんだから、もっと最近の曲やったら？」って言うと「でも、この曲カッコいいですよね？」という、反論しようのない意見が返って来るわけです。 　さらに、最近のミク物とかで、元ネタが古いロックとかフュージョンのやつとかがあるんで、恐らくネタにしたと思われるクルセイダーズとか聞かせたりしたわけです。 　そうすると「この楽器の音カッコいいですね？何ですか？」って聞いて来るのが、ハモンド B3 だったり、フェンダーのピアノだったり、クラビネットだったりするわけです。 　彼らはパソコンを持ってて、シーケンサーソフトも持ってるから、当然オマケで付いてるハモンドとかフェンダーのピアノのシミュレーション音源を聞いているはずなのに、大元になってるビンテージ楽器の音が良い、と一発で見抜いてくるわけです。 　そこで、ハタと思ったのが「これって古いスタイル踏襲したままでも良いんじゃないのか？」って事。今の若い人にとっては古い物も新しい物も均等に聞くチャンスがあるんで、昔の物が古いからダメって感覚はないみたい。 　むしろ昔の人の方が「新しい物を取り入れなきゃ」って思い込み過ぎてるのでは？と物凄く考えさせられたんですよ。

　昨日書いたように、２０１７年後半から Vtuber が出始め、２０１８年頃からは雨後の竹の子の如くに Vtuber が増え始めたわけです。 　一説では５０００人以上とか言われてたんだけど、最初はキズナアイがキッカケだったと思います。で、それに続け！とばかりに、バカみたいに Vtuber が登場したわけで、そんなの上手く行くわけないじゃん！と単純に考えたって、分かりそうですよね！ 　こういう二番煎じとか、便乗商法で楽して儲けようっていうのは、昔から音楽業界の定番アホパターンであって、例えばエリマキトカゲが流行ったからキャラクターソングを作るとか、比較的記憶に新しいのでは「だんご三兄弟」が流行ったからって「やっぱり団子は４兄弟」が出たりとかね。 　いい加減みんな気づきゃいいのに、Vtuber でも同じ事が起こったわけです。しかも Vtuber で間が悪かったのは、景気の悪いレコード会社じゃなくて、お金持ってる IT メーカーが、やれ「数億円かけた Vtuber 用のスタジオを建てた」とか「最新鋭のキャプチャーシステムを導入」とか、ハードを買い込むだけで、あとど～すんすか？みたいなパターンなわけです。 　まあ、儲かってる IT メーカーが税金逃れにやってるだけだったのかもしれないけど、やればやるほど、先行者利益を獲得してるキズナアイちゃんが盛り上がるってわけですな。 　当然の事ながら、多くの（っていうかほとんどの）Vtuber は沈没し、本家キズナアイも、なんかお家騒動があったりしてドタバタらしいし… 　というわけで、私がやろうとしてる「バーチャルピアニストのフミカ」の開発メモ用 OneNote には 「乱立する Vtuber に心乱されずコンセプトを死守する事！ 」 って、デッカくメモしてあります。 　とにかく「綺麗にピアノを弾く事」「 〜ファンタジーとリアルの狭間で演奏する〜   Virtual Pianist Fumika（フミカ） 」「 オシャレ、カルチャー、ストイック」という事をメインに持ってくる事。 　その中でも「とにかく音楽ファーストで考える」ってのを全ての大前提に置いて事を進めようと決心したわけです。

　その後、うだうだとしてたんですが、２０１７年初夏頃に VR 関連の SDK とか、色々出てくるようになります。 　もちろん、それまでにもあったんだけど、実用的には「どうするの？」って感じが多かったんだけど、２０１７年５月頃に発表になった Google の Tango っていうのは、スマホをビューアーに使って、リアルのカメラ画像を表示させ、それに独自に 3D のキャラを表示させられるんだけど、それまであったのと違うのは、キャラの手前に何かが割り込んで来た時に、その前後関係を判断して、キャラを奥に置いたりできるって点でした。 　それまでの３Dビューアーで VR を見る場合、合成されるキャラは必ず一番手前に表示されちゃうんで、現実の木の向こう側にキャラが隠れてるとか出来なかったんですよ。 　ところが Tango は、それが可能になってて、ネットでもそれを使った実験動画がいくつか公開されてました。 　結局 Tango の仕組みは、その後中止になっちゃうんだけど、Tango が発表されて「あ、これならいけるかも？！」って思った人はいたはず。 　で、そのせいなのか何なのか真実は分からないけど、この年の後半から現在の VTuber の原型になるような物が出始めるわけです。 　という事で、私もこの Tango SDK を見て「あ、これならフミカの仕組みも作れるかも？」と妄想を抱くようになったってわけです。

　最初に初音ミクによるピアノソロ版「風のうた」を作ったのが２０１３年、フミカのキャラクターが完成したのが２０１４年でした。 　で、２０１４年後半から、バーチャルオーケストラやバーチャルピアニストの企画を考えて、自分なりに色々実験をしてたけど、基本的に「フミカのキャラデータが作れない」、「ピアノ演奏データをモーションキャプチャーするのは難しい」という大問題を解決できずに悶々とする日々が続きました。 　バーチャルキャラにピアノを弾かせるためにモーションキャプチャーができるハードは、最初のころ千万単位の高額機材でした。唯一 Kinect があったけど、これだとフニャフニャした動きはなんとかなるけど、ピアノ演奏はとてもとても、という状態。 　そんな中で、iClone っていう CG ソフトに perception neuron っていうモーションキャプチャーユニットを使う方法が出てきました。perception neuron は２０万くらいで全身のモーションキャプチャーが可能で、指のトラッキングも可能でした。 　iClone のデモで、実際にピアノを演奏するのがあったんだけど、指のトラッキングのためには専用のグローブを付ける必要があり、かなり演奏の邪魔に！ 　デモの動画を作る時にピアニストがキャプチャーユニットを体中にくっつけてピアノに向かうシーンがあるんだけど、結構マジで怒ってる雰囲気がヒシヒシと伝わってきたりして… 　というわけで、とにかく方法がなくて、暗い日々が２年ほど続いてました。

　話がちょっと逸れるけど、友達のオンラインショップでアナログシンセの販売を始めたんだけど、これが問題が多い！ 　というのは、海外のシンセモジュールは日本に入荷して代理店に入るわけだけど、元の会社が趣味の零細企業な上に、その代理店も中小なので在庫管理がちゃんとしてなくて、ネット上では先方に在庫ありのはずなのに、いざ注文が来て発注をかけると「すいません、在庫切れで３ヵ月待ちです」なんてのがざらで、「え～？だって在庫ありの表示になってますよ」なんて言っても「あ、ページ修正してないですね、すいません」みたいな話になっちゃわけです。 　在庫ありなのに、やっぱりなかったっていう場合、ペナルティーはうちのショップの評価値に出ちゃうため、危なっかしくて販売できん！ってな感じ。 　しかも、５万円くらいのそこそこ高額のシーケンサーとかわりと売れてたんだけど、ある日、突然売り上げがストップ！なぜ？！と思って調べてみると、その商品を amazon が独自に大量購入して格安販売してるっていう！！！ 　つまり、amazon でショップを運営するって事は、下手すると amazon に売れ筋商品を紹介してるようなもの！ 　というわけで、シンセ販売は断念するハメに陥ったのでした。 　その時、シンセの紹介で使ってた画像はこれだったりします。

　バーチャルピアニストのキャラとして使ったフミカだけど、元々は前の書き込みのようにシンセのオンライン販売のプレゼントグッズのキャラとしてデザインされました。 　最初、シンセの萌えキャラとして、私が気に入っていた漫画家さんの「みずなともみ」さんに描いてもらえるか、打診しました。 　みずなさんは当時、４コマ誌で「 みもりろっくおん 」っていう漫画を連載してて、絵の感じが気に入ってて連絡してみたわけです。 　みずなさんのサイトの趣味で描いてたイラストを見たら、私のイメージにピッタリだったので、イラスト作成をお願いしました。ちなみに、みずなさんは以前、私の家の結構近くに住んでたらしい！ 　で、何度かやりとりして完成したのが以下の絵です。 　その時、みずなさんにシンセを説明するために、簡単な３人のストーリーを作ったんだけど、せっかくなのでそれを完成させよう、と思って書いたのが「それ行けシンセ女子！」というストーリーでした。 　このストーリーは最初、comico に載せ、その後「ストリエ」っていう小説サイトに移動して、コンテストに応募してみたら、賞を取りました。ところが賞をとってしばらくしたらサイトが崩壊してしまった！という事で、しょうがないので同じ内容を「小説家になろう」に移しました。 それ行けシンセ女子！のサイトリンクはこちら！

　例によってバーチャルオーケストラのアイディアをレコード会社、音楽事務所、ゲーム会社の知り合いに持ち込むも「はぁ～、そうですか～」と相手にされず。 　そこで今度は、オケじゃなくてピアノソロとして考えたらどうか？という事で「バーチャルピアニスト・ぴあ野ヒク」というネタで考えてみました（笑）。 　まあ、初音ミクに続く、亞北ネルとか、弱音ハクのパターンですね。 　で、この時点では絵のネタとして、フミカの原画は既にあったので、最初に作った初音ミクの絵に「キャラクターはこっちのフミカにしようと思ってる」という事を追記して企画書を作ったわけです。 　フミカのキャラクターは、その前後に作ってます。 　元々はシンセ３人の女の子のイラストとして作ってます。２０１１年頃から友達のオンラインショップでアナログシンセを売るようになったんだけど、Doepfer とかセットで買うと３０万以上になるから、何かプレゼント用のキャラクターを作って、クリアファイルとかプレゼントしたらどうか？ってな話からスタートしてました。 　で、漫画家さんにキャラデザインをお願いするにあたって、アナログシンセとはどういうものか？って説明しなきゃいけないので、せっかくなので女の子３人がアナログシンセを作って、それでライブをやるっていう簡単なストーリーを作り、それを漫画家さんに渡してイラストを描いてもらいました。 それを元にして「ぴあ野ヒク」の企画書にしたのが以下。

　バーチャルピアニスト企画書、相手にされなかったわけですが「これはもっと分かりやすいビデオを作って見せたら？」と思い、専門のビューアーで会場を見ると、本物の演奏者に混じって、バーチャルなキャラが楽器を弾いている、という想定のデモビデオを作ってみました。 　動画は全部 MMD でやってるんだけど、とりあえず １：ギターとベースは本物の人間が本物の楽器を演奏しているという想定 ２：ピアノ・キーボード・ドラムは楽器は本物だけど演奏者はバーチャル ３：弦楽器は楽器も演奏者も全てバーチャルで、空中を舞いながら演奏 　というイメージになってます。 　これは、現実的に気合いを入れて開発すれば可能な内容。とりあえず、そのビデオが以下です。

　１つ前の書き込みにある企画書の中で提案した事の中に、当時流行ってたハコアニを使うアイディアがありました。 　複数のハコアニを喫茶店のテーブルとかに並べて、各々がピアノとかベースとかドラムとかを演奏するってアイディア。 　３Dデータを作れば、各テーブル上のハコアニのシンクは、別にシビアにやらなくても、演奏プレイヤーソフトが、特定時間になったらキッチリスタートするようにプログラムを書いておけば、いちいち一台ずつをワイアレスでシンクさせるなんて事はしなくても済むはず。 　という事で、ハコアニ部分の写真。

　で、バーチャルキャラにピアノを弾かせるのは、気合いがあれば上手く行くという事は判明。 　この時点で２０１３年だったんだけど、まだモーションキャプチャーは予算がかかり過ぎて無理。 　かろうじて Kinect は出てたんだけど、この精度じゃピアノ演奏は無理。 　でも、将来的にはピアノ演奏だけじゃなくてバンドとかオケもバーチャルキャラで出来んじゃん！ 　というわけで「こういうアイディアでバーチャルキャラによるオケをデビューさせませんか？」っつ～て企画書まがいを書いて、レコード会社、音楽事務所、ゲーム会社を回りました！ 　結果、撃沈！全然相手にされず。っていうか、こういう事をやるって意味が分からないみたい。 　この時、考えてた名前は The Electric Holiday Orchestra。イージーリスニングのオーケストラをバーチャルでやる！ってコンセプトでした。 　イージーリスニング＝映画音楽とかヒット曲とかのカバーをオーケストラでやるやつね。例えばポールモーリアとかレイモンルフェーブルとか…

　このビデオは、初音ミクを３方向から見て、ピアノの演奏モーションが綺麗に行っているかどうか、確認してる所です。 　動きがよく見えるように、髪の毛は上げて物理シミュレーションはオフにして動作させています。

　で、スクール水着版を作った次に、４人の MMD キャラによる共演版。 　遊びといえば、遊びなんだけど、同じモーションデータを使って、別なキャラクターを動かした場合に、どの程度差が出るもんなのか？を検証する意味がありました。 　結果的には遠目に見ればそんなに問題ないけど、接近して見ると、指が鍵盤にめり込んじゃってたりとか、微調整が必要なんだなってのが分かりました。 　んで、その動画がこれ…

　２０１３年に作った最初の初音ミク演奏バージョンに続き、試しに作ってみたのが、これ。 　スクール水着バージョン！ 　背景は例のプールです。これをやってみて分かったのが、スクール水着のデータは洋服のヒラヒラした部分の干渉がないから、物凄くデータ作るのが楽！という点（笑） 　洋服のヒラヒラしたスカートとかって、MMD だと足を曲げると、足がスカートを突き破って表示されちゃうんで、曲げた足に合わせて、洋服のデータを修正しなきゃいけないんですよ。 　その点、スクール水着は体のデータと服がピッタリ一致してるから、修正しなくていいわけです。 　最新の CG ソフトとかだと、衝突判定って言って、足と服の関係とかが、ちゃんと認識されて、足が服から飛び出しちゃうなんて事はないんですが、まあ、これを作った２０１３年頃の MMD だとそれは無理だったという。 　という事で、動画！

　バーチャルキャラにピアノを弾かせるっていうアイディア自体は２０１３年にありました。 　ちょうど、その前の年あたりに音楽を担当してたアニメの「あらしのよるに」っていうのがあって、それのエンディング曲「風のうた」をルナシーの河村隆一さんに歌っていただいてたので、これのプロモーションにでも、なんて何となく考えて、そのピアノソロ版を MMD で作ってみたのがキッカケでした。 　それが、この動画。

　Unity で書いた LeapMotion の指の動き抽出＞midi 出力のプログラムで、指の動きを ProTools に記録しました。 　で、これを Unity の受信プログラムで受けて、３Dモデルの指を動かしてみたら、動作が変！ 　単純に midi port の番号と midi channel の組み合わせが間違ってるのが原因みたいで、バグ取り中。 　なにせ膨大な midi data を 30 くらいのポートで読み書きし、各 port には複数のチャンネルに記録された指や体の位置・角度データが入ってるんで、相当よく考えながらデータのテーブルを書かないと、動きがメチャメチャになります。 　windows の場合、midi のポートはシステム管理されるんだけど、出力ポートにだけ micro soft のシンセが勝手にインサートされちゃって、単純にイン・アウトで同じ番号を指定すると、出力ポートは一つ分、順番がずれちゃうんですよね。 　しかも、この MS 独自のシンセは外せない！（昔のバージョンの OS だと外せたらしい） 　解決方法は独自のポート番号管理テーブルを作ればいいんだけど、どうも作業してる時に勘違いしやすくて、これが原因で指の動きがメタメタになってます。

　これは去年の１０月に初期実験でユニティちゃんが走るアニメーションデータを midi 化して出力し、それを logic でレコーディングしてから受信プログラムで受けて、動作を見ている所です。 　この頃はデータを midi コントロールに割り振って動かしてたんだけど、これだと１つの座標や関節の分解能が１２７にしかできません。 　将来的に midi 2.0 になれば、この問題は解決できるんだけど、使えるシーケンサーとかがいつ出てくるか分からないので、とりあえず現時点の midi でやる事にしました。 　コントロールでやる場合、データ幅が１２７段階しかないので、記録したいデータを一度解析プログラムにかけて、最大値と最小値を割り出して、データを最適化するようにしてたんだけど、効率が良くないので、コントロールをやめてピッチベンドを使うことにしました。 　これだとデータの分解能は１４ビット精度になるので、かなりいい感じに。その代り、midi port を大量に喰う事になるので、結構大変です。このために MidiOverLan を使う必要があったのでした。 　というわけで、動画…

　タイトル通り根本的な問題です。 　とある吉本系のコンサルっぽい人に話したら「そんなの誰が必要とするんですか？」ってバカにされました。ま、そもそも私が説明してる間にスマホ見たりしてたから、根本的に興味ないんだろうけど。 　だけど、それ以前に話した VR 系の重鎮は「ピアノを演奏できるバーチャルキャラは必要とされてると思う」という意見。彼は時々、私の方にピアノ演奏関連のバーチャルキャラが発表されると情報を送ってくれたりしてます。 　そもそも、midi でバーチャルキャラをコントロールするっていうのも、その重鎮の人が実験してるのを見せてもらい「これを発展させればバーチャルピアニストは上手く行くのでは？」と思ったのがキッカケ。 　ま、それで予算もないし、他の人にも相手にされてないんで、全部自分でやるというドツボにはまったわけですが（笑） 　それでも、ちょっと興味を持ってくれてる人は出てきているんで、動作プログラムが確立できたら（これは本業の仕事が入らなければ、近々できる感じ）、キャラクターの件の相談とか、色々としようと思ってます。

　大量のモーションデータを unity から送り出して、シーケンサーで受けるのに、MidiOverLan（通称 Mol）を使ってます。 　これは最大６４ポートのデータまで扱えるんだけど、開発が終了しちゃってて Mac 用の最新版が手に入らない！なぜか Windows 版は流通してるんだけど… 　で、最近の osx だと Mol でデータの送信が上手く行かないって問題が出てます。Mol に代わる製品はポート数が少なければあるんだけど、それだとこのプロジェクトには向かない。 　本家 Apple のリアルタイム midi の Lan 接続はユーティリティとか非力で「Apple やる気ねえな、コリャ」状態。 　Mac での受け渡しは古い PPC/G5 だと上手く行くんだけど、今度は Logic だと複数のポートからの midi 信号を別々のトラックに入れられないという根本問題が発生。 　Windows をシーケンサー用に使うとすると Studio One があるんだけど、こちらはマルチの midi ポートは受けられるんだけど、どうにも使い勝手が悪い！ 　と、もうどにもしょうがない状態だったんだけど、フト「G5 mac の Protools もシーケンサーとして使えるな」と思い出し、試してみたら上手く行きました～！ 　なので、現在は Leap Motion を Core i5 の Windows で、Vive トラッカーを Windows の走る MacPro で、それらの midi データを G5 の mac でレコーディングしつつ、モーションの確認用に、Core i7 の windows を使い、メモ書き用に macbook air を使っているのでした。

　こないだ書いた通り、バーチャルピアニスト Fumika のアイディアは誰にも相手にされないし、予算もないので自分で全部やる事にしたわけです。 　幸いにも今は色々なツールが無料で提供されてるので、とにかく Unity を使って Fumika を作る方法を地道に研究し始めました。 　元々の企画は２０１３年には初めてて紆余曲折があり、Unity のプログラムも自分でやるしかない、と決心したのが２０１９年の８月。長い戦いです（まあ、戦いっつ～か半分は楽しみでもあるわけだけど） 　で、２０１９年の１０月に Midi をつなげてユニティちゃんの動きを制御してるテスト動画がこれです！

ということで、開発中のシステムの概念図をば… これを一人で組んで実験してんだから大変ですよ！

　Fumikta の 3D データだけど、元の２Dの絵に対して、一昨年の秋口に、一度専門家に作ってもらってました。 　ところが、この方、途中で心身症になって入院… 　fbx データを途中まで作った所で話がとん挫してしまったのでした。 　そこで、しょうがないので Vカツでキャラを作ってみたんだけど「まあ、いいかなあ？」と思って使用条件をよく見たら、お金を払ってもキャラの使用範囲はニコ動系のみでしか使えない！ 　ということで、せっかく作ったモデルを捨て、今度は完全フリーな Vroid に乗り換えて作りました。 　ま、素人作成なので色々ございますが、とりあえずモデルのテストに使うには十分。ある程度見えたら専門家の人に相談してみるべ、ってな感じで考えてます。 　で、一昨年、3D モデルを作る時に専門家の方にお渡しした資料が以下です。

　私は昔からの Apple ユーザーで、本国アメリカの Apple の広報にも時々登場してたりしました。 　なので当然 Mac 派なわけだけど、今回の開発は Mac ではできない！っつ～か、VR 系の開発って Mac じゃできないっすよね？ 　まあ、それ以前、というかジョブズ亡き後の Apple の方針にはちょっと疑問符が付くようになってたんですよね。システムをアップデートすると使えなくなるソフトが続発したり、ハードを刷新しないと、次のステップに進めないように強制的な縛りを作ったり… 　ファイルシステムが変わったら、前のディレクトリにアクセスできなかったり、一番困ったのはプレゼンの前日にシステムをアップデートしたら、翌日のプレゼン現場で Logic Pro がまともに走らなくなった件ですかね… 　そんな事を繰り返すうちにバーチャルピアニストの企画を始めて、Unity + Leap Motion + Vive で VR の処理をしようとすると、どれひとつとして Mac ではまともに動かん！ 　Unity でも midi のエクステンションを入れると、Mac だとエラー頻発して使えん！Unitｙに状況を連絡したら「midi エクステンションは基本的には Windows 用に作られてるので Mac では使わない方が良い」との回答でした。 　Unity で midi 関連ソフトを作ろうとしてる皆さん！Windows にしないと大変ですよ！ 　軽い処理、例えばドレミファソ～て演奏させるだけの midi データの扱いなら mac のエクステンションでも大丈夫なんだけど、演奏データが重くなると、突然フリーズしますんで、気をつけてくださいね！ 　いや、本当は Apple 派だから、mac になんとかなってもらいたいんですけどね。 　今日の一言「背に腹は代えられぬ！」

　今回のバーチャルピアニスト制御方法の一つの特徴は、演奏のデータも動きのモーションデータも全て midi シーケンサーに入れて一元管理してるって事です。 　具体的には unity で動く色々なモーショントラッキングセンサーに割り込んで、座標や角度を midi フォーマットに変換して出力し、それをシーケンサーで取り込み、編集して最終的な動画にしようという作戦。 　色々な人に相談したけど、まったく相手にされず、全部自分で作ってます＞だから誰にも文句は言わせん！（笑）

　ということで、ほぼ完成した Leap Motion による指のトラッキングテスト。 　指の動きに同期して、５色の球が表示され、それにくっついて指が動くようになってます。 　球と指先の位置合わせが完全にじゃないので、多少ずれるけど、それは問題ないです。 　この方法は実は今年頭には完成してたんだけど、その時は Leap Motion で指の各関節の角度データを拾ってました。だけど、それだとデータ量が多くなるのと、ピアノを演奏させるという点で考えると最終的に問題が発生する事が分かり、今回は、指先の座標と指の動きを骨格ベースで制御する IK ボーンを入れて、データ量を 1/3 にする事に成功！ 　多分、最終的にはこの方法のほうが上手く行くはず。 　この動画では指先だけがトラッキングされてて、手のひらとかの動きは追ってないんだけど、そこがポイント！（動画をよく見ると、右上に表示されてる実際の手の動きで、手をひっくり返したりしても、キャラの手は指先だけがトラッキングされてます） 　手の動きは後から Vive トラッカーで追っかけさせて、それを合成するという作戦です。 　この方法はピアノ演奏に特化した動作だと高精度で演奏が再現できる（はず）。 　というわけで、続いて去年くらいに作った Vive トラッカーで体や手のひらの動きを拾って、Leap Motion の指の動きと合体させる方向で、進めたいと思います！

この子、名前は Fumika。 このキャラがちゃんとピアノを弾くようにしようとしてます。

ず～っと、作業中。 音楽も時々やってるけど、実はずっとバーチャルピアニストを作ろうとしてる。 まあ、細々としたことは追々と。 で、ピアノ演奏のためのモーショントラッキングは特殊な方法でないと再現性が低い。 というわけで、ずっと研究中。 指先の動きは Leap Motion でやろうとしてる。 ところが Leap Motion は Ultra Haptics とくっついて訳わからん状態に。 素直にアップルに買収されちゃえば良かったのに！ おかげで ＳＤＫ もバージョンによって違いがあったり、途中から Windows 専用になっちゃったりと散々です。 ということで、Leap Motion で指データをひろって、それを３Ｄモデルに移行する方法が結構できてきた。