フミカのプログラムで目指している事

 だいたい、昨日までのエントリーであれこれと経緯を書いたわけだけど、ピアノを演奏させる、という単一の動作をいかに綺麗に見せるか?が今回のポイントなんです。

 色々な人がやっているのを見てると、手が鍵盤の上をなんとなく動いてるだけとか、演奏してる内容と指が全然一致してないとか、そんなのばっかりでした。

 最近は AI で学習させた演奏ってのが出てきてるけど、この辺は、自由度がどうなんだろう?って疑問符は付きます。ま、前から書いてるとおり最終的には全部 AI になるんだろうけど、当面はキャプチャー+プログラムで完成させるしかないかな?と思ってます。

 何人かの人がやってるのは Leap Motion だけでやるバージョンと、Leap Motion に HTC Vive のトラッカーとかを組み合わせやってる方法。この辺は Vtuber の方法の延長ですね。

 だけど、これだけだと、どうしても鍵盤と指の動きが一致しない。フィンガートラッキングはあくまでも指の動きを追ってるだけで、その先が鍵盤に完全にタッチしてるかどうかってのは、また別問題。

 そこで、キャプチャーする時に、一緒に midi の演奏データも取り込んでおいて、そのデータとモーションキャプチャーの動きを合致させる事ができれば、精度の高い演奏モーションを作れるんではないか?と考えてるわけです。

 まあ、口で言うは易しで、実際に実験してみると、まあ、うまくいかねえのなんの!

 ノロノロとプログラム考えてる間に、全部 AI バージョンに追い抜かれるよ!って感じですが、とにかく始めちゃったので頑張ろうという状況です。

このブログの人気の投稿

ラムのラブソングのデモをアップしました

箱根の駒ケ岳が廃墟じゃなかった頃

クラウドファンディングでイベントをやった