還暦から始める萌え仕事

　ようやく midi の環境が整ったので、指の演奏データを入力開始！ 　データの入力には、Studio One を使い、編集と出力には Logic 8 を使用。 　Studio One で、ガイドのピアノ演奏を聞きながら、指データを受信すると、ガイドのピッチが揺れまくります！ 　「CPU のパワー不足？」と、ゲージを見てみたけど、CPU の使用率は問題なし。どうやら、Windows のサウンドドライバーのせいみたいです。ASIO とか、何も入れてないですからね。 　まあしかし、ピッチが揺れるだけで、タイミングは大丈夫みたいなんで、無視して入力。 　取り込んだデータを Logic に移した所で、本日は終了！

 　G5 の iMac でシーケンサーのデータを修正中。 　まず、こないだのポップコーンをちゃんと完成させようとしてます。作成には演奏してるフレーズの一音一音の midi チャンネルを動かしたい指番号に割り振る必要があって、これをやってたんだけど、間違えて作ったデータを消しちゃって、再度やり直し… 　暑いもんで、ボケてた！ G5 の iMac ホント熱を持ちます。ジョブズが嘆いてたのもわかる！本気で暑くなる！ 　というわけで、作業続行中。 　最終的には筋電センサー＋ Arduino あたりで、使ってる指を特定して midi チャンネルに変換しようと思ってます。

　Intel Ｍac だと Midi Over Lan の送信は、どうしてもうまく行かず、思い出したように古い G5 の iMac を引っ張り出して来て、初期化して Tiger（10.4）をインストールして Midi Over Lan を走らせてみました。 　それでもうまく行かない！同じ構成の PowerMac G5 だと上手く行くのに… 　で、Midi Over Lan を上書きインストールしたら、いきなり動き出した！ 　わけわかんいけど、動いたからまあいいや… 　という事で、G5 iMac ＋旧 Logic 8 を、Ｍidi の送信側として、モーションデータを送る事にしました。明日から、演奏の実験！

 　Midi Over Lan を動かそうと、MacBookAir に Mountain Lion をインストールして Logic を走らせてみたけど、またしても症状は同じ！　midi を受信はするけど、送信しない！ 　そこで、MacPro の Yosemite で試してみたら、これも同じだった… 　つまり、根本的に Midi Over Lan は、Intel Mac だとうまく行かないって事？ 　G5 の Mac だと全然問題ないんだが… 　困った！ 　ちなみに Mountain Lion に Logic Studio 8 をインストールするのも、PPC はサポートしないといって、アウトだったんだけど、なぜか High Sierra だとインストールできる（ただし走らない）。 　そこで High Sierra で Logic をインストールしてから、本体とライブラリーを Mountain Lion にコピーして動かしたら、動きましたっていう… 　う～ん、どうしたもんやら…

　フミカのモーションをコントロールするのにシーケンサーを使うわけだけど、これが中々大変なんですよ。 　まず、前にも書いたと思うけど Midi のデータを LAN 経由で送る Midi Over Lan は、開発を中止してて、Windows は最新のバージョンでも動くけど、Mac は High Sierra 以降はダメ。midi の受信はするんだけど、送信はランプがついて転送してるフリはするけど、実際には送信されないという… 　さらにシーケンサーは Logic だと Midi Over Lan の複数のポートから一気にデータを読めない。それが可能な Studio One は、今度は１つのトラックに複数の Midi チャンネルを入れられない。 　んで、Unity の midi エクステンションは Windows 用でないと使い物にならない… 　という、大混乱状態なので、ピアノのモーションは Windows で走る Studio One で録り、それを smf フォーマットで書き出して、Midi Over Lan の走る Mountain Lion の古い Logic Pro 7 で走らせる、という作戦で行く事にしました。 　Mountain Lion は MacPro にも入れてあるんだけど、こっちは、ビデオカードを更新したら立ち上がらなくなる、というもう、ホントいい加減にしろよ！な状態。 　特に Apple 製品は最新版だけが生きて、古いバージョンはドンドン切り捨てて行っちゃうから、特殊な機能を持つ汎用的じゃないソフトを開発に使ってると、ほとんどアウトになってしまうのですよねえ。 　みんなよく我慢してるな… 

 　昨日までの成果を組み合わせて、実際にフミカがピアノを演奏しているビデオを作ってみました。 　まずはポップコーンの最初のフレーズ部分。 　親指は、やはりめり込んだりするんだけど、元の演奏自体、遠い位置の鍵盤を親指で弾こうとした場合、一つ手前の鍵盤も指の腹の部分で押してる事があって、それを律儀にキャプチャーしちゃったりしてるのも原因の一つと思います。 　例えば、右手の親指で、遠くから C の音程を弾こうと指を伸ばした場合、目標の C の位置と一緒に、手前の D の鍵盤も軽く押してるんですね。この場合、D の鍵盤は音は出ないけど少し下がった状態になります。 　こういう状況は midi データとしては感知しないけど、モーションキャプチャーでは認識されちゃうんで、その辺が矛盾の原因になったりもすると思います。 　という事で、ビデオ！

 　昨日の指の動きの動画は core i5 の PC で動作させてたんだけど、同じ midi シーケンサーからのデータを core i7 で走らせてみたら、ずっと滑らかでヌルヌルと動きました。 　カクツキとかは、指が鍵盤を押して、指先位置が固定になっている時に、手の位置が動くと、指の角度を調整するために色々な関節が再計算して指の形が変わって行くのが、cpu が遅いために、カクカクとなっちゃうのが原因でした。 　というわけで、core i7 版のスケールは以下。

 　実際に C のスケール（ドレミファソラシド）を繰り返して演奏してみました。 　鍵盤へのめり込み補正プログラムはオンにすると、鍵盤から手が離れる時にくっついたみたいになったり、動きが不自然になる気もするんで、オフにしてます。 　やはり親指がめり込むんで、これは単純に取り込みの時に親指が下に行き過ぎないように調整するだけで良いのかも…　さらに実験してみましょう。 　ちなみに、このスケール演奏でのポイントは、ミからファに移る時、ミを中指で押さえた状態で、その下を親指がくぐってファを弾く点にあります。 　この部分については、うまく行ってます。

 　指のキャプチャーをしようと、シーケンサーを準備。 　モーションキャプチャー用、それを受信してピアノを弾くモデルを動かす PC、さらに動きを記録するシーケンサーの走る PC と、３台を動かしてテストなので、準備だけで大変です。 　特にシーケンサーは、複数のポートからデータを受信しながら録音するようには最適化されてないので、入力ポートの設定を作るだけでも凄い時間がかかる。 　っていうか、Logic だと、複数のポートは一つにまとまっちゃうので、多分これはできないです。かろうじて１つのポートに入って来た複数のチャンネルをバラけさせるのは可能。 　そこで、無料で使える Studio One を試験中。だけど、これまた設定が貧弱。一つ作った設定をコピーしつつチャンネルの番号だけ変えるとか、できてくれ！ 　midi 設定の入力をコピペできない！ 　というわけで、明日はモーション記録用のシーケンサーテンプレートを作る一日になりそうです…　トホホっす。

 　鍵盤への指のめり込みを回避するプログラムは、とりあえずこんな所で。 　一応、指は座標で見て、鍵盤より深い所に行かないようにした上で、体や腕の動きでさらに指が下に降りようとすると、今度は重力設定で、鍵盤に指がめり込むのを回避するようになってます。 　受信用に使ってる PC が core i5 680 なんていう劇遅マシンなので、これがもっと早ければ、恐らくもっと綺麗に回避できるはず… 　とにかくこれで、試しに演奏してる動きを入力してみて、どうなるか？次の段階へ進みます。 　とりあえず、今日の実験映像。多分、今までのと、どこが違うんだ？って思うでしょうけど。

 　親指以外の鍵盤へのめり込み対処は、まあいいかなって感じなので、あとは親指問題。 　鬼門ですね。コライダーと重力の設定で処理しようと思ったけど、やっぱり動きが不安定… 　まあ、今までと同じですね。という事で、明日はやっぱり座標系で補正するようにしてみます。 　指のめり込みだけだったら簡単なんだけどなあ。これに手のひらや体の動きが加味されちゃうから、どうにも…

 　なんかずっと悩んでたんで、プログラムを何度も修正してるうちに、スクリプトが別々なオブジェクトでダブって記述されてる部分があって、同じようなルーチンを２度呼んじゃったりしてたので、一度スッキリ消して、新たに再プログラム。 　今度はスッキリ！　これで、例によって残り親指の処理をなんとかすれば…ってずっと言ってる気がするけど… 　今日は午前中、母親の薬を取りに病院に…　お医者さんと一通り話をし終わったら、いきなり「安西さんって、うる星やつらの音楽を書いてたんですか？」という質問。 　「そうですよ」って言ったら「私は中学の頃、うる星やつらの大ファンだったんだけど、当時、テレビの放送時間は塾に行ってて、ビデオもない時代だったんで、毎回、妹に頼んでカセットに音だけ録音してもらって、聞きながら画面を想像してたんですよ」って、凄いマニアっすね、先生！ 　ちょうど、患者さんが途切れた時間帯だったんで、散々アニメの話をしてまいりました（笑）。アニメ系脳神経外科の先生であった。 　そういえば、うちの親戚で東大の大学院でグニョグニョしたものを研究してる人も、漫画とか詳しくて、時々会うと、吾妻ひでおの話で盛り上がったりするのであった。 　理系マニア多し！

　世の中、暑い！ 　というわけで効率が落ちてます。いや、言い訳かもしれないけど… 

 　指のめり込み問題、親指以外は解決か？（これ何度も言ってますけど、今度こそ？） 　親指は構造が別なんで、プログラム的にも調整が必要なわけで、明日、挑戦したいと思います。 　例によって暑くて頭ボンヤリ状態でやってます。

　指の鍵盤へのめり込み回避プログラム、今度こそ大丈夫な気がする。まだ完成してないけど、白鍵に関しては、大体 OK かって、感じまで来ました。 　現在、黒鍵の上に指が行った時に、指の位置が黒鍵の上に来るように調整中。 　こ、これさえ乗り切れば… 　でも、きっと新たな難関が出て来るんでしょうけど。 　にしても、暑いやねえ…

 　凝りもせずに指の鍵盤めり込み補正プログラムを修正してます。 　コライダー+重力のやり方は、思わぬ動作になることがあるんで、やはりキビシイか？　なんか、このテスト、何度かやってる気もするが… 　明日は、指が鍵盤にめり込んだら、コライダーで検知した後、指先位置にバイアスをかけて、少しずつ指の位置を上にあげて行く方法を試してみよう。 　この方法、前にも試したんだが…　なんか問題あって、やめた気もするんだが、もう一度試してみる…

 　そういえば、Note で IP がバレるトラブルが発生したそうですね。 　この Blog も、色々な要素をまとめて Note に移そうと思ってたのに、危ない所です。 　まあ、私は 5ch とかに書き込みはしてないですけど（笑）。

 　他の人から見たら、相変わらず同じような事をやってるように見えるかもしれないですけど… 　指が鍵盤にめり込むのを回避するプログラム、さらに簡単な仕組みにしました。これで、指の動きによって鍵盤にめり込んで見えるのは、回避できるはず。 　次は、手のひらとか体を動かした時、指が鍵盤にめり込んでしまうのを回避するようにしたい…　これは、衝突判定を使って…　と考えてるんですが、とにかくやってみないと分からない！　頑張りましょう！ 　動画は、一番手前の親指の動きを見てます。 　透明な茶色の丸いマークが実際の指の位置、重なっている四角いマークが、動きを抑制されて鍵盤に指がめり込まないようにしてるターゲットです。 　よく見ると、丸いマークは下に移動してるのに、ある位置から下になると四角いマークは途中で引っかかって、それより下に落ちないようになってます。 　と、言葉で説明するのは難しい…

 　鍵盤上での指の挙動について、さらにプログラムを直して、なんとか良い感じにしたいと挑戦中。 　指の動きは LeapMotion から位置データを取得して、ダミーの座標で受けつつ、実際の指は、その座標を参照して、通常は同じ動きをするするけど、鍵盤に接してる場合は、それ以上深く鍵盤にめり込むのは無視するようにしたらどうか？というやり方で研究中です。 　はたして上手く行くかどうか…

 　鍵盤上での指の挙動ですが、自分で実際にピアノを弾いてみると、演奏中に鍵盤を押してない指って、鍵盤の上に置いてる事が多いんですよ。 　演奏してない指は、次の演奏のために、次に弾く鍵盤の上に軽く乗せて待機してて、必要があれば鍵盤を押し下げるってわけです。 　強く弾く場合には、置いた指を上にあげてから下に叩き下ろすわけなんだけど、通常の強さの演奏の場合は、ほとんど上に置いた状態から指を下げて鍵盤を押す感じ。 　なので、演奏中に鍵盤の上に指を置いてる状態は、凄く重要な気がします。 　なので、できるだけ綺麗に指が鍵盤上に乗っかってるように見せるためには、さらにプログラムを考える必要があるかも、と思い、またまたプログラムに手を加えてます。 　明日にはなんとか見えるようにしたい… 　っていうか、今月末までに、ちょっとした演奏をしてるような動きが作りたい！ 　でも、暑くて頭ぼやけて効率悪いっすよねえ！！！

 　昨日の手の動きが崩壊する問題を修正！ 　たった１行のプログラムの問題でした。その行が、入って来たデータを、どこの指・手のひらの位置・角度に割り振るかを決めてたんだけど、そいつの数式の指定が間違ってました。 　というわけで、本日の状況は以下です。とりあえず人差指で鍵盤を押してます。動作がもっさりしてるのは、たんに PC が遅いから。

 　昨日、指のめり込み問題の解決の糸口が見えたけど、親指が変って書いたけど、今日はそれを修正して完成に近づけようと思ったら、なんかおかしな事に… 　親指の動きが変になってので、LeapMotion からの手のひらの動きを止めて、指だけを見ようとして、LeapMotion の手のひらの動きデータを使う、Use Palm Posiotion のスイッチをオフにしたら、フミカの体の動きがメタメタに～！ 　どうも、めり込み修正のプログラムを書いてる時に、どこかの行を間違えて削除しちゃって、それが元で、順番に読んで行くべきデータの並び順がメタメタになって、指先の動きが体の傾きのデータとして読まれちゃうとか、そういう問題が起こってるみたいです！ 　酷暑でアッチイんで、頭混乱してるみたいです！なんとかせねば～！

 　指が鍵盤にめり込んでしまう現象。昨日はローカル座標＜＞ワールド座標の問題か？と思ったけど、そうでもなかったみたいです。 　結局、どう直しても、位置を修正したそばから、次々と位置をコントロールする midi 信号が来ちゃってるわけなんで、それを無視して位置を修正するように、位置のバイアスポイントを設定。midi から鍵盤に指がめり込むような座標が送られて来ても、衝突判定でめり込み！と判定された場合は、midi に対して位置のバイアスをかけて、指を鍵盤のめり込みから引き上げてしまい、衝突判定がなくなったら、ゆっくりバイアスを０に戻して行くという作戦にしました。 　多分これで大丈夫かな？ 　と思って全体を見たら、また親指が変…　この blog を見てみたら８月２～３日には「問題が解決した！」と書かれてたので、さかのぼってバックアップデータを見てみたら、重要なルーチンを間違えて消しちゃってたのが原因と判明。 　明日は、ここを元に戻してみます。 　この blog 、実はほとんど誰にも見られてないけど、自分にノルマを課すためと、過去の進捗状況を確認するために書いてるんですけど、役に立ちました！

 　ここ数日、というより、ここ数か月悩み続けてた問題に解決策が見えそうな気が… 　問題は、ここ数日書いてるように、指が鍵盤にめり込んでしまう状態をなんとかする事… 　こういう、めり込み問題は MMD なんかでも起こる事で、対処する方法は、昨日書いたようにコライダーっていう、衝突判定プログラムを使うやり方があります。 　ただ、コライダーはゲームで弾が敵とぶつかったら爆発するとかには向いてるんだけど、ピアノのキーのタッチを調整するってのには向いてない気がするんですよ。 　今日は、このめり込み問題をコライダーを使ってみたり、座標系で処理しようとしてみたり、散々やってたんだけど、どれもイマイチ。一応、理論通りに動くんだけど、条件が変わるといきなり指が鍵盤にめり込んじゃったりするわけです。 　で「あ、そうか！」と気づいたのは、指をコントロールする座標系にローカル座標を使っていた事が問題なのかも、って事です。 　3D やった事ある人は分かると思うけど、ローカル座標は自分から見て上下左右の座標を指定する方法。対するワールド座標は部屋とかの空間全体の中で、目標になる座標がどこなのか？を指定する方法。 　今回問題になるのは、例えば指のローカル座標を調整して鍵盤にめり込まないようにしても、手全体の位置のローカル座標を動かすと、いきなり指が鍵盤にめり込んじゃったりするわけです。 　この「座標系を全部ワールド座標にすりゃいいのか？」とヒラメキました。 　実は指をローカル座標にしてたのには理由があって、初期の実験では midi のコントロールチェンジを使ってたんで、分解能が１２７段階しかないので、狭い範囲で指定しやすいローカル座標を使ってたのです。 　この場合、１２７段階を上手く使うために、モーションを取り込む際に、一度テストモーションを取り込んで、１２７の１つ１つの段階をいくつくらいの数値にすると動きが滑らかになるか？を判定するノーマライズプログラムを走らせて、最適化をはかってました。 　 その時の話を書いてるエントリーが、これです。 　例えば１メートルの範囲を１２７段階に分割すると、１つのステップは０．８センチ程度になってしまって、指の動きとかガッタガタになっちゃうわけです。 　でも midi のコントロールチェンジは、分解能が低い代わりに、ひとつのチャンネルに１００個くらいは別々に動か

 　また細かい所をつつくようにプログラムを書いてます。 　今日は、指が下がり過ぎて鍵盤の中にめり込んでしまう現象をなんとかしようとして悪戦苦闘。まだ解決策見えず… 　指先と、その指先のターゲットになる座標が一致してれば、とっても簡単なプログラムなのに、IK で骨格のデータが入って来ると突然話がうまく行かなくなる… 　さらに指先の位置は、指を動かす事と、手のひらを動かす事の両方によって座標が変わるんで、どう考えるかが問題です。 　明日も頑張ります～！

 　LeapMotion で指をトラッキングして、鍵盤を押すとき、どの指を使うか？は、midi チャンネルで指定するようにしてます。 　なので、テストする時にはメインで弾いてる鍵盤の他に、ミニキーボードを準備しといて、C を弾いたら親指、D を弾いたら人差指、E を弾いたら中指が鍵盤を押す、みたいにしてます。 　ところが、鍵盤を押してる間に指の切り替えをミニキーボードから指定すると、鍵盤から手を離した時に、切り替えた指が割り込んで来て、本来鍵盤から離れるはずの指が固定してしまうという謎現象が… 　例えば、親指で鍵盤を押してる時に、指の指定を中指とかにすると、鍵盤から手を離すと、いきなり中指が親指の位置に来て、本来親指がやるはずの動作をやってしまうという… 　たぶん、NoteOff の midi チャンネル指定が上手く行ってないのが原因で、シーケンサーを使って運指をコントロールしてる時には出ない問題のはずなんだけど、気持ち悪いんで修正する事にしました。 　ところが、プログラムをどう眺めても考え方はあってるはずで、なぜ途中で別な指が割り込んで来ちゃうのか半日悩みました。 　で、夜半過ぎにやっと理解できたのが、安いキーボードでは　NoteOff イベントは出力されないで、NoteOn の Velocity 0 としてデータが出力されるって事を思い出し、その部分に NoteOn で Velocity 0 ならっていう条件文を加えたら、一気に解決！ 　そう言えば、同じ問題で前も悩んでたのでした。 　という事で、次は、指が下に降り過ぎて、鍵盤の中にめり込んじゃうのを回避する部分を作ります。これはコライダーを常に見てて、鍵盤と指先が触れたら、それ以上指が下に下がらないようにすれば良いはず… 　明日は、この問題に挑戦予定です。

　昨日の続きで、鍵盤上に手を乗せたような位置で、グーとパーをやると、グーの時に指が鍵盤から離れてしまうのを、多少補正。 　だけど、例によって左手は良い感じなのに、右手はイマヒトツな状態が続いてて、いまだに原因が分からない！ 　まああきらめて、大まかいいかなあ？ってな心境になってます。 　一応、今ので手の動きデータを転送して、鍵盤に指がめり込んじゃわないように、処理すればいいかと… 　鍵盤に指がめり込まないようにするのも、IK で指の処理をしてると結構面倒くさい問題が起こって来るんですよねえ… 　まあ、なんとか頑張ってます～！

　今日はピアノの鍵盤の上に、もう少し正確な位置で手を置いてみました。 　手のひらの位置を LeapMotion で拾って指を動かすと、指を伸ばした時と、曲げた時で手のひらの位置が変わってしまうという問題が発生。 　パーの状態で、鍵盤の上に手を置き、グーにすると手の位置が上に行っちゃうんですよね。まあ、本チャンでは LeapMotion の手のひらの位置データは使わない予定なんで（最初から位置が合いにくいのは分かってたので）、Vive Tracker でやれば大丈夫かな？とか思うんですけど、一応悔しいから補正プログラムを考えてみました。 　要は、パーとグーで手のひらの位置が変わるようにすればいいわけなんで、LeapMotion の GrabStrength と PinchStrength っていうパラメーターを見てみました。Grab は前に書いたかもしれないけど、グーの度合い、Pinch は指で摘まむ動作をした時の度合いが 0-1 の範囲で返って来ます。 　ただ、どちらのパラメーターも、ある程度指が曲がり出さないと機能しないので、イマイチ！　そこで、指の曲がり具合に合わせて手の位置が上下するようにしてみたけど、これもケースバイケースで、上手く行く時とダメな時がある… 　要は元がダメなんだから、しょうがないっていう… 　という事で、あきらめて本チャンの Vive Tracker に賭けるか！みたいな… 　もっと予算があれば、Perception Neuron とか使うとさらに精度高そうな気がするんですが、今んとこ、現在の機材で我慢！！！ 　ってなわけで、本日の進捗ビデオ。結構弾いてるように見えると思うけど、実際には手のひらの位置が鍵盤に近づいたり離れたりしてます。

　グランドピアノの本体を表示させ、手と指の動きを再現すると、以下のような感じです。 　これに、鍵盤の動きと、それに合わせて指が鍵盤にくっつく動作を追加すると LeapMotion での動作は完成。次に LeapMotion は指先の動きだけ使用して、あとの体全体は HTC Vive トラッカーでトラッキングするようにします。 　一応それぞれのプログラムは出来てるんだけど、組み合わせると思わぬヘンテコ動作をするんで、それを修正して行く道のりですね。 　でも、今の動きだけでも結構、弾いてるように見えるでしょ？

　手の動きの転送は出来たので、以前作った鍵盤の動きに対して指が追従するのをテストしました。 　指が鍵盤を押したように見せる方式は、２通り考えられて、ひとつは鍵盤の動きに合わせて、座標系を調整して指を動かす方法。 　もうひとつは、鍵盤が動き出したら、指の動きを midi コントロールから外して、指に重力をかけて下に落ちるように設定し、動く鍵盤の上に指を置いたような形にしてしまう方法。 　前者は動きが確実な代わりに、指が鍵盤にめり込むか、浮いてしまうかという現象が起きる可能性がある。 　後者は指の動きは鍵盤に完全に追従する代わりに手が動いたりすると、座標から外れてしまう可能性がある事。 　今回は前者のやり方で動かしてみました。 　まずは、Pocket Midi っていう midi 便利ツールを使って、一台の PC の中で完結させて動きをチェックしてみました。 　というわけで、テスト動画。

　ようやく右手の親指も、ちゃんとキャプチャーできるようになりました。 　結果のビデオは以下。ポイントは親指を曲げたのがちゃんと再現できてる所。微妙に違うのは、元々の LeapMotion の限界もあります。 　この後は、実際の鍵盤上で指を動かしてみて、鍵盤を押したりした時の挙動をチェック。これが上手く行ったら、次はいよいよ以前作ってあった、midi で鍵盤が動くグランドピアノと合体させて、実際に演奏してるように見せるって段階に進みます。 　完成はいつの事やら…

　左手の親指の設定は大体 OK に。これは結構あっさり完成。 　ところが、右手側はまたしても問題が… 　LeapMotion で動きをとらえてない状態でターゲットを動かすと、理論通りの動きをするのに、一度でも LeapMotion が指の動きをとらえると、なぜか親指とターゲットとの相関関係が変になる！ 　IK の設定に問題があるのかとも思ったんだけど、左手と同じようになってるし… 　謎です。今日はあきらめて、明日に持ち越し～！