還暦から始める萌え仕事

  タイトルの通り、親指をケガしました〜！ 　昨日の夜、チリビーンズを食べようと思って缶切りで缶を開けてる時に、親指をザックリいきました… 　痛みはそれほどなかったけど、結構血が出た🩸 　というわけで、ちょっとゆっくり目で…

  デモで作ったポップコーンは、曲がオリジナルじゃないのと、背景にレゴの絵を使ってるんで、誰かにツッコマれると悔しいかなと思い、完全に権利がこちらにある曲を作る事に… 　レゴの背景は、ほとんどデファクトスタンダード的な気もしますけどね。 　まあそう言う事で、今年の１月に HTC vive で身体のモーションを取ってあった、ショパンの子犬のワルツのデータに、Leapmotion で指の動きを追加して、もう一つデモを作っておく事にしました。 　背景の方は、水辺の森とかかな？って思ってます！

 　背景も入れたバージョン完成。まあ、大体こんな感じでいいかな…

 　建物の外に木や池を設置しようとしてます。 　こないだも書いたけど、やっぱり水の揺れ表現のデータを追加すると、突如として重くなる～！ 　最終的には１フレームずつ書き出すから良いけど、やっぱ高速 PC でやりたいもんです。 　というわけで、窓の外に木と水を足した状態…

 　レゴのセットは完成。 　この後、天井をくっつけて、大きな窓の外には森や池や滝をセットする予定です。 　結構楽しくなってきた！ 　セットのスクリーンショット色々…

 　unity のアセットストアで背景に使える、結構実写っぽい素材を購入。 　レゴの背景と別バージョンで実写っぽいバージョンもいいかなあ？と思ったんだけど、これがまた、物凄い容量！ 　何度やっても unity がクラッシュしてしまう。スタジオの PC 使えば、容量とかもっとデカいのがあるんだけど、面倒なので、とりあえずレゴバージョンだけを完成させる事にしました。 　という事で、現在レゴ版背景の窓部分を検討中。枠組みだけをレゴで作り、ガラス部分は unity の素材で行ってみたらどうかと考えてます。

 　レゴの背景のセットを unity に移し替えるの完了！ 　全体に６角形の部屋にして４面がレゴ、残り２面にこれから大きな窓を追加予定。 　部屋、広すぎるかなあ？

 　前に作ったレゴの背景セットを並べてみて、ちょっとピアノとフミカを置いてみました。 　ちょ～っとゴチャゴチャするかなあと思い、色を整理して、もう少し単純化しようと思いました。

  昨日書いたように一昨年作ったレゴの背景を　unity に移し替えてます。 　ヘンテコの手順を踏むんだけど、順番を間違えなければ、結構簡単に変換可能。 　ただ広いサロンみたいなデザインだけど「広いサロンってピアノに対して、どのくらい大きいの？」と、部屋とピアノの縮尺率が分からん！ 　というわけで、適当な縮尺で配置して試してます。

 　演奏モーションの作成に関しては、なんとかなりそうな感じなので、次に演奏するステージというか、部屋を作ろうと思ってます。 　最終的にはCGと実写とトリック撮影を組み合わせたいけど、とりあえずはCGのみって事で… 　実は一昨年、一時的に出資者がいた時に、プログラムと 3D モデリングは専門家に任せて、私はそれが完成したら、映像を作ろうと思って、３Dモデルの為の背景の部屋データをレゴのデジタルデザイナーっていう、レゴ３DCGプログラムで組んでたんですよ。 　なので、今回はそれを使えるっていう。というか専門家に任せた分は全滅だったから、最初から製作費は全部私が貰ってチマチマ作り続けてた方が良かったという話もあったりして。 　まあ、文句を言っててもしょうがないので、とにかくレゴの背景はこんな感じ！

 　昨日書いた、鍵盤の色が変わるシカケが、データを記録した後で、プログラムを停止するとピンクになっちゃう件、専門家に相談してみました。 　そしたら、どうも unity 側の問題らしい説が…メモリー上に呼び込まれたデータが正しくデータとして残ってなくて消えちゃうみたいです。 　なので、専門家さんのアドバイスを受けて、色の変化は RGB + alpha チャンネルに分解して指定する事にしました。 　今のプログラムは「右手の親指で弾いた色はこの色に…」、みたいなテーブルが作ってあるので、そのテーブルに指定した色のマテリアルを RBG 値に変換するプログラムを書きゃいいんだな。 　やっぱ専門家に相談してみるもんです。 　だけど、今回は関係ないけど、例えば弾いてない鍵盤は豹柄で、弾いた鍵盤は花柄とかやりたい時はどうするんだろう？まあ、今んとこそういう予定はないから考えないどこう！

　一日更新が抜けてしまった！ 　昼間、買い物に出たら凄い雨で、家に帰ったら疲れてて更新を忘れました！ 　で、取り込みのタイミング合わせは上手く行きました。単に 60fps で取るだけだった（笑）。 　ただし、プログラムがショボいため、早い動きをすると取りこぼしがあるため、完成してるシーケンスを半速に落として、じっくり取り込んだ後で、取り込んだデータを倍速で再生するとタイミングも合うし、取りこぼれもないので OK！ 　だけど、今度は取り込んだ鍵盤の色がピンク色に…これはシェーダーのエラーが出た時に起こる色です。不思議な事にプログラムを動かしてる状態で、記録した色の変化を再生するとうまく行くのに、プログラムを１度でも止めてから再生すると、色がピンクになってしまふ… 　これもしかして、押した鍵盤の色が変更された時にインスタンス化されてないのが原因か？？？え～と、こういう場合どうすんだっけな…という所で力尽きた…

  波のプラグインのテストで、海上で波に揺られながらピアノを弾くバージョンを作ってみました。 　取り込みは、まだタイミングが合ってないので、最適値にする方法を探します！

  フミカのモーション取り込みは、昨日の方法で上手く行きそう。 　次にピアノをやってみたら、色々問題が… 　ピアノは鍵盤が動くだけだと味気ないので、弾いた鍵盤とその両隣の鍵盤の色が変わるようにしてます。この色の変化も unity recorder で取る場合には、MeshRenderer も取るようにすると、レンダリングする色の情報を記録できるんだけど、これが重い！っつ〜か動いてないのでは？という状態になります。 　どうもヒエラルキーで指定するとダメみたい。そこで、取り込みたい鍵盤を１０個くらいずつのグループに分けて、これのレンダリングデータを拾うようにすると、上手く行きました！ 　この後、フミカとピアノ全体の動きを取り込んでテストしてみます〜！

  フミカのピアノ演奏モーションだけど、元々は凄く軽くなるように作ってあって、少ししかない動きのポイントを IK を使って自動的に体全体に反映させてます。 　だけど、unity recorder は、それによって作られた全ての骨格の動きに、髪の毛の動きまで取り込もうとするので大変な事になっちゃってるんじゃないか？という考えに到達。 　そこで、記録を体全体なんて横着しないで、必要な動きのリグだけを指定して記録する作戦にしてみようと準備中。感触は、結構いい感じ！ 　unity recorder も、ヒエラルキー上にいる全ての動きを指定しつつ、その中から除外するリグが設定できると便利そうなんですけどね。

 Unity recoder にピアノ演奏のモーションを記録すると、１分半くらいでも、300Mbを超すサイズに〜！ 　一応、圧縮モードで書き出してるんだが… しかもサイズがデカいと再生もモッサリして使えん！ 　データを見ると、髪の毛の動きとかまで律義に拾ってるんで、モーション記録用に、いらないデータをカットした　３D モデルを作るか、下位ヒエラルキーを記録させるのはやめて、欲しいポイントのデータだけを、延々と指定して、記録するか… でもその場合、ちゃんと各々のデータはシンクするんだろうか？ 　悩みは尽きませんな。

  Unity で、フミカの演奏するピアノの周りに、エフェクトをかけて遊んでます。 　MacPro だと、軽快に動くみたい。とりあえず、海のエフェクトとか入れると、海上や海底の雰囲気になって、眺めてると癒されて、ついつい時間を忘れてしまう… 　こないだの森と一緒に表示すると、浸水したみたいになるけど、結構綺麗。 　座標問題は、一度モーションを書き出して、そのデータで再度フミカとかを動かせば問題ないはずなので、明日やります〜！

 　シャボン玉の動画が楽しかったので、波に揺られながらピアノを弾くのを作ってみようと思ったら、座標系で思わぬ問題が… 　今回のピアノの演奏は、体がどういう位置にあっても、指先は対応するピアノの鍵盤の座標を死守するようにしようとして、指先の座標だけ絶対座標（ワールド座標）にしちゃってたんですよ。 　ピアノの座標が固定されてる場合は問題なかったんだけど、ピアノ自体が波に揺られるような映像にしようとすると、鍵盤の座標が波で上下に揺れるわけです。 　そうすると、指先はピアノの鍵盤じゃなくて、画面上の絶対座標を死守するようになっちゃってるんで、ピアノが波で上に動くと、指先だけは同じ座標をキープしちゃうんで、手だけが元の場所においてけぼりを喰うという… 　簡単に修正できると思ったら、結構難しくて、指先が鍵盤にめり込まないようにするために、コライダーだの重力だのを使ってるんで、小手先の修正をすると、どんどんとドツボにハマって行く事が判明。 　う～む、どうしたものか…

 　と、タイトルの通りです。 　まあ、最初から水のシミュレーションは要素が多いから重いだろうとは思ってたんですけどね。 　試しにスタジオで使ってる MacPro で走らせてみたら、結構軽い気がする…かなり古い MacPro なんだけど、GPU とか GTX970 とか乗ってるせいか？ 　一応、軽そうな水の素材も手に入れたんで、この辺も試してみます。 　にしても、素材添付のデモシーンで、物体が水に飛び込んで沈んだ後、急に水中から何かに跳ね返されて空にすっ飛んで行く挙動をするんですけど…　重力の設定が変なのかなあ？？？

  　こないだの演奏モーションにシャボン玉を足してみました。結構楽しい！（音なしですけど） 　色んな効果を足して遊んでみよう！ 　カメラの移動やズームを含めた背景を iClone で作って、そのカメラの動きを unity に持って行って、unity が得意な分野は unity で合成ってのもありかも！