Leap Motion による指のトラッキング動画
ということで、ほぼ完成した Leap Motion による指のトラッキングテスト。
指の動きに同期して、5色の球が表示され、それにくっついて指が動くようになってます。
球と指先の位置合わせが完全にじゃないので、多少ずれるけど、それは問題ないです。
この方法は実は今年頭には完成してたんだけど、その時は Leap Motion で指の各関節の角度データを拾ってました。だけど、それだとデータ量が多くなるのと、ピアノを演奏させるという点で考えると最終的に問題が発生する事が分かり、今回は、指先の座標と指の動きを骨格ベースで制御する IK ボーンを入れて、データ量を 1/3 にする事に成功!
多分、最終的にはこの方法のほうが上手く行くはず。
この動画では指先だけがトラッキングされてて、手のひらとかの動きは追ってないんだけど、そこがポイント!(動画をよく見ると、右上に表示されてる実際の手の動きで、手をひっくり返したりしても、キャラの手は指先だけがトラッキングされてます)
手の動きは後から Vive トラッカーで追っかけさせて、それを合成するという作戦です。
この方法はピアノ演奏に特化した動作だと高精度で演奏が再現できる(はず)。
というわけで、続いて去年くらいに作った Vive トラッカーで体や手のひらの動きを拾って、Leap Motion の指の動きと合体させる方向で、進めたいと思います!