グランドピアノを表示させ、手の動きを一緒にして見ると
グランドピアノの本体を表示させ、手と指の動きを再現すると、以下のような感じです。
これに、鍵盤の動きと、それに合わせて指が鍵盤にくっつく動作を追加すると LeapMotion での動作は完成。次に LeapMotion は指先の動きだけ使用して、あとの体全体は HTC Vive トラッカーでトラッキングするようにします。
一応それぞれのプログラムは出来てるんだけど、組み合わせると思わぬヘンテコ動作をするんで、それを修正して行く道のりですね。
でも、今の動きだけでも結構、弾いてるように見えるでしょ?