MRMidi

ハードのMIDIコントローラと同じ感覚で使うことのできるバーチャルMIDIコンシステムです。
MIDIコンの操作を行うための専用センサデバイス、およびMac/iOSアプリを制作しました。
MIDIコントローラとは主にDAWやサンプラー等の音楽系アプリケーションでよく使用されます。
アプリの操作はPCであればマウス、スマホ等であれば画面タッチで行いますが、ボタンやツマミ、フェーダーといったパーツの操作は難しく、物理的なコントローラが求められます。
ハードウェアとしてのMIDIコンはすでに多種多様なものが製品として出ていますが、それに近い感覚をソフトウェアで実現できれば、より高い自由度を持った最強のMIDIコンになるのでは、というところが今回の作品の出発点となっています。
今回の作品では、その「近い感覚」というのを実現するために、MR(Mixed Reality)という概念を採用しています。
MRでは、現実世界にバーチャルなものを投影するのですが、さらにその現実とバーチャルが相互に影響をもたらすことを特徴としています。
この作品で言えば、操作パーツがバーチャルなオブジェクトであり、それを手で実際に操作する感覚と、見た目や音などに反映することがそれにあたります。
今回はゴーグルに装着したiPhoneにMRの画面を表示しており、MRの実装にあたってBridge SDK(https://goo.gl/BU6gHJ)を使用しました。
各種パーツを手で操作するためには、手の位置やタップした時の動作、手首の回転などを認識し、バーチャル空間に持っていく必要があります。
この手のトラッキングには比較的精度の高いLeap Motionを採用しています。ただ、タップや手首の回転といったセンシティブな操作は難しいため、それを補助する専用のデバイスも制作しました。
このデバイスは手と指先にはめて使用します。指先には圧力センサー、手の部分には6軸センサが搭載されており、それでタップや手首の回転を認識しています。
これらの仕組みを組み合わせて一つのシステム「MRMidi」を実現しました。
興味を持っていただけたら嬉しいです。よろしくお願いします。