FaceTrackerとは

FaceTrackerは、Jason Saragih氏が公開している研究成果「Deformable Model Fitting by Regularized Landmark Mean-Shift(PDF)」であり、顔の特徴点を追跡するもの。それをKyle McDonald氏がopenFrameworksのアドオンofxFaceTrackerとして公開している。

Face Substitution from Kyle McDonald on Vimeo.

 

FaceTrackerを利用すれば、顔の特徴点に別の顔画像を割り当てることで、顔をすげ替えるARアプリを作ることができる。また、顔の一部分の動きによってOSCを送信するFaceOSCを使って、例えば顔で音楽を演奏するようなアプリも作ることができる。次の映像では、音楽制作用アプリのAbleton Liveと連動させている。

 

以下の映像は、このFaceTrackerを応用したメディアアート作品「Sharing Faces」。

Sharing Faces from Kyle McDonald on Vimeo.

Sharing Facesは様々な問題を抱える韓国と日本の交流をテーマにしたもので、韓国のパブリックアートプロジェクトAPAP（ANYANG PUBLIC ART PROJECT）のMaking LABの展示とYCAM（山口情報芸術センター）での展示を連動させている。それぞれお会場に展示されたモニターに、FaceTrackerによって解析、蓄積された同じ表情？同じ位置関係？の数千人の鑑賞者が表示される。モニター越しでリアルタイムではないにもかかわらず、あたかもお互いの存在を感じているような不思議な存在感を感じる。この作品のコードも公開されている。