仮面は装着者の顔を「仮の顔」で覆う事によって正体を隠し、新たなペルソナを創造・表現するメディアとして儀式、祭礼、演劇等の特殊な行事で一般的に用いられてきました。また一方で、感染防止対策等の衛生目的で使われた歴史もあります。デジタルカメンは従来のアナログな仮面では困難な「仮の顔」を用いた表情豊かな対面コミュニーケーションを可能にした装着型表情拡張デバイスです。
デジタルカメンは、表面に「仮の顔」として好みのCGキャラクター(アバター)を表示する軽量薄型有機ELディスプレイを搭載し、裏面に装着者の表情の変化を測定する反射型フォトセンサアレイ40個を組込んでいます。表情の変化に伴う顔の各部位における皮膚の微小変位をセンサアレイで計測し、サポートベクターマシン(SVM)を用いた表情認識モデルを構築する事で、装着者の表情(真顔、笑顔、怒顔、泣顔、驚顔)および口の動き(あ、い、う、え、お)をリアルタイムでアバターの表情へと反映させます。実験では、平均79%の認識精度を達成し、被験者からは自身の表情や発話が違和感なくアバターの表情に反映されたという評価が得られました。
新型コロナ時代、マスクを介した対面コミュニケーションがニューノーマルになる一方、表情の変化を手掛かりとした感情表現や意思疎通が困難になり、非言語的コミュニケーションの重要性が改めて見直されてきています。デジタルカメンは、マスク装着に伴うコミュニケーションの問題を補うだけでなく、ペルソナや表情を実世界で自在に拡張できるため、新しいコミュニケーションの様式を創出できます。特に、筋萎縮性側索硬化症(ALS)患者の多様な表情生成支援、歯科治療時における小児患者の不安軽減、面接時の意思疎通の促進、接客業の感情労働の軽減等、対面コミュニケーションに関わる社会的課題解決の手段として本技術をアピールしたいと考え応募に至りました。
飛沫感染の防止と,表情によるコミュニケーションの両方を必要とする職種,例えば,医療従事者,保育士,受付,接客業,面接官など
医療従事者:医師自身の顔を子供の好きなキャラクタに変えることで,子供の患者の処置(歯医者など)において,患者の恐怖心の軽減
保育士:医療用マスクによって遮られる保育士の表情の代替
接客業:接客や受付業務に従事するスタッフのデフォルトの表情を笑顔にすることによる感情労働の軽減
面接官:強面の面接官の顔を親しみ/強面のあるキャラクタに変えることによる受験生の緊張緩和/強化
ヒューマンコンピュータインタラクション分野のスペシャリスト集団
この作品を共有