TaVision たびじょんメガネ

by Ktrips 吉田顕一

コミュニケーション・繋がり教育・学習生活・からだ

作品概要

『たびじょんメガネ』は旅とビジョンが合体した、海外旅行中に誰もがあったらいいなと思う、外国語の見る、聞く、話すを自動的に翻訳してくれる眼鏡型デバイスです。
RaspberryPi Zeroにカメラ、マイク、スピーカー、ボタンが一体となったデバイスが眼鏡の横に付いています。そこのボタンを押すか、声の指示で：
- 長押し: [見る]部分の画像読み取りは、指定無しで日本語、中国語、韓国語などを含む50ヶ国語以上を読み取ります。
- ワンプッシュ: [聞く]部分は、Google Cloud Speechに指定する事で、インドの方言や各国のスペイン語の種類など100言語以上に対応しています。
- ダブルプッシュ: [話す]部分もGoogle Translateに指定すれば100ヶ国語以上に翻訳してくれますが、発話は音声ソフトの関係でde-DE German、it-IT Italianなど6ヶ国語+日本語(AquesTalk)に対応可能です。
- 翻訳設定: ラズパイ上のPythonプログラムのパラメータを、--speech it-IT (聞取り言語) --trans ja-JP (翻訳先言語)の様に設定しています。言葉の聞き取りには、GoogleのAPIのGoogle Cloud Speechを使い、翻訳にはGoogle Translateを使っています。画像読み取りには、Google Vision APIを使い、読み上げには音声合成のAquesTalkを使っています。

中一の息子がもう外国語を学ぶ必要はないね、と言って使ってみた試作機の動画: https://youtu.be/wRs4yLhLe8Q

[システム構成]
ハードウェア：
- RaspberryPi Zero W
- ラズベリーパイ・カメラ
- Seeed ReSpeaker 2-Mic（マイク）
- 小型スピーカー
- LiPo電池
- スイッチ、LEDなど
- 小型ケース、眼鏡など

ソフトウェア：
- Python
- Google Vision
- Google Assistant (Cloud Speech)
- Google Translate
- AquesTalk

インストール方法、ラズパイプログラムなど：https://github.com/ktrips/smart

続きを読む →

ターゲットユーザー

海外旅行者、言語に不慣れな場所に行く人、訪日外国人、日本語に不慣れな方（日本で働いている外国人など）、教育現場

続きを読む →

ターゲットユーザーに与える価値

海外旅行などでその言葉に不慣れな時に、見る（駅の表示、案内板など）、話す（道を聞く、案内してもらう）、聞く（教えてくれた外国語を理解する、アナウンスを聞く）を即時翻訳してくれます。眼鏡型だけでなくウェアラブル型などにして、ヘルメットに付けて外国の方と工事現場を共にする際のコミュニケーションにも使えると思っています。今後の訪日観光客の増加や外国訪問の機会が増える事を想定して、言葉の壁を無くします。

続きを読む →