MagicMinutesは、会議中に話者が喋った事をテキストにして、自動で議事録を作ってくれるデバイスです。
最大の特徴は、6つのマイクが付いたラズパイ用ReSpeakerを使って、最大6方向からの位置を特定し、それぞれの座った人の場所毎の会話を、議事録として残せる事です。
[マジックミニッツの使い方]
英語に同時通訳、日英の議事録を作りたい場合は、--trans en-USなどと翻訳言語をセットし、送りたいメールアドレスを指定して、起動します。
まず、各場所に座った人が「マジック!」と話すと、その人が話した方向のLEDが緑に光ります。
話者の位置が特定出来たら、ボタンを押して、会議の会話を始めます。会議中の会話が始まると、区切り毎に各言語でリピートしてくれます。
最後に「終了です」などのバイバイワードを話すと、会話を止め、リングが光り出し、取得した発話履歴から議事録を作り出します。どの席の位置の人が喋ったか(前方、後方、右側など)も分かるので、より内容を理解するのに役立ちます。
リアルタイムで日本語から英語の議事録を話者の位置(Front, Backなど)も含め作成してくれています。
[システム構成]
ハードウェア:
- RaspberryPi B3
- Seeed ReSpeaker 6-Mic
- スピーカー
ソフトウェア:
- Python
- Google CloudSpeech
- AquestTalk
- Google Translate
まずReSpeakerの発話方向(DoA/Direction of Arrival)を検知させ、その方向毎に[前方]、[後方]、[右側]などの位置情報を会話に付けます。それに合わせて、発話毎(20秒程度)にCloudSpeechで各言語をテキスト化しています。Google Transに会話を投げ、リアルタイムに翻訳しています。
リピートさせるかどうかのオプションを付けると、その場で聞き取った事をオウム返しに放してくれます。(日本語はAquesTalk、その他はGoogle Voiceで発話)
合わせてテキストをOLEDに表示し、目でも確認できるようにしています。
プログラム、詳細設定方法、説明など https://github.com/ktrips/magicminutes
会社などでのミーティング参加者、海外コンファレンス、海外電話会議などが多いビジネスパーソン、教育現場などでの発言を残す必要がある方
座っている人の位置も含めた全自動の議事録作成。
これまで議事録をとるのを面倒くさく感じ、レコーダからの文字起こしだと、テキストが並んでいるだけで後で読み返す可能性が低いので、DoA(発話方向)を取得する技術を活かして、その位置に座った人の発言かを付加しました。
最近は上司が外人になったりして、英語に翻訳したミニッツ作りで残業する事もあり、翻訳機能も加え、きっと昨今の働き方改革に寄与するはずです
ハード、ソフト、ウェブ、デザイン、企画、全て一人でやっているメイカーです!一緒にやってくれる人、楽しんでくれる人、募集中!
この作品を共有