情報工学科 画像情報処理システム研究室が読話トレーニングアプリを公開
情報工学科 画像情報処理システム研究室(宮崎 剛教授)が、相手の口の動きを読んで理解する「読話」の力を身につけるためのiPad専用のトレーニングアプリを開発し、AppleのApp Storeに公開されました(2025年4月10日)。
日本語の音と口の動きの関係を覚えたり、発話の動画を見たりしながら口の動きを読み取るトレーニングができます。難聴者やその家族、声による会話が難しい人と接する医療関係の方などに使っていただくことを想定しています。
これまでの研究成果や画像生成AI技術を活用し、さらに、京都市中途失聴・難聴者協会、千葉県中途失聴者・難聴者協会等のご協力を得ながら開発しました。今後も研究を続け、機能を追加・充実させていく計画です。
主な機能
- 日本語の音と口の動きの関係を学習
- 仮名(平仮名または片仮名)で入力した任意の語句の発話動画再生
- 生成AIを使用して口の動きの画像を生成
- 発話動画の読み取り力のチェック
- トレーニング記録の確認
- 利用者(ユーザー)の切り替え