スマートフォンなどの携帯端末を、手話を行っているひとに向けるだけで、リアルタイムに手話認識を行うシステムの開発を行っています。複数の学習アルゴリズムを統合して、実用可能な認識精度実現を目指しています。

----------------------------
聴覚障がい者にとって、手話は非常に重要なコミュニケーション手段となっていますが、手話を読み取るには訓練が必要です。本研究では、多くの方が身に着けているスマートフォンに着目し、スマートフォンのカメラ映像だけを利用して対面した手話動作を認識するシステムを開発しました。

現段階では、下図のような指と手首に色付けしたカラーグローブを手話者に装着させて認識を行っています。これは、安価な手段で、高精度に指の動きを検出するための工夫です。

手話動作の認識には、ニューラルネットワークや隠れマルコフモデルやサポートベクターマシンといった複数の手法を採用しています。それらの手法は、数多くのデータをシステムに事前に学習さて利用します。システムに新しいデータを与えたときには、学習させた結果に基づき、学習したどのデータに似ているかわかります。これは、最近話題の深層学習（ディープ・ラーニング）に直結する技術です。

このようにして様々な手法で、動作を認識するシステムを作ります。一つの完全な認識手法を作ることは不可能と言っても過言ではありません。そのため、複数の特徴の異なる手法で動作認識を行うシステムを作り、複数のシステムの認識結果を統合して最終結果を得るシステムを構築しています。これは、「一人の人間が完全ではなくても、みんなで力を合わせて良い結果を出す」という人間の生産活動にも似ていますね。

現在までには、手話読み取りのニーズが高い「医療用手話単語」25種で80％以上の3位累積正解率（3位以内の候補に正解が出せる確率、単語の前後関係で結果絞り込みができるため、この分野でよく利用される評価指標です）を実現しています。

今後は、さらなる性能向上と対象単語数を増やし、実用化に向けた研究開発を続けていきます。

なお、この成果はH29.7.11-16の国際会議HCII2017や、2018年電子情報通信学会総合大会ISSポスターセッションなどで学会発表をしたものです。加えて、H29.10.5-6の技術展示会CEATEC JAPAN 2017にも出展し、デモ展示した内容も含みます。

図: 手話認識用カラーグローブ