感情推定から楽器演奏の上達まで、カギはヒトの計測だ！

心拍や脳波から感情を推定する

心拍や脳波といった生体情報から感情を推定する研究が行われています。感情の研究では、ヒトの感情は「ラッセルの円環モデル」と呼ばれる2次元平面によりモデル化されます。心拍の変動の速さは自律神経の指標となり、脳波の変動の速さは精神状態の指標となります。データを蓄積し、これらの生体情報と2次元平面の関係を学習していくことで、感情を推定することが可能となります。

筋電位センサで楽器演奏法を教える

ほかにも生体情報を使った、人間の能力を代替するシステムの開発が行われています。そのひとつが筋肉の動きの利用です。人間の筋肉を収縮させる要因となる電位を読み取る「筋電位センサ」を使えば、筋肉の動きをデータ化できます。例えば、上級者がギターを弾くときの腕の動きや管楽器を吹くときの口の動きをデータ化して、初心者との違いを分析します。その違いを修正する方法を開発することで、感覚的な教え方でなく、筋肉の使い方や動かす順序を科学的に教えて上達させることが可能になります。

筋電位センサの欠点を画像で補う

筋電位センサは、発話補助システムにも応用できます。病気などで声を出せない人の口の動きを筋電位センサで読み取り、発話内容を推定し、それを音声データに変換すれば発話補助が可能です。ただ、これらのシステムでは、センサを口に貼り付ける必要があります。そのため日常生活では不便なうえ、センサが貼り付くことで口の動きも影響を受けます。そこで、口を動かしているカメラ映像をデータ化して、センサのデータと統合することにより欠点を補う方法が考えられました。口の動きから発話内容を推定する技術は、発話補助以外にも音声認識を補完する技術としても利用できるのです。音声認識は周囲の雑音の影響を受けやすいという欠点がありますが、口の動きから発話内容を推定できればそのような欠点を補うことが可能になります。
こうした技術は、ヒトとコンピュータシステムの協働を実現し、ヒトの能力を高めるための技術なのです。

※夢ナビ講義は各講師の見解にもとづく講義内容としてご理解ください。

※夢ナビ講義の内容に関するお問い合わせには対応しておりません。

先生情報 / 大学情報

日本工業大学基幹工学部電気電子通信工学科助教大田健紘先生

興味が湧いてきたら、この学問がオススメ！

人間工学、知能情報学

先生が目指すSDGs

メッセージ

私は、高校生のときに人間とコンピュータシステムが協働する社会を夢見て、それを実現するには何をすべきかを考えて進路を選択しました。数学や物理の知識が必要なので、特にこの分野の勉強には力を入れました。やりたいことがあると、何かを実現するための原動力になります。
もしあなたが、今やりたいことがはっきりしないのなら、少しでも興味があることを自ら進んで調べてみましょう。可能ならその分野の人の話を聞くことも参考になると思います。そうすれば、自分の進むべき道が見えてくるはずです。

先生への質問

先生の学問へのきっかけは？
先輩たちはどんな仕事に携わっているの？

日本工業大学に関心を持ったあなたは

「We do have！ー日本工大は持ってる！ー」
私たちがこれまでに大切にしてきたこと、素晴らしい財産をもっていることを、みなさんと共有したい、その合言葉が「We do have！」です。

基幹工学部、先進工学部、建築学部を設置する日本工大には、ここでしか得ることのできないさまざまな魅力があります。

1学年から技術と合わせて理論を学ぶ「デュアルシステム」や、実工学を学ぶ礎となる「工学基礎教育」など、本学独自の学修システムで、「学び続ける技術者」を育てます。