圧倒的臨場感! 一人一人の違いまで考慮した聴覚ディスプレイ

名ホールの名演奏を自分の部屋で好きなときに
ゲームなどに使われることで知られるバーチャルリアリティとは、現実とは別の「ある時間・ある場所」にいるかのような情報を、視覚や聴覚などの感覚に与える技術です。この情報を与える装置のことをディスプレイと呼びます。まさに有名コンサートホールでの著名なオーケストラの演奏をそっくりそのまま自分の部屋で体験できるような、聴覚ディスプレイの開発が研究されています。
個人による耳元の音の違い
聴覚ディスプレイには、聴く人の周りにスピーカーをたくさん並べるなど、いくつかのタイプがあります。研究では「ある時間・ある場所」の正確な音を耳元に再現することが目標とされています。ここで注意しなければならないのは、耳に届く音は、音源の方向や動き、また聴く人の動きや頭・耳の大きさ・形によって物理的に変わってしまうということです。例えば、正面から来る音は左右の耳に同じように伝わりますが、左に音源がある場合だと左耳に来る音のほうが強く、右にはそれより弱い音が頭の大きさの分だけ遅れて届きます。これが頭の大きさなどが聴こえる音に影響する理由です。これらを考慮した正確な音を作るために、あらかじめ聴く人に対してさまざまな方向から短い信号を発し、それが耳にどのように届くかを測定しておきます。実用上十分な測定のためには、その方向の数は数百にも及び、そのあいだ静止していなければならないのは被測定者に負担であるため、頭の形を計測して3Dプリンタでモデルを作り、その両耳部分にマイクを装着して測定することを検証しています。
頭の動きを反映した耳元の音作り
また、聴く人の動きも反映させなければなりません。頭を右に動かしたとすると、右からの音源が正面に、正面の音源は左にと相対的な位置が変わるので、それに伴って音も変化させられるように頭の動きを検知するセンサも必要です。こうした処理をリアルタイムで行うには複雑な計算を要するため、コンピュータの計算能力のさらなる進歩も望まれます。
※夢ナビ講義は各講師の見解にもとづく講義内容としてご理解ください。
※夢ナビ講義の内容に関するお問い合わせには対応しておりません。
先生情報 / 大学情報

東北文化学園大学工学部 知能情報システム学科 教授高根 昭一 先生
興味が湧いてきたら、この学問がオススメ!
知覚情報処理先生が目指すSDGs
先生への質問
- 先生の学問へのきっかけは?
- 先輩たちはどんな仕事に携わっているの?