自然なライティングで拡張現実のリアリティを追究

拡張現実をよりリアルにするライティング

現実世界の映像にCG（コンピュータグラフィックス）を重ね合わせるAR（拡張現実）の技術では、CGを違和感なく見せることが必要です。そのために重要なのが自然なライティングの再現です。実際の画像を機械学習で処理し、どこからどのような光が当たっているかを推定し、CGに反映させます。これで、例えば家具を新調するときなどに、購入前に家具のCGを部屋の画像に重ねてイメージを確認できます。その部屋の明かりでの見え方がわかるので、実際に家具が届いてから「思っていたのと違う」というようなことがなくなるでしょう。

虹色に光る構造色で光源の位置を推定

自然なライティングを再現するには、機械学習で画像を学習させて、光源の位置を推定する方法や、画像を撮影するときに手掛かり（マーカー）として金属の球や形のわかっているフィギュアなどの物体を置き、その物体に当たる光の様子から、光がどの方向から来るのか推定する方法があります。そのマーカーとして有効と考えられているのが、CDの裏側やチョウの羽のように、光を当てると虹色に光る「構造色」を発色する物質です。光源に依存して構造色の発色パターンも変わるため、構造色の変化をとらえることで、光源の位置を推定することが可能です。構造色を使ったマーカーは平面の印刷物として作れるので、取り扱いやすさの点でも優れています。

光源のスペクトルも推定可能

構造色を用いることのより大きな利点は、光のスペクトル（波長の順に並んだ帯状の像）が得られることです。すなわち、当たる光の種類によって構造色の発色が変化するので、同じ白い光でも蛍光灯であるのか白熱球であるのか、光源の種類を見分けることができます。現時点では4つの種類の光を見分けるところまで開発が進んでいますが、判別できるのは機械学習で訓練した種類の光に限られています。今後は、訓練していない光源にも対応できるようなモデル化の方法、また同時に2種類以上の光があったときの判別方法の確立が課題です。

※夢ナビ講義は各講師の見解にもとづく講義内容としてご理解ください。

※夢ナビ講義の内容に関するお問い合わせには対応しておりません。

先生情報 / 大学情報

大阪大学大学院情報科学研究科情報システム工学専攻教授浦西友樹先生

興味が湧いてきたら、この学問がオススメ！

画像工学

先生が目指すSDGs

メッセージ

研究というと、堅苦しいとか難しいといったイメージがあるかもしれませんが、実は逆で、楽しいと思うことを楽しく勉強するものです。むしろ、そうでないと長続きしないものなので、どんなことをするかを選ぶときには、自分が楽しいと思えるかどうかが一番大切な基準だと思います。また、その「楽しい」をサポートしてくれる指導者と出会えると、さらにいいでしょう。私の場合がそうで、学生時代の指導教員だった先生方が、みんな私がやりたいと思うことをやらせてくれたので、今に至ることができたと思っています。

先生への質問

先生の学問へのきっかけは？
先輩たちはどんな仕事に携わっているの？

大阪大学に関心を持ったあなたは

自由な学風と進取の精神が伝統である大阪大学は、学術研究でも生命科学をはじめ各分野で多くの研究者が世界を舞台に活躍、阪大の名を高めています。その理由は、モットーである「地域に生き世界に伸びる」を忠実に実践してきたからです。阪大の特色は、この理念に全てが集約されています。また、大阪大学は、常に発展し続ける大学です。新たな試みに果敢に挑戦し、異質なものを迎え入れ、脱皮を繰り返すみずみずしい息吹がキャンパスに満ち溢れています。