複合現実感技術とは，現実世界と仮想世界を融合する拡張現実感，あるいは仮想世界に現実世界を融合する拡張仮想感の総称であり，近年活発に研究が行われているが，その研究の多くは視覚的な複合現実感の実現を目標としております．視覚・聴覚・触覚の三感覚はそれぞれ相互作用があり，影響を及ぼし合ったり，相補的な働きをしたりすることが知られています．そこで本研究では，視覚・聴覚・触覚の三感覚のうち聴覚について着目し，聴覚と視覚，聴覚と触覚の相互作用について考察を行っております．

行動が大きく制約される視覚と異なり，聴覚は他の感覚に比べて制約が少なく知覚することができ，空間定位も可能であるといった特性を持っています．これよりいわゆる「ながら作業」が行えるなど，操作者の行動の自由度を下げることなく利用できるという大きな利点があります．また，視覚や触覚に比べて聴覚を主とした感覚代行や複合現実感に関する研究は視覚や触覚に比べて少ないが，聴覚は時間変化に対して知覚特性が高いなど，その特性を活用した新しい認知支援や拡張が可能であると考えています．

そこで本研究では，身体動作時に適切な聴覚刺激を付加することにより，人が動作の知覚における認知に何らかの影響を与え，人間の動作認識や空間定位について錯覚のような異なる認知の誘起が行われるか検討を行っています．また同時に，聴覚刺激によりこれまでの経験から想起されるであろう触力覚感を仮想的に提示できないかについて検討を行っています．