沉浸式全景声技术是一种空间音频技术,目前在国外,基于对象的全景声技术已经应用于全景声制作领域。在我国,由于技术和播放平台受限等原因,全景声采集和播放一直以来处于探索阶段。音频领域的核心技术长时间以来由外国企业或科研机构掌握。项目研究以基于全景声场理念的Ambisonics技术,它是一种声道独立的球形声场再现技术,Ambisonics 技术将拾取到的声源信号通过一系列打包渲染算法转换成传输编码格式B格式(B-format)。根据阶数不同,B-format 有不同的通道数要求。它除了可以还放水平面信息外,还能还放自下而上的高度信息,更真实的营造出四周由远及近的音效,呈现出动态的声音效果、沉浸式的听觉感受。基于声场理念的 Ambisonics技术,包括采集端Twirling Capture SDK,单通道或多通道语音增强处理,回声消除,声源定位,均衡器调整,自动增益控制,波束成形;麦克风阵列设计与定制,包括线性和环形阵列,不规则阵列定制,支持标准First Order Ambisonic(FOA),higher order ambisonic (Hoa)Omini Binaural,支持单指向和全向ECM以及MEMS麦克风;播放端Twirling Audio SDK,支持立体声到VR声场转换,5.1/7.1环绕声,最新的Ambisonic, Quad Binaural,分轨音频对象(Object Audio),最新的物理和数学混响模型,独有算法支持反射音、遮挡音,内容自适应算法优化,高质量低功耗。不仅如此,在最近的迭代中,增加了基于麦克风阵列的降噪处理,语音唤醒、回声消除、声源定位、声纹识别、波束成形、定向增强等核心算法,让音质更纯粹干净,带来更好的临场和空间沉浸感。项目广泛应用于金融银行、智慧安防、工业检测、网联汽车等领域。
【展开】
【收起】