12 米长距离拾音、180 度广角,腾讯会议要给线下会议室装上「顺风耳」
腾讯会议背后又一黑科技浮出水面。
7 月 7 日,为了应对复杂声学场景下的实时语音通信技术挑战,解决企业会议室开会难题,腾讯会议旗下天籁实验室推出天籁语音模组方案,由腾讯 AI Lab 多项技术加持,实现 12 米超长距离拾音,消除超过 200 种会议噪声,在双讲,回声消除等方面实现突破性升级。
据了解,该方案已授权开放给腾讯会议 Rooms 硬件合作伙伴,并率先应用在腾讯会议 Rooms 专款机型上,助力打造会议室场景高清、纯净、流畅的开会体验。
这是腾讯会议在坚持「不做硬件」的大方向上,针对线上会议场景体验,在技术解决方案商的再一次升级。
对此,腾讯天籁实验室总经理商世东表示:「腾讯会议不做硬件,但我们会帮助这些硬件厂商,比如在复杂声学场景下的体验需要优化时,把技术方案开放出去。」
据了解,腾讯会议目前还在通过开放音视频认证标准,联合硬件设备厂商,共同为企业量身打造「软硬一体」的云视频会议解决方案。
解决企业会议室复杂场景开会难题,给企业会议室装上「顺风耳」
当下,在线会议成为企业高效办公的标配,越来越多的企业衍生出线上线下协同开会的混合式会议需求,随之而来的是会议室场景下面临的声学挑战。
一方面,在远场情景下,讲话者会因离麦克风距离远,导致麦克风采集到的有效信号逐渐减弱,信噪比降低。另一方面,则经常因为会议室场地空旷,声音经过玻璃和墙面的折射后产生反射声和混响、各类噪声也会严重影响到开会质量。
对于企业来说,如何有效应对企业会议室场景下复杂的声学环境,成为一个新课题。
腾讯会议基于会议室的特定场景,推出天籁语音模组方案,首次结合房间声场感知、采集和空间声场重建技术,开创性地解决了会议室复杂场景下,远场多人音频通信、多讲话人实时追踪、多人自动取景等实时音视频技术难题,帮助企业和用户实现在远场复杂物理空间下通信体验的突破性提升。
例如,同一会议室中,随着人与音视频设备的距离变远,声音在传播过程中也会逐渐减弱,因此参加企业培训、工作汇报等企业会议时,最常见的一个现象就是听不清甚至听不到。
针对这一点,天籁语音模组方案将多个 MEMS 麦克风板嵌入到会议大屏中,结合音频处理器,能够实现 180 度广角、12 米超长距离拾音,相当于参会者即使相隔 4 层楼的距离,也完全可以像面对面交流般清晰、自然,给予参会者更灵活的活动空间,让其在自由不设限的氛围中开展讨论。
在远程会议中,很多人经常会遇到延迟而导致的声音卡顿、声音忽快忽慢,甚至与会者同时安静或同时说话等尴尬的情况,极易破坏会议沟通思路,影响会议沟通进度。为了解决这一痛点,天籁语音模组方案突破性地将设备上行时延降低至几十毫秒,可以让远程语音交流如面对面交谈般实时。
值得一提的是,针对多人同时说话时声音明显失真现象,天籁语音模组方案则能有效实现双讲无剪切、无回声泄露、无近端语音抑制,有效确保多人讨论时,每个人的声音都听得见、听得清、听得真,提升会议参与感。
天籁语音模组还基于深度学习模型,可以将空调声、风扇声等平稳噪声和写笔触屏声、键盘声、手指敲桌子、放水杯、翻纸等会议室场景下超 200 种各种突发噪声进行针对性消除,提升语音信噪比,为用户打造更加专注高效的会议氛围。
开放技术能力,打造「软硬一体」的云视频会议生态
会议是一家公司内外部协同最重要的形式。从参会人数上看,有两三人的小型会议,十几人的中型会议,还有上百人的大型会议。
受疫情居家办公影响,不少人已经习惯通过智能移动设备接入远程会议。当人们回归到线下办公,在会议室和他人远程连线时,就会感到些许不适应。比如,会议室里的硬件设备只连接了内网,和企业外部客户开会,几个人凑在一块讲话,声音效果还不好。
此次推出天籁语音模组方案,是腾讯会议基于企业用户需求,在企业会议室场景下再次发力。腾讯会议天籁实验室技术研发专家余涛表示,天籁模组最核心的能力是解决会议室场景下远场拾音的问题。
腾讯天籁实验室的融合感知编码、声学硬件设计、经典语音信号处理和深度学习技术,通过覆盖不同应用场景,网络条件和终端设备,为腾讯会议提供底层实时音频通信技术。
余涛还表示,远场拾音能力的应用需求其实非常广泛,除了会议场景,未来也可能让用户在更广泛、更复杂的物理声学空间接入互联网,实现音视频动态的实时交流与互动。
作为一款云视频会议产品,腾讯会议自 2019 年底推出以来,一直致力于满足用户在不同场景下的开会需求。
去年 9 月,腾讯会议发布企业版、会议室连接器以及新一代云视频会议室解决方案「腾讯会议 Rooms」, 试图从根源上解决了企业会议组织难、效率低、管理难等问题。
比如,会议室里的交互屏等智能硬件安装了「腾讯会议 Rooms」后,就可以快捷地登录腾讯会议,拉起远程会议,实现屏幕共享、白板等功能。
据腾讯会议产品经理陈薇丹介绍,「腾讯会议 Rooms」本身是一套会议室软件系统,也正是因为它是软件,所以能像水一样,跟不同形态的硬件相互结合,加强和更多硬件厂商深度合作。
除了与硬件厂商的合作,腾讯会议还积极通过开放标准 API 接口以及二次开发,助力企业 IT、系统集成商等合作伙伴轻松适配多种会议场景,快速实现与腾讯会议的连接。数据显示,近万家企业通过接入腾讯会议 API,大幅提升不同场景的会议体验。
今天的智能会议室已经远远不是传统的摄像头加麦克风这样的简单方案,而是一整套视觉、听觉,且能与会议室联动的解决方案。腾讯会议正是基于这个思路,在产品上做迭代,在技术上做升级。