融云 2021 X-Meetup 技术沙龙 探讨音视频技术新方向

2021 年 5 月 15 日，融云 X-Meetup 技术沙龙第三站续航上海。本场沙龙聚焦“音视频技术新方向”，由融云音视频研发高级工程师姜春雨、时光机器人创始人兼 CEO 徐晶、融云 IM 研发中心高级工程师刘佳、学而思网校架构师李亚龙，和资深音视频技术专家栗伟，五位技术大咖出任演讲嘉宾，他们以时下热门应用场景为视角，从技术实践出发，与开发者们交流分享了关于音视频技术的新观察。

iOS 上的音频开发

今年，由于 Clubhouse 和 Tiya 的示范效应，语聊房产品大火，音频的开发技术备受开发者的关注。来自融云的音视频研发高级工程师姜春雨，多年专注于移动端和音视频领域的技术研发，他分享了《iOS 音频设备开发 - Core Audio》的主题内容。

融云音视频研发高级工程师姜春雨发表演讲

姜春雨认为：移动端音频处理的难点在于声音美化、变声、实时高音质和场景玩法多样化。单从 iOS 设备来说，要突破这些难点，离不开 iOS 所提供的 Audio Unit，它是一项强大灵活的音频处理技术，支持混合、均衡、格式转换和实时输入/输出，用于录制、播放、离线渲染和实时对话。

融云 SDK 以 Audio Unit 为基础，构建了长音效、短音效等多个功能模块，最终在音频设备上完成混音输出。在场景化实践中，姜春雨以音乐语聊房和百人超大会议室两个典型场景为例，分享了融云 SDK 的技术开发优化方案。比如，音乐语聊房注重高音质、美声变声，以舒适噪音为好，开发者要根据这些需求进行算法调优；而超大会议室的优化则要求做到服务端智能发流、多人声音同时出现可以智能选择会议发言人的声音。

姜春雨总结道：Audio Unit 是一个强大的音频处理框架，音频处理要基于 Audio Unit 框架构建内容，并且要在音频处理内容上不断打磨优化。未来，融云音视频 SDK 还将不断基于不同场景需要开发新的功能，持续优化音频产品，为开发者提供更好的解决方案。

构建低延迟高可靠的信令系统

融云作为互联网通信云赛道的领先厂商， 2020 年在业界率先提出“IM+RTC+PUSH”的整体通信解决方案。融云 RTC 唤起用户的通道就是依赖于 IM 的 SDK 信令，因此，本次融云的 IM 研发中心高级工程师刘佳，分享了《构建低延迟高可靠信令系统的探索与实践》，帮助开发者更好地了解融云 IM 如何协同 RTC，提供高可靠的通信能力。

融云 IM 研发中心高级工程师刘佳

刘佳介绍，高可靠音视频信令系统的构建在 IM 信令系统设计时，首先要进行服务分层，包括接入层、内部服务和数据存储的分层。而拆分原则要根据业务差异和服务对象的不同，拆分为 API 和 CMP，整体做到可监控、可维护。其次，是要搭建完整的监控体系，通过可视化的图表，监看网络的性能情况，及时处理系统瓶颈。

对于低延迟信令系统的实现，刘佳分享道，融云不仅利用全球加速网络，降低网络延迟，还基于融云自有通讯协议降低数据传输量，利用缓存机制，提高了服务的业务处理速度。并且，刘佳以缓存设计为例，说明通过一致性 hash 提高缓存命中率、高效利用 CPU 的处理能力、实施异步存储等，也都是实现低延迟系统设计的要旨。

基于这些设计要点，刘佳展示了海量并发用户场景下的语聊房系统架构，为开发者提供了干货解决方案。同时，他还总结出融云现有的音视频整体服务架构的三大优势：第一，信令服务与媒体服务解藕，两个服务之间也不需要状态同步；第二，媒体服务专注通信，信令服务专注能力；第三，部署简单，方便进行全球部署媒体服务。

直播系统架构设计 满足用户对实时性的需求

本场沙龙中，音视频直播场景也是一个重点话题。深耕互联网音视频 12 年，在直播领域积累了丰富实战经验的拾光机器人公司创始人兼 CEO 徐晶，通过他的《互联网直播快速实战》，分享了基于直播答题场景的架构设计，尤其是几个关键技术点和应对策略，以及如何保证直播中的视频和音频质量，都做出了详细的讲解。

沙龙中，专注于在线教育的学而思网校架构师李亚龙，还针对教育低延时大班的直播场景，为开发者带来了关于《在线教育直播系统架构升级》的分享。他着重从网校视频技术的发展、网校大班直播系统、网校公益直播课、低延迟直播探索这四个方面的设计要点，进行了分析讲解。对于专注在线教育的开发者而言，具有普遍的示范意义。

此外，资深音视频技术专家的栗伟，发表了《使用 WebRTC 构建实时在线课堂》的演讲。栗伟曾任职于中科院计算所、CC 视频，任职期间利用 WebRTC 技术开发了直播、在线课堂、视频会议等商业产品，并发用户数达到 500 万。他还曾主笔撰写了 《WebRTC 技术详解：从 0 到 1 构建多人视频会议系统》，在该领域有多年实践经验，对 WebRTC 有非常深入的研究，他的实践分享也让开发者们获益匪浅。

在本次沙龙中，五位讲师的分享，其共性特点在于：他们都基于当下所关注热门场景展开话题。由此可见，应用场景才是“探讨音视频技术新方向”的基础，而越热门的场景往往越是代表着这个领域的发展潜力更大，因此也就越需要通过新技术、新产品加以承载。

随着 5G 的进一步落地，网络带宽、网络质量的不断优化，音视频通信无论在使用量级上，还是使用场景上，都会出现更多可能。对于开发者而言，只有及早储备，尽可能多地掌握新技术，关注新方向，才能赢在当下，赢在未来。