全民 K 歌是实践前沿技术的音娱平台, 已落地行业领先的 AV1 编码技术, 并大规模应用
全民 K 歌是实践前沿技术的音娱平台, 已落地行业领先的 AV1 编码技术, 并大规模应用。
作为老少咸宜的音乐娱乐社交平台, 全民 K 歌 APP 中视频化内容在平台占比逐年增加, 巨大的带宽成本给 K 歌团队带来了不小的压力。
为了应对这个挑战, 全民 K 歌通过前沿技术和精细化运营, 让 AV1 的视频播放量提升到总体播放量的 60% 左右, 码率降低了约 59%, 极大的降低了相应成本, 提升了用户播放体验。
落地腾讯自研 TXAV1 编码器, 相比行业同类编码器压缩率提升 11%
目前市场上, 编码格式有多种选择, 包括 H.265、AV1 等, 全民 K 歌技术团队在综合了考虑压缩潜力和解码兼容性, 最终选择了 AV1。
压缩效率方面, 在对齐视频质量的情况下,AV1 相对于 H.265 约有 20% 左右的压缩率提升。在解码兼容性方面, 随着苹果公司 A17 芯片对 AV1 硬解的支持, 目前几乎所有厂商在最新的旗舰芯片中都集成了 AV1 硬解码能力, 同时 AV1 软解码的消耗相对于 H.265 的增长并不大。
「我们相信 AV1 将会成为未来几年收益最大的视频编码标准, 它能降低全民 K 歌的流媒体带宽, 提升视频播放的流畅度, 并且 AV1 标准专利政策友好, 专利风险小。」全民 K 歌技术团队成员表示。
除了效果更优外, 促使全民 K 歌技术团队选择 AV1 编码格式的另一个重要原因是其 AV1 转码使用了腾讯自研的 TXAV1 编码器。TXAV1 通过对底层数据依赖、模式选择、编码单元并行和码率控制等视频编码核心技术的深入优化, 在 2021/2022 年的 MSU 比赛中取得 AV1 赛道中连续获得总计 29 项指标中的 28 项最佳, 相比 SVT、AOM 等开源编码器优势明显。对比开源最佳 AV1 编码器 SVT-AV1-1.7,TXAV1 能帮助全民 K 歌获得 7~11% 压缩率提升的同时取得 69% 的提速, 在压缩率相当时可以取得 11.4 倍的提速。
全民 K 歌落地 TXAV1 时, 主要通过通过三个方向来提升压缩率:第一, 预测效率提升, 把参考帧管理和运动估计做到更准确;第二, 全维度自适应量化优化, 包含帧级、GOP 级、块级的 QP 优化;第三, 数据率失真模型优化, 一个标准有许多模式, 如何做到最优模式的选择, 主要依靠高准确率的率失真模型。而编码速度的提升主要源自 TXAV1 长期打磨的高效率内存访问、数据并行和快速算法设计 (如下图所示)。
此外, 全民 K 歌还在一些需要的场景下, 将 TXAV1 配合极速高清技术一起使用, 可以对画面做修复和增强, 可以根据画面内容自适应压缩参数, 实现在更低码率的情况下让视频更清晰。
考虑到当前支持 AV1 硬解码的新芯片还在普及过程中, 全民 K 歌的主要流量来自移动端, 移动端目前的硬解码支持率还比较低, 为了更快落地 AV1, 全民 K 歌在 APP 中添加了对 AV1 软解的支持。
全民 K 歌技术团队介绍到:「解码器的选型上主要调研了腾讯自研的 txav1d 和开源的 dav1d, 在 CPU 和内存占用指标上 txav1d 好于 dav1d,CPU 消耗和 H.265 软解相当, 因此全民 K 歌在线上选择使用 txav1d 作为首选解码器。」
先进的技术还需要配合精细的业务策略支持。AV1 编码虽然能降低文件大小、减少带宽成本, 但同时也会引入额外的转码成本。如果一个作品播放量很少却进行了 AV1 转码, 那么反而会造成不必要的成本浪费。为此, 全民 K 歌技术团队通过提前播放预测+实时播放数据计算的方式, 筛选出预期播放量较高的作品来进行 AV1 转码。构建高效服务策略, 提升全民 K 歌用户体验。
为了达成这个效果, 关键是「如何计算 AV1 转码的播放量阈值」。播放量阈值概念的引入, 主要是确保对超过某播放量的作品进行 AV1 转码, 且转码后带来的带宽成本优化能够覆盖新增的转码成本。
这其中, 带宽成本节省的计算一直是一个难点, 这里技术团队采用了 A/B 对比实验的方法, 首先预转码一批热门作品, 对 A 组用户下发 AV1, 另外的 B 组不下发 AV1, 同时分别对这两组用户播放这批热门作品的链接进行处理, 打上特定的 tag 参数, 最后在 CDN 侧分别统计两组 tag 的带宽和播放量, 这样就能测算出「转码 AV1 后单次播放带宽节省量」这个数值。有了这个数值进而就能直接计算出 AV1 转码的播放量阈值。
全民 K 歌后台转码架构
对于 AV1 转码的码率选择, 全民 K 歌技术团队选择了基于 VMAF 分数的码率自适应 (CAE) 方案, 相当于固定了转码的画质损失, 来根据画面内容自适应码率, 目前可以做到在 CAE 下的 VMAF[-1,1] 区间 85% 的准确率。CAE 的目标 VMAF 分数是通过开展不同视频场景下的 AB 实验, 通过 QoE 指标来选择适合各个场景的 CAE 目标 VMAF 分数, 从而在画质、流畅度和成本之间寻找平衡。
实际上, 目前很多视频厂商都会为同一个视频提供多个分辨率和多个码率的视频版本, 根据用户的网络情况来自适应下发合适的版本。
对此, 全民 K 歌技术团队成员表示:「我们也考虑过这种方案, 但考虑到全民 K 歌以 UGC 类型的唱歌视频为主, 且大都是在手机端播放的中短类视频, 再加上国内用户网络条件好,AV1 视频本身码率已经较低, 使用多码率版本我们评估收益不会很大, 反而会增加额外的存储, 文件版本更分散也意味着 PCDN 等策略的分享率降低, 从而导致总体成本升高。因此我们进行 AV1 转码时对大部分视频只会保留一个 QoE 指标最优的版本。对于转出来的 AV1 视频, 我们有对应的热度下降自动过期策略, 保证 AV1 转码引入的额外存储成本可控。」
由于软解性能和客户端的机型关联很大, 需要在大规模上线 AV1 前筛选出哪些机型软解 AV1 会有性能问题, 否则会影响用户播放体验。
在这个环节, 全民 K 歌技术团队也进行了细分测试:iOS 机型较少, 可以直接在上线前对低端 iOS 机型进行系统测试, 确定最低能支持到哪个机型;Android 存量机型较多, 新增机型也很多, 全部系统评测不太现实, 因此全民 K 歌技术团队使用了一种天梯分粗划线+机型黑名单的策略来筛选 AV1 解码有性能问题的机型。该团队首先对天梯不同分段的代表机型进行系统测试, 确认一个最低的天梯分划线, 然后在外网进行小规模的 AV1 测试, 通过收集各个机型播放 AV1 的丢帧率数据来建立机型播放数据库, 最后对统计上丢帧率超过 0.5% 的机型纳入 AV1 解码黑名单。
通过这种方式, 全民 K 歌目前实现了 Android 端 80%+的机型可支持播放 720P+30fps 的 AV1 视频, 不支持 AV1 的机型降级使用其他编码格式。
播放策略
除了上述的通用技术手段, 鉴于全民 K 歌自身的音乐场景, 技术团队对 AV1 转码做了相应的适配。用户在全民 K 歌的推荐页播放音乐视频时, 客户端通常会自动 Seek 到该歌曲的高潮片段前。但往往高光时刻起始位置并不会恰好是关键帧, 在 GOP 为 250 时, 在最差的情况下客户端需要往前回溯下载额外 248 帧才能解码当前帧, 影响用户的起播体验, 也浪费了用户流量。由于事先知道该歌曲高光时刻的位置, 因为在进行 AV1 转码时会在高光时刻重新计算 I 帧的位置, 保证在高光时刻前恰好是 I 帧, 这样用户可以无需额外下载直接起播。
目前在全民 K 歌内,AV1 的视频播放量占总体播放量的比例在 60% 左右, 在成本优化方面, 转码后码率降低了约 59%, 带宽相对于转码后的 H.264 等下降了 42%。在用户卡顿数据方面, 使用了 AV1 后, 首次缓冲时间下降了 34.4%, 二次缓冲比下降了 49.4%, 得益于卡顿方面的优化, 用户 QoE 数据在使用 AV1 后也有略微提升, 用户的平均播放时长也提升了约 0.4%。
而这只是全民 K 歌 AVI 体验计划的开始, 随着搭载支持 AV1 硬解码的新手机逐步上市, 全民 K 歌技术团队表示将考虑对硬解码进行评估和测试, 硬解码理论上会具有更好的性能和更少的功耗, 根据之前 H.265 硬解码普及的速度来估算, 该团队成员预估到 2025 年底支持 AV1 硬解码的 Android 设备将超过 50%。
此外, 考虑到高分辨率的 AV1 视频在低端的 Android 手机上的解码性能较差, 全民 K 歌技术团队表示后续还考虑对高分辨率视频进行分类, 对画面内容较简单的视频可以直接将其转码成 720P 的 AV1 视频来让更多的用户受益于 AV1;对于画面较复杂、降分辨率对画质影响大的视频, 可以在转成高分辨 AV1 视频的同时, 提供其它编码格式的视频供低端机型使用。
全民 K 歌在娱乐视频化浪潮中, 通过先进技术和精细化运营策略, 为用户提供了更优质、更流畅的播放体验, 不仅降低了平台的运营成本, 提高了运营效率, 还帮助平台以及平台上的优质内容更好地适应了市场变化, 进一步巩固了全民 K 歌在用户和市场中的价值。相信未来在技术驱动下, 将会有更多的娱乐形式和优质的内容产生, 给用户带来更丰富的娱乐生活。
来源：互联网
