WhatsApp如何处理与语音和视频编解码器相关的数据？

[liza89]

WhatsApp 对语音和视频编解码器的处理对于提供高质量、可靠的通话和媒体共享至关重要，同时还能针对各种网络条件和设备功能进行优化。编解码器（编码器-解码器）是一种压缩和解压缩音频和视频数据的算法，可以减少文件大小和带宽需求。

下面详细介绍了 WhatsApp 如何处理编解码器：

1. 编解码器选择和支持的格式：

对于语音留言和通话：
Opus 编解码器： WhatsApp 高度依赖Opus音频编解码器来处理语音消息以及实时语音和视频通话。Opus 是一款开放、免版税且功能强大的音频编解码器，专为语音和通用音频而设计，在低比特率下也能保持良好的音质。其低延迟特性使其成为实时通信的理想选择。
MLow 编解码器（最新开发）： Meta（WhatsApp 的母公司）近期推出并正在推广其专有的MLow 编解码器。MLow 是一款基于机器学习 (ML) 的音频编解码器，专为在极低比特率下实现显著提升的音质（据称比 Opus 好两倍）而设计，尤其适用于低端设备和高难度网络环境。它注重计算效率，以确保广泛的设备兼容性，同时增强丢包情况下的音频恢复能力。
传统编解码器：虽然 Opus 和 MLow 是主要选择，但 WhatsApp 可能仍支持较旧的编解码器，如AMR（自适应多速率），以实现更广泛的兼容性，特别是对于较旧的设备或特定的网络条件，尽管这些编解码器效率较低。
对于视频消息和通话：
H.264（MPEG-4 Part 10 AVC）：这是 WhatsApp 支持的主 墨西哥 whatsapp 号码数据 要视频编解码器，用于视频消息和实时视频通话。H.264 被广泛采用，并在压缩效率和质量之间实现了良好的平衡。
AAC（高级音频编码）：对于视频消息中的音轨，WhatsApp 通常使用 AAC 编解码器。
容器格式：视频通常封装在MP4或3GP等容器格式中。WhatsApp 也支持 AVI、MOV 和 MKV 等其他格式，但这些格式通常包含 H.264 视频和 AAC 音频，或者为了获得最佳兼容性而转码为 MP4。
视频压缩：发送视频时，WhatsApp 通常会自动压缩视频以减小文件大小并确保更快地共享，这可能涉及使用支持的编解码器以较低的比特率或分辨率重新编码视频。
AV1（未来/正在进行的研究）： Meta 正在积极研究并采用 AV1 等编解码器，以便在其应用（包括 WhatsApp）的实时通信 (RTC) 中提供更佳的视频质量。与 H.264 相比，AV1 具有更卓越的压缩效率，尤其是在低比特率下，这对于移动网络至关重要。
2. 编解码器协商（用于实时通话）：

WebRTC 和 SDP：对于实时语音和视频通话，WhatsApp 可能利用了WebRTC（Web 实时通信）标准的组件。编解码器协商是建立通话会话的关键部分。
会话描述协议 (SDP)：当两台设备尝试发起通话时，它们会交换有关其媒体功能的信息，包括支持的编解码器、首选比特率和分辨率。这种交换通常通过信令协议进行，通常使用SDP（会话描述协议）。
动态自适应： WhatsApp 的通话基础设施旨在根据实时网络状况动态调整编解码器和比特率。如果网络带宽有限或数据包丢失率较高，系统可能会切换到较低比特率的编解码器或降低码流质量，以保持通话连续性，尽管保真度会有所降低。这确保即使在具有挑战性的环境中也能保持通话连接。
编解码器优先级：设备和 WhatsApp 后端都有一个编解码器优先级列表。在协商过程中，他们会尝试选择双方都支持、并且适合当前网络状况的最高质量、最高效的编解码器。
3.数据处理与优化：

先压缩后加密：对于媒体文件（语音消息、视频），数据通常会先使用所选编解码器进行压缩，然后再进行端到端加密。这可确保仅传输压缩数据，从而节省带宽和电量，同时确保内容的安全。
转码（为了兼容性）：如果用户尝试发送格式或编解码器不受支持的视频，WhatsApp 可能会尝试在发送者的设备上将视频转码（转换为）支持的格式（例如，使用 H.264/AAC 的 MP4），然后再发送。此过程可能会消耗设备资源并需要时间，但可以确保接收者的兼容性。
自适应比特率流媒体（用于通话）：在实时通话期间，WhatsApp 会持续监控网络状况（带宽、延迟、丢包）。它会动态调整音频和视频流的比特率。如果网络状况恶化，它可能会降低比特率（从而降低质量），以防止掉线。如果网络状况改善，它则可以提高比特率以恢复更高的质量。
噪音和回声消除：除了编解码器之外，WhatsApp 还集成了噪音和回声消除等先进的音频处理技术，通过过滤背景噪音和防止音频反馈来提高通话清晰度。
本质上，WhatsApp 对编解码器的处理是一个复杂的过程，其驱动力在于对效率、质量和通用兼容性的需求，同时还要在端到端加密的框架内运行。像 MLow 这样的专用编解码器的持续开发，凸显了 WhatsApp 致力于在严苛的网络条件下优化实时通信的承诺。