硬件解码（Hardware Decoding）是指用 GPU、SoC、AP SoC 或独立视频处理单元里的固定功能解码模块，把压缩视频码流还原成图像帧；它通常比软解码更省 CPU 和电，但受硬件能力、驱动和格式支持限制。
核心问题
视频解码包含大量重复的块级运算，例如熵解码、运动补偿、反变换、滤波和像素格式处理。通用 CPU 可以做这些事，但功耗和并行效率并不总是理想。硬件解码把常见视频标准的关键步骤固化成专用电路，用更低功耗处理高吞吐视频。
核心对象
| 对象 | 作用 | 工程关注点 |
|---|---|---|
| hardware decoder block | 固定功能视频解码单元 | 支持哪些 codec、profile、level、bit depth |
| driver / firmware | 管理硬件、提交任务和同步 | 驱动版本、固件、权限、稳定性 |
| media API | 应用访问硬解的接口 | VA-API、VDPAU、DXVA、VideoToolbox、MediaCodec、NVDEC 等 |
| compressed bitstream | 输入码流 | 格式必须被硬件支持 |
| decoded surface | 硬件输出的帧缓冲 | 是否在 GPU/显示内存中、能否零拷贝 |
| fallback path | 硬解失败后的回退方式 | 回退到软解时 CPU 可能突然升高 |
核心机制
硬件解码常见流程是：
- 应用或媒体框架解析容器，识别视频编码格式和参数。
- 框架通过媒体 API 创建硬解上下文。
- 驱动检查硬件是否支持该 codec、profile、level、分辨率和像素格式。
- 压缩码流和参数被提交到硬件解码器。
- 解码器在专用电路中执行预测、反变换、滤波和参考帧管理。
- 输出帧通常以 surface 形式留在 GPU/显示相关内存中。
- 显示、后处理或应用读取这些帧；如果需要读回 CPU，可能产生额外拷贝成本。
硬解降低的是 CPU 执行解码算法的成本，但并不消除整条媒体管线的成本。容器解析、时间戳同步、内存拷贝、颜色转换、显示合成和应用逻辑仍可能消耗 CPU 或内存带宽。
工程用途
- 移动端和笔记本低功耗播放。
- 4K/8K、本地媒体和流媒体播放。
- 多路监控视频预览。
- 相机或UVC 采集系统中，把压缩流解码为视觉算法可用帧。
- 浏览器视频会议和直播播放器。
边界与常见坑
- 支持 H.265 不等于支持所有 H.265：Main 8-bit、Main 10、4:2:2、HDR、不同 level 的支持可能不同。
- 硬解不等于 GPU shader 解码：多数硬解是固定功能视频单元，不是把算法放到普通 GPU shader 上跑。
- 零拷贝路径很关键：硬解输出如果每帧都读回 CPU，再交给 CPU 算法处理，可能把节省的成本重新花在拷贝上。
- 失败可能静默回退：播放器仍能播放，但实际已经变成软解，表现为 CPU 占用、温度和掉帧突然升高。
- 驱动和权限会影响可用性：Linux 上 VA-API/VDPAU、容器内设备映射、浏览器开关都可能决定硬解是否真正启用。