流式传输是指发送方把数据分成连续片段逐步发送,接收方无需等待完整内容生成完毕就可以开始处理。

它常用于视频播放、日志输出、文件下载、实时推送和 LLM token 逐步返回。SSE 就是一种基于 HTTP 响应流的事件流式传输方式。

核心概念

  • 边生成边发送:减少首个结果的等待时间。
  • 边接收边处理:接收方可以增量渲染、解析或存储。
  • 需要背压处理:发送速度长期高于接收速度时,需要限流、缓冲或断开策略。

相关术语