做 AI 对话常被问:为什么不用 WebSocket?长连接看起来更强。真实项目里的结论相反——AI 文本流式输出用 SSE 更合适。选型逻辑只有一句:单向推流用 SSE,双向高频用 WebSocket。语音同传这类需要双向传音频的场景,我们仍然使用 WebSocket。
AI 文本回答是“我发一句、它吐一段”,属于单向、低频、文本级的一次性场景,SSE 恰好匹配它。下面四点是我们感受最深的。
一、SSE 本质是一条不立即断开的 HTTP 响应
WebSocket 完成握手升级后就脱离了传统 HTTP,出错时前端只能收到一个数字状态码,还要额外写逻辑判断原因。
SSE 则沿用标准 HTTP:401、500 等状态码原样可用;现有的网关、鉴权、签名、CDN 无需重写,直接复用。它的响应类型是 text/event-stream,服务端把每条消息写成若干行 data:,再以一个空行分隔,客户端逐条解析即可。因为它跑在普通 HTTP/1.1 或 HTTP/2 之上,不额外占用端口、也不需要协议升级,代理与网关都按常规响应处理,基础设施成本因此最低。
data: {"delta":"你"}
data: {"delta":"好"}
data: [DONE]二、用 fetch-event-source 绕开原生 GET 限制
原生 EventSource 只支持 GET,不能自定义请求头,断线后还会自动重连——这两点对 AI 对话都没有用。我们改用基于 fetch 封装的 @microsoft/fetch-event-source,既保留服务端持续推送的语义,又能像普通 fetch 一样发送 POST body 与自定义 Header,重连时机也交回业务自己控制。
import { fetchEventSource } from '@microsoft/fetch-event-source'
await fetchEventSource('/api/chat', {
method: 'POST',
headers: {
'Content-Type': 'application/json',
Authorization: `Bearer ${token}`,
},
body: JSON.stringify({ prompt }),
onmessage(ev) {
// 逐段追加文本,驱动打字机
},
})三、一次提问就是一个独立请求
WebSocket 是长连接,需要维护心跳、断线重连与防重复发送。而 AI 对话的流程是固定的:一次提问、一次流式回答、结束。SSE 的生命周期与它完全对齐。
我们甚至显式关闭了客户端的自动重连。断线后若重发同一句话,服务端可能生成新的消息 ID,导致前端打字机错位。请求结束连接即断,语义更干净。
四、停止生成只需一行
用户随时可能点击“停止生成”。用 SSE,前端直接调用 controller.abort(),标准 fetch 原语在传输层就能中断请求。即使服务端没有主动关流,前端收到结束标记后再 abort() 一次兜底即可,不需要像 WebSocket 那样协商 Close Code。
const controller = new AbortController()
stopBtn.addEventListener('click', () => controller.abort())总结
AI 文本生成是单向、低频、文本级、一次性的场景。SSE 架构成本最低、代码最少、Bug 也最少。把长连接留给真正需要的场景。
本文属于 AI 实用主义流派 的第 51 篇肉身实战。
发表评论
分享你的想法和反馈