本文是「流式视频理解 VLM 精读」系列第 6 篇，精读 StreamingVLM（MIT HAN Lab / NVIDIA，arXiv 2510.09608，ICLR 2026）。在本系列第 0 篇的领域地图里，它是"长时记忆"阶段的里程碑；这篇技术报告值得单读的原因在于：它没有发明任何新模块，却用**"训练模拟推理"**这一对齐思想，让 7B 模型在单张 H100 上以 8 FPS 稳定解说 2 小时以上的无限视频流。
要解决的问题：三条路都有坑
给 VLM 接上永不停止的视频流，朴素方案有三种，全都行不通：
| 方案 | 计算/显存 | 致命伤 |
|---|---|---|
| (a) 全注意力 | O(T²)，显存无界 | 视频超过训练长度 2-5 分钟后延迟爆炸，最终 OOM |
| (b) 滑窗无重叠 | 显存有界 | 每个新 chunk 重建上下文，解说与前文断裂，延迟周期性尖峰 |
| (c) 滑窗有重叠 | 重复计算 | 每滑一步重算整窗注意力，延迟下不来 |
StreamingVLM 的答案是 (d)：滑窗 + KV 复用——不重算历史，只维护一个紧凑的 KV cache。这个思路本身不新鲜（StreamingLLM 的 attention sink 一脉），真正的贡献是后半句：推理 pattern 定了之后，训练必须照着它来教，而不是训练一套、推理另一套。
核心设计：训练-推理一致性
推理侧：紧凑 KV cache 的三段结构
流式推理时，cache 里只保留三类状态：
- Attention sink 文本（T_sink=512）：系统提示和早期文本，稳住注意力分布；
- 长文本窗（T_window=512）：最近的解说文本，保住长期叙事记忆；
- 短视觉窗（V_window=16 秒）：只留最近 16 秒的视觉 token，跟踪正在发生的动作。
驱逐策略是不对称的：旧视觉 token 先滚，早期文本只有超预算才滚。背后的判断很朴素——解说一场球赛，"两分钟前那个进球"主要靠文本记忆回溯，而视觉只需要覆盖"当下这个连续动作"。消融证实了这点：视觉窗砍到 0 秒，对 GPT-4o 的胜率从 66.18% 掉到 52.90%；而 16 秒与 32 秒几乎无差别，说明 16 秒已经足够覆盖动作边界。
连续 RoPE：驱逐之后位置不能漂移
滑窗驱逐引入一个隐蔽问题：RoPE 的位置索引会随着流的长度无限增长，很快超出训练长度范围，位置分布外（OOD）导致性能崩塌。StreamingVLM 的做法是连续 RoPE（Contiguous RoPE）——每当旧 token 被驱逐，后续 token 的位置索引整体左移，与最后一个保留 token 保持数值连续。视频长度一旦超过窗口总长，有效位置索引就停在有界范围内，永远留在训练分布内。
对 Qwen-VL 家族（视觉 token 用 3D 位置嵌入），相应地做连续 3D RoPE：时间/高/宽三轴都按同一左移规则重排，与图文交错的排布匹配。
消融数据非常刺眼：在无限流设置下，原生 RoPE 对 GPT-4o 的胜率只有 25.09%，连续 RoPE 是 66.18%——位置编码不处理，无限流直接不可用。切成 100 秒短块能恢复到 63.23%，但那是放弃长程记忆换来的。
训练侧：重叠短块全注意力，模拟推理 pattern
关键洞察是：不需要在超长视频上训练，也能教会模型流式行为。
具体做法：把长视频流切成 W=24 秒、重叠 O=12 秒的连续短块，每个块内做全注意力（块内任意 token 互相可见）。由于相邻块有一半重叠，模型在块边界处的有效感受野恰好近似推理时的"sink + 长文本窗 + 短视觉窗"结构——训练时的注意力分布与推理时的紧凑 cache 结构上对齐了。
两个执行细节值得抄作业：
- 图文交错，而非先图后文：训练样本里视觉 token 和文本 token 按每秒间隔交错排布，镜像推理时的真实数据流，而不是主流 VLM"所有视觉 token 排前面"的惯例；
- "..." 占位符教沉默：只在有解说词的秒位上计算损失；没有解说的秒位插入 "..." 占位符但保持交错布局。这等价于显式监督"何时该说、何时该沉默"——模型由此学会与流同步生成，而不是喋喋不休。
这一步对齐的威力体现在与 ReKV（免训练 KV 驱逐方法）的对比上：ReKV 用在没微调过的模型上，模型根本不会做实时解说；用在 StreamingVLM 上，其驱逐策略又会打乱模型依赖的上下文格式，频繁输出为空。训练-推理一致性不是锦上添花，而是能不能用的分水岭。
数据管线：4000 小时体育解说怎么炼成
流式解说数据是稀缺品，作者自建了 Inf-Streams-Train：
- 采集：篮球、足球、冰球、棒球、橄榄球五个项目共 2,449 场完整比赛，360P-720P / 24 FPS，WhisperX 提取 ASR，原始语料超 6,000 小时；
- GPT-5 清洗：切成 120 秒段，逐句判定 keep/edit/delete——广告、主持人独白这类画面与语义弱相关的段落删除，ASR 认错的人名队名修正。最终保留 46.32%、修改 37.89%、删除 15.79%；
- SFT 切分：W=24s / O=12s 切块，每段至少 2W 个词，段前解说作为"前文文本"并截取 sink+window 部分以匹配推理格式，得到 525K 流式样本（另混 LiveCC 的 Live-WhisperX-526K）；
- 高质量退火数据：解说语料里大量内容是球队历史、赛季背景，而人类解说体验偏好"场上正在发生什么"。于是再切 16-64 秒、内部沉默不超过 3 秒的片段，用 GPT-5 筛出"实时解说占比超 80%"的样本——52,530 条里只留下 14,786 条，用于第二阶段退火。
总训练量约 128 H100-days，基座是 Qwen2.5-VL-7B-Instruct。
配套还发布了 Inf-Streams-Eval 基准：20 场完整比赛、平均 2.12 小时，要求帧与文本逐秒对齐；评分由 GPT-5 在两个模型输出间投票（有真人解说做参考），以胜率计。
实验结果
解说质量（Inf-Streams-Eval，无限模式）：StreamingVLM 对 GPT-4o mini 胜率 66.18%，对 LiveCC 分块模式 87.81%、无限模式 99.12%。基座 Qwen2.5-VL-7B 只有 0.01%——它根本无法持续解说。
VQA 不涨反升：值得注意的是，StreamingVLM 没有做任何 VQA 微调，但相对基座全面提升——LongVideoBench +4.30（54.70→59.00）、OVOBench Realtime +5.96（56.00→61.96）、MVBench +1.82。作者的解释是：流式 SFT 强迫模型学会"关注当下、记住前文"，这本身就是通用的视频理解能力。这与"流式训练损害离线能力"的直觉相反，是个有价值的数据点。
效率：单张 H100 上稳定 8 FPS 实时解说，每 token 延迟低且平稳（实时阈值 0.1s/token 虚线之下），连续运行 2 小时以上不衰减。对比之下，全注意力几分钟就 OOM，无重叠滑窗延迟周期性尖峰超过实时线。
我的评价
优点：
- 方法论极其干净——"推理要什么 pattern，训练就模拟什么 pattern"，一句话说清，消融表也撑得住；
- 工程交付完整：代码、数据管线、基准全开，128 H100-days 的成本学术界可复现；
- "..." 占位符教沉默、连续 RoPE 防位置漂移，都是低成本高回报的小巧思。
局限：
- 它是回合制内的流式：模型持续输出解说，但"说着说着发现进错了球、立刻改口"这种边说边修正的 L5 行为不在其设计内——生成期间对新帧的感知窗口是滑动的，但生成与感知并非真正并行耦合；
- 评测场景高度集中于体育解说，泛化到监控、第一视角等低信息密度场景的表现未验证；
- 胜率评测依赖 GPT-5 当裁判，裁判偏好（详细、流畅）可能放大与真人解说的差距。
一句话总结：StreamingVLM 证明了无限视频流理解不需要新架构，需要的是把训练当成推理的模拟器。它的重叠块 SFT + 紧凑 KV cache + 连续 RoPE 三件套，已经成为后续流式模型（包括本系列下一篇的 MiniCPM-o 4.5 在 LiveSports-3K-CC 上的直接对标对象）的默认基线。
上一篇：流式 VLM 精读 5：评测与数据——30 多个 benchmark 看懂门道 下一篇：流式 VLM 精读 7：MiniCPM-o 4.5——Omni-Flow 全双工