流式 VLM 精读 9：JoyAI-VL-Interaction——京东 8B 视觉交互模型，每秒三选一的决策与完整可部署系统

本文是「流式视频理解 VLM 精读」系列第 9 篇，精读 JoyAI-VL-Interaction（京东，arXiv 2606.14777）。前三篇精读（StreamingVLM、MiniCPM-o 4.5、MOSS-VL）分别解决了无限流、全双工、边说边看；这篇京东的答卷把焦点从"模型能力"挪到"交互范式+落地系统"：模型每秒自主决定沉默、响应、还是委托给后台大模型，并且连模型带训练配方、数据、可部署系统全部开源。值得一提的是，它在 MOSS-VL 的流式基准对比表中正是基线之一（OVO-Bench 均分 59.2）。

• 论文：https://arxiv.org/abs/2606.14777
• 代码：https://github.com/jd-opensource/JoyAI-VL-Interaction

立论：回合制是结构性缺陷，不是速度问题

论文开篇的攻击点很锋利：当今大模型几乎都是回合制的——只有被点到名才开口。这不是快慢问题，而是结构性缺陷：回合制模型从构造上就感知不到"现在"，它只在被提示的瞬间睁眼。

作者逐一点名三条现有路线的不足：

• 实时全模态模型（GPT-Realtime-2、Qwen3.5-Omni）：端到端低延迟，但优化目标仍是对话话轮——"用户说完后多快接上"，而非"持续看着画面自己决定何时开口"；
• 消费级视频通话产品：豆包 App 靠每隔几秒后台轮询一次制造主动性，反应延迟永远追不上轮询间隔；Gemini 更彻底，只回答提问瞬间的那一帧；
• 流式视频研究：大多停留在实验室，一次只推进一个维度（响应/主动/记忆），且缺少真实部署所需的完整系统。

他们借用了 Thinking Machines Lab（TML）提出的 interaction model（交互模型） 概念——何时响应由模型自己逐刻判断，像人一样选择说与不说。两队几乎同时意识到"交互性本身值得作为能力来 scale"，但路线不同：TML 把语音视觉融进一个 276B MoE 大模型（12B 激活，研究预览）；京东选择视觉为一等驱动、语音做可插拔 I/O、8B 可本地部署、全栈开源。

模型：每秒一次三选一

核心行为设计

模型盯着流式视觉输入，每一秒做三选一决策：

1. 沉默：输出 </silence>，继续观察；
2. 响应：输出 </response> + 文本回复；
3. 委托：把慢而难的子任务异步甩给后台模型，结果回来后再折入流中。

前两个动作构成与用户的实时循环，第三个构成与后台的异步循环。沉默是与发声并列的一等动作——这同 MOSS-VL 的 <|silence|> 设计一致，但委托（delegate）是这篇独有的第三个动作。

AdaCodec：让无限流看得起

逐帧接口在无限流上成本爆炸，京东用 AdaCodec（预测式视觉编码，思想借自视频编解码器）：参考帧花全量 ViT token，中间可预测的帧只编码运动与残差、压成约 16 个 P-token；当预测代价变高（场景变化够大）时才重置新参考帧。于是计算预算的"重型部分"随场景变化量而非帧数增长——这正是"永远在线"的模型需要的成本曲线。

基座与训练

基座是自家 JoyAI-VL 1.0（Qwen3-8B 语言模型 + Qwen3-VL ViT + 从头训练的投影层，经表征对齐→VL 预训练→On-Policy Distillation + RL 后训练）。交互能力则来自后续配方：时间对齐数据混入常规回合数据做 SFT，再接 GRPO 强化学习。

加权目标函数直面沉默不平衡：连续沉默 token 降权（w=0.4）、发声起始 token 加权（w=1.5）、首次沉默保持 w=1，其余位置为 1；委托无单独权重——它总是骑在一次 response 内部。与 MOSS-VL 的 focal+逆频率加权殊途同归，但京东的"连续沉默降权"更直白：已经在沉默了，继续沉默没什么可学的。

RL 阶段用 GRPO 直接优化逐秒策略，两个工程点值得抄：

• answer-centered window sampling：长流若完整展开是几百轮（大多沉默），RL rollout 不可承受。做法是以每个黄金响应为中心构建轨迹，保持流式因果但只留与时机相关的轮次，把 horizon 从几百压到个位数，信用集中在时机决策上；
• 流级奖励：奖励"正确且在正确时间窗内发出"的响应、适当的沉默、判断得当的委托；惩罚误报（无事发声/乱委托）、时机错误、退化的总是响应。委托分两项打分——是否把真正难的子任务交了出去（而非自己答易题却甩锅难题），以及委托 pending 期间是否保持在场、结果回来后是否用得好。内容质量由 LLM judge 按任务 rubric 打分。

数据：4M 时间对齐片段，时机和内容都要对

每秒级监督是行为可学的前提，但内容对、时机也要对，规模化的成本很高。京东的管线：每个候选样本过两级校验（全局=全部帧+完整标注；局部=标注时刻的帧+对应回复），任一不过即弃；不同来源按各自的瓶颈轴标注。

六大家族数据：

委托 episode 的双循环编舞：模型决定委托的瞬间不沉默——先给用户一句 holding reply（"我查一下"），再发出用户不可见的 delegate token 和 query 派活给后台；随后注入随机延迟模拟后台推理耗时，结果折回后模型才给正式回答。延迟是全部意义所在：它强迫模型在委托 pending 时继续看画面、接新话轮、没话时保持沉默，而不是冻结等待——实时循环与异步循环的缝合处，模型学会同时跑两个循环。

可迁移性与涌现：配方按统一的逐秒格式定义而非按领域定义，加新能力=供应该领域的流+同样的逐秒标注+同样的校验器，不改架构和训练目标。论文报告了两个从未训练过的涌现能力：跟着不断滑动的购物 App 界面一步步引导用户（训练数据里没有任何 App 界面视频）；按"每 4 秒解说一次"的指令稳定输出（定时与解说两个能力在训练中从未共现，推理时自行组合）。

系统：决策在模型，其余皆可换

系统的总设计纲领：模型是唯一决定何时说、何时委托的组件，其他一切（ASR/TTS/记忆/后台 brain/可视化 UI）都是围绕它的转导与编排，每个组件带开源默认值、可整体替换——包括模型本身。

• 接入：WebRTC（浏览器摄像头）或 RTSP（监控/直播流），aiortc/PyAV 服务端解码回原始帧，默认 1Hz 采样；
• 后台桥：固定、后台无关的文本协议——前台发出带标签的 query，桥归一化为 task-id、委托问题、前台备注、有界帧快照；隔离异步运行、固定超时、会话清理取消在途任务；结果以 started/ready/error 事件返回，完整产物留在上下文外，只把有界摘要织回模型。后台可以是任意 API/Agent（Hermes Agent、OpenClaw 等）——模型看物理世界，后台 Agent 动数字世界，"watch-and-do"闭环；
• 三层长时记忆：短期 100 秒原始视觉 token → 中期 M=5 段文本摘要 → 长期 L=15 块激进压缩，覆盖约 2 小时；合并异步进行、藏在主线推理之后；记忆层全是文本，构成稳定的逐块前缀——这是服务层 prefix cache 能复用的关键；
• vLLM 原生服务：重算全历史几百秒就撑爆窗口、滑窗破坏前缀共享让 prefix cache 失效、token 剪枝同理——多数流式方法因此困在实验室。京东把记忆系统围绕前缀复用设计：文本记忆每块 prefill 一次入 KV cache，之后每步只算新帧和上一条回复。配合 AdaCodec 每帧约 16 token，标准 vLLM 上支撑 2 小时以上连续视频、亚秒端到端延迟；
• 语音规则：语音有播放时长而生成没有——上一句还没播完时，新句子只上文字不合成，防止音频堆积；高频场景（实况解说、实时字幕翻译）建议直接关 TTS。

实验：不跑离线基准，直接约战豆包和 Gemini

评测选择很刚：不碰离线视频理解基准，六个真实事件驱动场景 58 个 case，与豆包/Gemini App 内视频通话助手头对头人评（5 名 LLM 研究员盲评，质量与时机双轴各三等评分）。测试时豆包约 5 分钟无语音自动挂断、Gemini 约 2 分 15 秒挂断——长时记忆场景约一半 case 里基线"根本不在场"。

赢面精确落在时机压力最大的场景（监控报警全胜、翻译/计数对 Gemini 横扫）；基线只在时机压力最低处回血——豆包靠更大模型的知识与文风在解说上赢 22.2%（但其轮询触发导致解说时机忽密忽疏），Gemini 在"事后提问"类时间感知题上靠底子答质量赢 10%。案例里：摔倒检测京东即时报警、豆包慢 4-5 秒、Gemini 直接说看不了；飞镖计数六个全中 vs 豆包数到 2 个；20 秒定时京东误差 1-2 秒、Gemini 拖到 40 秒。

作者对局限也坦率：8B 规模在通用回合能力上不如豆包（背后是 Seed 2.0）和 Gemini（3.1-flash-live），解说时偶有幻觉；主张收窄为"在事件驱动场景，交互模型范式对小模型是天然优势"——把"何时响应"做成模型内生能力，比堆参数更决定这个场景的体验。

我的评价

优点：

• delegate 第三动作 + 双循环是真正的范式增量：模型认识到实时推理的边界并主动求助，且委托期间不离场——这让 8B 小模型在能力上没有天花板；
• 数据管线对"时机"的较真程度（首次出现帧校验、三帧锚定、随机延迟注入）是本文最厚的工程资产；
• 围绕 prefix reuse 设计记忆、标准 vLLM 直跑 2 小时——为部署而设计，而非论文后补的工程；
• 模型+配方+数据+系统全开源，"任何人都能立起一个自己的在场助手"不是口号。

局限：

• 评测是 58 case 的小样本人评，且自家模型跑自家系统、基线受 App 形态限制（自动挂断）——赢面真实但规模有限；
• 每秒一个决策点，时机分辨率 1 秒，对亚秒级场景（体育瞬间）仍是上限；
• 语音是外挂 ASR/TTS 管道，非端到端语音，打断与抢话等全双工语音行为不在范围内（与 MiniCPM-o 4.5 路线互补）；
• 与 MOSS-VL 的 L5（边说边看、证据变了立刻改口）相比，本文的"生成期间是否持续感知新帧"没有明确论证。

一句话总结：JoyAI-VL-Interaction 把交互模型从概念（TML 的 276B 研究预览）做成了 8B 可部署全栈开源的现实——每秒三选一的决策、委托双循环、为 prefix cache 而生的记忆系统，是目前"让 AI 真正在场"这条路线上最完整的一份开源作业。

上一篇：流式 VLM 精读 8：MOSS-VL——边说边看的 L5 交互 系列开篇：流式 VLM 精读 0：领域地图