HalfSugar

> "大模型 RL" 并不是从 ChatGPT 才开始的。它背后是一条从 1989 年 Q-learning 延续至今的因果链。本篇是这个系列的总览：把前世（经典 RL → RLHF）、今生（DPO 浪潮 → RLVR 推理革命 → Agentic RL）、未来（经验时代）串成一张图，并给出后续五篇

#强化学习 #RLHF #RLVR #GRPO #Agentic RL #后训练

2026-10-26·技术

1 分钟0

前世：从试错学习到 AlphaZero，强化学习的经典三十年

> 大模型时代的 RL 看起来像凭空冒出来的新东西，其实每一件兵器——价值函数、策略梯度、Actor-Critic、自我对弈、奖励黑客——都在前三十年被锻造过一遍。本篇回到源头：从行为主义心理学到 AlphaZero，看看这门学科给 LLM 时代留下了哪些遗产，哪些教训又被重新学了一遍。目

#强化学习 #Q-learning #PPO #AlphaGo #深度强化学习

2026-10-26·技术

1 分钟0

对齐纪元：RLHF 如何把人类偏好塞进语言模型

> 2022 年 3 月，OpenAI 发表 InstructGPT：一个 13 亿参数的模型，靠着三段式 RLHF 流水线，在人类盲测偏好上超过了 1750 亿参数的 GPT-3。八个月后，同一配方浇灌出的 ChatGPT 引爆世界。本篇复盘这个纪元的核心技术：奖励模型怎么训、PPO 怎么在文本上

#强化学习 #RLHF #InstructGPT #PPO #对齐

2026-10-26·技术

1 分钟0

去 RL 化浪潮：DPO 家族与「在线 vs 离线」的三年之争

> 2023 年 5 月，斯坦福的一篇论文把 RLHF 里最贵的两个部件——奖励模型和 PPO——用一行监督学习损失函数替换掉了。DPO 引发的"去 RL 化"浪潮在此后两年席卷开源社区，又在"在线 RL 派"的反击中退回到它最擅长的领域。本篇讲清这场范式之争：DPO 到底做对了什么、输在哪里、以及

#强化学习 #DPO #RLHF #偏好优化 #后训练

2026-10-26·技术

1 分钟0

推理觉醒：RLVR、GRPO 与 o1/R1 开启的第二次 Scaling 革命

> 2024 年 9 月 12 日，OpenAI 发布 o1，几乎不公布任何技术细节，只留下一句话：让模型在回答前花更长时间思考，而思考能力是用强化学习训出来的。四个月后，DeepSeek-R1 把整套配方连源码带权重砸给全世界。这是本系列的核心篇章：RL 如何第一次取代"模仿人类"，成为大模型能力

#强化学习 #RLVR #GRPO #DeepSeek-R1 #推理模型

2026-10-26·技术

1 分钟0

未来走向：Agentic RL、经验时代与超人类智能的分岔路

> RLHF 的奖励来自人类偏好，RLVR 的奖励来自规则验证器——下一步，奖励将来自世界本身。本篇是全系列的终章，把镜头推向正在发生的未来：当智能体被放进真实环境长期行动，RL 要面对什么新问题？Sutton 的"经验时代"宣言描绘了怎样的终局？以及，这条路会把我们带向超人类智能，还是撞上能力边界

#强化学习 #Agentic RL #经验时代 #Agent #未来趋势

2026-10-26·技术, 多模态

1 分钟0

流式 VLM 精读 6：StreamingVLM——无限视频流的实时解说，训练与推理对齐的艺术

> 本文是「流式视频理解 VLM 精读」系列第 6 篇，精读 StreamingVLM（MIT HAN Lab / NVIDIA，arXiv 2510.09608，ICLR 2026）。在本系列第 0 篇的领域地图里，它是"长时记忆"阶段的里程碑；这篇技术报告值得单读的原因在于：它没有发明任何新模块

#VLM #流式视频 #StreamingVLM #KV-Cache #无限视频流 #ICLR2026

2026-10-26·技术, 多模态

1 分钟0

流式 VLM 精读 7：MiniCPM-o 4.5——Omni-Flow 全双工，9B 模型在端侧边看边听边说

> 本文是「流式视频理解 VLM 精读」系列第 7 篇，精读 MiniCPM-o 4.5（OpenBMB，arXiv 2604.27393）。上一篇的 StreamingVLM 解决了"无限流怎么看"，但它仍是回合制的延伸——感知与生成交替进行。MiniCPM-o 4.5 要拆掉的是这堵更根本的墙：

#VLM #流式视频 #MiniCPM-o #全双工 #Omni-Flow #端侧部署

2026-10-26·技术, 多模态

1 分钟0

流式 VLM 精读 8：MOSS-VL——边说边看的 L5 交互，门控交叉注意力与 XRoPE

> 本文是「流式视频理解 VLM 精读」系列第 8 篇，精读 MOSS-VL 技术报告（OpenMOSS / 复旦邱锡鹏团队，arXiv 2608.15045）。前两篇里，StreamingVLM 用训练-推理对齐解决"无限流"，MiniCPM-o 4.5 用 Omni-Flow 解决"看听说并行"

#VLM #流式视频 #MOSS-VL #交叉注意力 #XRoPE #主动交互

2026-10-26·技术, 多模态

1 分钟0

流式 VLM 精读 9：JoyAI-VL-Interaction——京东 8B 视觉交互模型，每秒三选一的决策与完整可部署系统

> 本文是「流式视频理解 VLM 精读」系列第 9 篇，精读 JoyAI-VL-Interaction（京东，arXiv 2606.14777）。前三篇精读（StreamingVLM、MiniCPM-o 4.5、MOSS-VL）分别解决了无限流、全双工、边说边看；这篇京东的答卷把焦点从"模型能力"挪

#VLM #流式视频 #JoyAI #主动交互 #交互模型 #京东

2026-10-25·技术调研

1 分钟0