·技术, 多模态
1 分钟0
全双工语音模型精读⑪:流式视频理解 VLM 全景——从音频全双工到'边看边想边开口'
> 本文基于开源文献地图仓库 Awesome-VLM-Streaming-Videohttps://github.com/ydyhello/Awesome-VLM-Streaming-Video(京东探索研究院维护)做一次领域全景梳理。它汇集了 2024–2026 年"流式/在线视频理解"方
> 本文基于开源文献地图仓库 Awesome-VLM-Streaming-Videohttps://github.com/ydyhello/Awesome-VLM-Streaming-Video(京东探索研究院维护)做一次领域全景梳理。它汇集了 2024–2026 年"流式/在线视频理解"方
> 本文是「流式视频理解 VLM 精读」系列的开篇(总览/索引篇)。系列素材来自开源文献地图 Awesome-VLM-Streaming-Videohttps://github.com/ydyhello/Awesome-VLM-Streaming-Video(京东探索研究院维护),它汇集了
> 这是「流式视频理解 VLM 精读」系列第 2 篇。上一篇讲"何时开口",这篇讲"开口时还记得什么"——视频是无限流,但模型的注意力窗口和显存是有限的,怎么做到"几个小时后还记得之前发生的事"? 记忆问题的本质 看过几小时球赛,人记得"上半场有个越位没吹"。但 VLM 做不到直接