12分钟前更新
- 原创 52CV 2026-11-06 22:28 江苏 现有的统一多模态模型（UMMs）已经具备了生成图像与文本的能力，但如何让它们在真实场景中图文并茂地讲故事、写教程、做旅行攻略？随着文本与图像生成、图像编辑能力的不断提升，图文交错生成正成为统一多模态模型值得深入探索的一项挑战。 让UMMs学会图文交错生成并不容易：高质量训练数据不足，细粒度评测体系尚不完善，相关训练经验也有待积累。针对这些问题，近日，南京大学模式识别实验室（PRLab）的余绍函在司晨阳教授的指导下，联合美团LongCat、帝国理工学院、新加坡南洋理工大学S-Lab提出IntReal，从数据构建、细粒度评测与训练优化三个角度展开探索，为图文交错生成提供实用的数据资源、评测工具与训练参考。 论文标题：IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation 论文地址：https://arxiv.org/abs/2610.38425/ 项目主页：https://yushaohan.github.io/IntReal/
- 原创 52CV 2026-11-05 23:55 江苏 EuroGraphics 2026 · Computer Graphics Forum 论文： See4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting 项目主页：https://see-4d.github.io arXiv：https://arxiv.org/abs/2510.26796 给视频更换观察角度，首先会遇到一个很具体的问题：原镜头没有拍到的地方，从哪里获得画面？把现有像素投影到新位置，可以保留部分结构，却也会在遮挡边缘留下空洞。再加上人物和物体本身正在运动，补全结果既要看起来合理，也要与前后时刻接得上。 发表于 Computer Graphics Forum、收录于 Eurographics 2026 的 See4D，将这个问题拆成几何引导的视频补全，以及沿空间和时间推进的自回归生成。它不是直接要求模型凭空给出整套新镜头，而是先提供一个不完整、带误差但有结构的观察，再学习如何修复。 几何线索有用，但不能照搬所有投影结果 从深度估计出发，原视
- 原创 52CV 2026-11-05 23:55 江苏 近年来，多智能体系统（Multi-Agent System, MAS）在医学视觉问答（MedVQA）和多模态医学推理中表现亮眼：多个大模型扮演不同科室的专家，通过多轮讨论共同给出诊断。然而，这类系统想真正走进医院，还面临两个现实障碍： 依赖云端大模型：现有 MAS 大多调用 GPT、Gemini 等云端模型，而 MRI、CT、电子病历等大都包含私人信息，上传到外部服务器在临床上往往受到严格限制，带来隐私与合规风险。 "全员会诊"代价高昂：现有 MAS 对每一个问题都启动多智能体、多轮讨论，推理延迟和 token 开销成倍增长，而这种密集协作在 MedQA 和 MedVQA 上带来的提升往往与昂贵的推理开销不成正比。 既然很多问题一个医生就能答对，我们能否让系统自己判断：什么时候该独立作答，什么时候才需要请专家会诊？ 围绕这一问题，我们提出了 SMART-Med：一个完全基于本地小模型的医学多智能体方法。它不再把协作当作默认流程，而是把"是否协作"变成一个可学习的决策。 论文标题：Learning When to Collabora
- 我爱计算机视觉 2026-11-04 14:03 江苏 分享一篇文章。 深度之眼官方账号: 喜报！深度之眼学员中稿 Nature 子刊，影响因子高达 29.796！ 近日，深度之眼再传中稿喜讯！深度之眼 L 同学的研究论文正式获得 Nature Machine Intelligence 接收！ 从最初的课题立项，到最终收到期刊的录用通知，历经将近 19 个月的持续打磨，这项研究终于迎来了令人振奋的结果。 这不仅是 L 同学科研道路上的重要突破，也刷新了深度之眼目前学员中稿成果的影响因子纪录！ 01 一举拿下 Nature 人工智能领域高水平子刊 本次中稿期刊为 Nature Machine Intelligence（NMI），是国际顶级学术出版集团 Nature Portfolio 旗下专注于人工智能与机器智能领域的高水平学术期刊。 该期刊关注机器学习、人工智能、机器人及智能系统等领域的重要研究进展，对论文的创新性、研究价值和学术贡献有着较高要求。 JOURNAL METRICS 29.796最新影响因子 （IF）36.001五年影响因子 （IF） SCI 1区顶刊 | JCR 一区
- 我爱计算机视觉 2026-11-04 14:03 江苏 多模态是一个特别容易陷入信息差的方向。 很多时候，你没思路是因为始终局限在自己熟悉的那几个方向上。而多模态其实有很多值得关注的细分领域，从融合机制、模型架构到具体应用，不同技术路线之间也存在不少可以借鉴和结合的地方。 因此，想要拓展研究思路，就需要快速了解并掌握其他方向。于是这次我专门整理了一套526篇多模态论文+代码合集，涵盖8大顶会成果和多个前沿研究方向，希望可以帮助你一次性搞定多模态领域的研究脉络和技术参考。 文末免费领取！ 第一部分：196篇多模态顶会论文 这部分收录了CVPR、ICLR、ICML、AAAI、ACL、IJCAI、WWW、NeurIPS八大会议的196篇相关论文（如图）。 顶会论文比较适合用来了解领域内有代表性的研究成果，尤其是在做文献调研、寻找Baseline、对比已有方法时，可以直接从相关工作入手。 如果你想知道某类问题目前有哪些解决方案、不同论文采用了什么技术路线，这部分可以作为很好的参考入口。 第二部分：330篇多模态前沿论文 相比只关注某个热门方向，我觉得这部分更值得大家系统看看。 这些论文我按照以
- 组委会 2026-11-03 23:37 江苏 2026年，DDL 2.0先后在乌鲁木齐ChinaMFS、不来梅IJCAI-ECAI和西安CCBR举办，围绕模型与内容安全开展研讨、竞赛及成果交流。 一 以DDL提醒AI安全的紧迫性 DDL源于首届深度伪造检测、定位与可解释性研讨会（Deepfake Detection, Localization, and Interpretability）的名称，也借“deadline”的紧迫感，提醒我们在AI技术快速发展时及时关注安全问题。DDL 2.0进一步将议题拓展至模型安全与内容安全，通过论文、挑战赛和专家报告交流研究与应用。 二 组织团队 Workshop组织委员会 14位成员共同推进学术交流与赛事组织。 OpenClaw安全攻防挑战赛组织委员会 通用AIGC音视频检测挑战赛组织委员会 Deepfake检测定位与可解释性挑战赛组织委员会 三 三项挑战赛 OpenClaw安全攻防挑战赛 258支队伍参赛，产生1189次有效提交，考察智能体授权边界与工具使用安全。 名次队伍所属单位得分 1 AISEC 西安交通大学 1.00 2 PoliteIn
- 原创 52CV 2026-11-03 23:37 江苏 近日，北京大学、清华大学等团队提出 GAPrompt++，一种面向预训练3D视觉模型的多粒度几何感知提示学习方法。该方法冻结预训练骨干，仅通过轻量提示模块和任务头完成下游适配，同时显式建模点云中的局部几何细节与全局结构语义。 实验表明，GAPrompt++在多个点云分类、分割与大规模场景理解数据集上取得具有竞争力的参数高效微调性能，并在多项分类设置中达到或超过全量微调。该研究已发表于国际顶级期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI），2026年。 论文第一作者为北京大学博士生艾子翔、清华大学博士后崔振宇和中国航天科工集团智能科技研究院高级工程师郭宇飞，三位作者为共同第一作者；通讯作者为北京大学王选计算机研究所周嘉欢助理教授。 论文标题：GAPrompt++: Multi-Granular Geometry-Aware Point Cloud Prompt for 3D Vision Model 论文链接：https://ieeex
- 52CV 2026-11-02 18:00 江苏 只用 RGB 视觉输入，R2R-CE / RxR-CE 导航成功率分别达到 68.6% / 72.4%；相比初始模型提升 15.7 / 17.7 个百分点。代码、模型和数据均已开源。 论文标题： Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping 论文地址：https://arxiv.org/abs/2610.15782 代码：https://github.com/OpenGVLab/RSI-Nav 导航模型能否自己生产训练数据？ 视觉语言导航（Vision-Language Navigation, VLN）要求智能体结合第一视角图像和自然语言指令，在陌生环境中连续决策。相比单次图文理解，VLN 还考验跨视角的地标定位、空间关系推理和长程动作规划。 训练这类模型需要大量“指令—轨迹”配对数据，而现成的无标注导航轨迹远比人工指令丰富。过去的做法通常是先由指令生成器批
- 52CV 2026-11-02 18:00 江苏 本文第一作者为香港大学计算与数据科学学院博士生娄蒙。 人类可以在一生中持续学习新知识，而不会轻易遗忘已有技能。然而对AI模型而言，这恰恰是一道极具挑战性的难题：每当模型学习新任务时，参数更新往往会覆盖历史知识，产生经典的“灾难性遗忘”难题。持续学习（Continual Learning）正是为突破这一瓶颈而生的研究方向。 其中，类增量学习（Class-Incremental Learning, CIL）是一项极具挑战性的持续学习问题：模型需要持续学习新类别，同时保持对历史类别的准确识别能力。近年来，借助大规模预训练模型（Pre-trained Model, PTM）的丰富先验知识，CIL取得了长足进步。然而，现有方法大多只在极短的任务序列上进行验证，例如5-20个任务。一旦任务数量扩展至上百个，性能就会显著下滑甚至崩溃。真实世界中，一个长期运行的系统往往需要不断地学习新知识新概念，这一鸿沟亟待填补。 近日，来自香港大学的研究团队提出了一种全新的持续学习范式CaRE (Scalable Continual Learner with eff
- 原创 52CV 2026-11-01 22:55 江苏 近日，北京航空航天大学团队的论文 “LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling” 被 IEEE TPAMI 正式录用。 这项工作关注一个大模型安全中非常关键、但还没有被充分研究的问题： 在生成过程中，大模型的内部表征是如何由非毒性状态向毒性状态转变的？ 现有的大模型降毒方法，往往只关注降毒前后的结果。但在真正的生成过程中，模型内部状态并不是瞬间从安全跳到有害，而是经历一段连续的变化。如果只知道起点和终点，而不了解中间的转变过程，就很难判断应该在什么时候干预、干预多强，以及怎样在保证安全的同时尽量不影响原本的表达能力。 为此，作者提出了 TARGRS（Transition-Aware Reward-Guided Representation Sampling）。该方法在模型生成时追踪内部表征从无毒到有毒的转移轨迹，学习细粒度的风险信号，再通过由粗到细的表征采样，将模型拉回更安全的生成区域。 代码链接：https://git
- 原创 52CV 2026-10-31 12:25 江苏 一段生成视频里，小球落地后顺畅弹起，机械臂自然地搬动物体，镜头也足够清晰。乍看之下，它似乎已经学会了现实世界的运行方式。 但如果进一步追问：小球是否越弹越高？碰撞前后的动量是否合理？机械臂搬动的物体有没有悄悄改变尺寸？被遮挡的物体再次出现时，还是原来那个吗？答案就未必令人满意。 画面逼真，并不意味着物理合理。 当视频生成开始走向具身智能、仿真和世界模型，评测也需要从“看起来对不对”，走向“哪些物理量出了问题、偏离了多少”。 来自浙江大学 APRIL Lab、华中科技大学和腾讯优图实验室的研究团队提出 PVBench，通过物体级物理量测量，系统评估生成视频的物理合理性。基准覆盖 7 个领域、46 个评测维度，其中物理层包含 25 个维度；配套 600 组同场景文生视频／图生视频提示词，其中 30% 涉及具身智能体场景。 论文题目：PVBench: Quantifying Physical Plausibility in Video Generation with Object-Level Physical Measurements
- 原创 CV君 2026-10-30 22:56 江苏 自回归推演新范式 腾讯混元视觉生成团队近期发布了一项关于交互式视频世界模型的重要成果——Hy-Nomas。该系统基于一个 8B 参数的扩散 Transformer 主干，首次在单一生成架构中原生融合了自由文本指令交互与连续相机轨迹漫游。 模型命名解析：Hy-Nomas 的名称由“Hy”（Hunyuan，代表腾讯混元体系）与“Nomas”（源自希腊语词根，意为“游牧者、漫游者”，象征着在虚拟生成世界中穿梭探索）结合而成，寓意其兼具语义演变跟随与广阔空间自由漫游的能力。 Hy-Nomas 支持长达数分钟的连续交互生成。针对自回归扩散模型中常见的“动作抢跑”、“旧动作反复重播”以及“自回归误差自放大”等痼疾，系统通过引入动作感知因果注意力与段级自暴露训练（Segment Forcing），为交互式世界模型建立了标准化的闭环生成架构，并配套开源了包含 280 个测试用例的系统评测基准 Hy-Nomas-Bench。 图1：Hy-Nomas 交互式世界生成框架 交互示例，图源官网背景与动机：开环视频生成通往交互式世界的两道鸿沟 从固定提示词生
- 原创 52CV 2026-10-29 23:58 江苏 论文题目： Dual Exam: Controlled Evaluation of Multimodal Agents and World Models 论文地址：https://arxiv.org/abs/2610.31066 项目与案例：https://xgenlabs.ai/research/dual-exam/ 延伸阅读：https://x.com/XGEN_labs/status/2103137462008844442 智能体越来越擅长理解指令、规划步骤，世界模型也能根据行动生成新的画面。在这样的交互系统中，两个部分需要持续配合：智能体决定下一步做什么，世界模型展示行动之后发生了什么，新的观察再成为下一次决策的依据。 但这套交互能否把任务真正做完，仍需要逐步验证。一个动作执行了，目标未必达成；模型说“完成了”，环境中的结果也未必支持这个判断。即使当前画面响应了指令，先前放好的物品、已经设置的条件，还可能在后续步骤中发生变化。 DualExam 将多模态智能体 (Multimodal Agent) 与世界模型 (World
- 52CV 2026-10-28 12:30 江苏 近年来，基于多模态大模型的电脑操作智能体（Computer-Use Agent，CUA）发展迅速，已经能够像人一样观察屏幕、点击按钮、输入文字，完成办公、编程、系统设置等真实数字任务。 然而，“像人一样点鼠标”并不一定是最高效的方式。 以表格计算为例：在 LibreOffice Calc 里新增一列“利润”，纯 GUI 智能体需要逐格点击、输入，往往要十几步，中间任何一步点偏都会导致任务失败；而如果借助一段几行的 Python 脚本，同样的工作一次就能完成。 图 1：三种交互范式对比。（a）纯 GUI 低效且易错；（b）GUI+专用工具依赖逐个应用开发接口；（c）GUI+CLI 混合交互兼顾效率与通用性 Claude Code、Codex 等编程智能体的流行，让命令行（CLI）重新回到视野中心：Shell 由操作系统原生提供，无需为每个应用单独开发接口，一条命令就能替代一长串 GUI 操作。那么，只要给 CUA 开放一个终端，问题就解决了吗？ 答案出人意料：不仅没有变好，反而变差了。 针对这一问题，研究团队提出 HybridCUA，一个
- 原创 52CV 2026-10-28 12:30 江苏 全模态幻觉可能并不来自于证据编码的失败，而是融合表示中证据与先验的失衡。OWP 在解码之前，于模型内部重新平衡二者。 全模态大模型（Omni LLM）把大语言模型的能力从文本扩展到语言、视觉和音频的联合处理，让模型能够在复杂环境中进行跨模态推理。但新的问题也随之而来：当不同模态给出的线索不完整或相互冲突时，模型很难在输入中的真实证据和训练中学到的先验之间取得平衡，全模态幻觉由此产生。 来看一个例子。问模型“狗在叫吗？”，它其实已经编码了音频中“没有叫声”的证据，但在多模态融合时，“看到狗”这一强烈的视觉先验压过了音频证据，模型最终回答“在叫”。模型并非没有感知到输入，而是相互竞争的跨模态线索压制了目标证据。 论文标题：Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs 论文链接：https://arxiv.org/abs/2610.27103 代码链接：https://github.com/ZiiJianLiu
- 原创 52CV 2026-10-27 22:08 江苏 导读 能回答视频问题、能生成流畅画面，是否意味着模型已经理解了世界？我们在这篇综述中给出的回答是：不一定，而且这两件事需要分开检验。 视频只是潜在动态世界的局部、有损、按时间排列的观测；真正需要检验的，是模型如何表示并预测观测背后的状态。 本文按原论文九章的顺序整理，每章保留核心定义、分类依据和我们的判断，并配以原文插图。原文是综述，没有新增统一的性能实验；下文也不把不同论文在不同设置下的结果混成一个排行榜。 论文信息 题目：Reading, Writing, Sharing, and Interacting with the World through Video: A Survey Toward Unified Video World Models 作者：Shengqiong Wu（牛津）、Meng Luo（NUS）、Bobo Li（牛津）、Ziwei Liu（NTU）、Shuicheng Yan（NUS）、Ming-Hsuan Yang（UC Merced）、Philip Torr（牛津）、Hao Fei（牛津，项目负责人
- 原创 52CV 2026-10-26 22:54 江苏 一句“我并不喜欢这部电影”，如果字幕恰好漏掉了“不”，意思就会反过来。 人还可以听语气、看表情。但如果声音也断了一截，画面又缺了几帧，AI还能判断这究竟是在夸奖，还是在抱怨吗？ 这正是不完整数据下的多模态情感分析要解决的问题：当文字、声音和画面都只剩一部分，怎样从残存线索中提取可靠的情感信息？ 来自山东大学软件学院与深圳河套学院的研究团队提出了 SemMSA。它借助冻结大语言模型，在隐空间中提炼与情感相关的潜在语义，再将这些语义与文本、视觉、音频共同对齐，为信息缺失时的情感判断提供辅助。 该工作已被 NeurIPS 2026 接收。在英文 MOSI、MOSEI 和中文 SIMS 三项基准上，SemMSA 均取得了有竞争力的结果。其中，MOSI 七分类准确率较表中最佳基线提高 2.23 个百分点；在 MOSEI 的整模态缺失实验中，七种可用模态组合的平均 F1 较 CorrKD 提高 2.71 个百分点。 论文信息 题目：SemMSA: Latent Semantic-Aided Robust Multimodal Sentimen
- 原创 52CV 2026-10-25 23:29 江苏 作者简介：本文第一作者为香港理工大学VC Lab博士生刘旭洋，通讯作者为IEEE Fellow、香港理工大学讲席教授、OPPO研究院AI科学家张磊教授。实验室VC Lab长期关注计算机视觉、多模态、图像复原、生成模型与端侧落地，多项成果已落地数款OPPO旗舰机型。 给模型一段篮球比赛视频，问它：“美国队7号球员第一次得分发生在什么时候？”再附上一张球员照片，把问题改成“这位球员第一次得分发生在什么时候？” 视频没变，要找的人没变，正确的时间段也没变。模型能两次都找对吗？如果继续要求它框出球员的位置，或者判断这名球员一共得了几分，它的表现还会一样好吗？ 香港理工大学 VC Lab、OPPO 研究院等机构的研究团队提出了 OmniCompass，一个面向全模态视频定位与理解的综合评测基准。团队投入约1,800人工小时，围绕820个视频构建任务标注，并评测了50个主流多模态大语言模型（MLLMs）的任务表现与跨指代一致性。 评测发现，模型在视频问答上已经能拿到不错的分数，精确时空定位仍有明显短板；图像参考并不总能带来提升；开源与闭源模型
- 原创 52CV 2026-10-24 22:48 江苏 一个基于视觉信息推理的智能体 作者：Open-o3-Video 团队（北大、复旦、南洋理工） 视频里真正决定答案的线索，可能只出现短短几秒，或者散落在视频的不同时刻。如果模型只看预先稀疏抽取的画面，关键动作、人物或物体很容易被漏掉。为缓解这一问题，来自北大、复旦等机构的研究团队在 Open-o3-Video [ICML 2026] 的基础上提出 Open-o3-Video-v2，它将视频推理从“基于固定画面给出有依据的回答”，推进为“发现信息缺口 → 主动检索片段 → 定位时空证据 → 融入推理”的智能体式推理过程。模型会针对问题补看相关片段，在补看的画面中标出关键时刻和物体，并将这些可核验的视觉线索纳入推理过程，使推理依据更加清晰。 图1: Open-o3-Video从v1到v2的演进：从单轮基于时空定位的推理到多轮证据查找与时空推理。研究背景：基于时空线索的视频推理 第一代 Open-o3-Video 已让模型在推理中明确指出“何时”和“何处”：时间戳与目标框使答案更容易核验。但它的观察来自最初的稀疏抽帧。一旦决定答案的线索恰
- 52CV 2026-10-23 17:33 江苏 北京大学与百度团队提出的 Virtual Head Attention（VHA），训练后可以折叠成标准的 16Q/2KV GQA。在论文的 1.7B 匹配实验中，它与直接训练的 GQA 采用相同的推理结构，BF16 KV 缓存同为每层每 token 1 KB，八项零样本任务均分却从 53.09 提高到 54.50。推理时没有额外模块，差别出在训练过程。 长上下文推理时，历史 K/V 会随输入不断积累。减少 KV 头能直接省缓存，也让模型必须从更紧凑的历史表示中读出信息。VHA 关心的是：推理结构和缓存预算固定以后，训练过程还能不能把这个结构用得更好？论文已被 NeurIPS 2026 接收，代码现已开源。 01 缓存压缩之后，问题不只是少留几个头 GQA 把多个 Q 头接到同一组 K/V 上。KV 组越少，历史缓存越小；Q 不像 K/V 一样长期留在缓存中，却仍需要计算投影。因此，KV 头数、物理 Q 头数和最终参与注意力的查询路数可以分别调整，它们带来的成本和质量变化也不同。 论文在同一 1.7B 设置下做了两步压缩：从 16Q/8K
- 我爱计算机视觉 2026-10-23 17:33 江苏 从工业设计、工程建模到动画制作与视觉渲染，专业工作流对图形处理性能与稳定性的要求不断提升。NVIDIA RTX PRO™ 平台凭借出色的图形处理能力与成熟的软件生态，为各行业专业应用提供可靠支持。 扫描视频结尾二维码，了解更多产品资讯，获取更多专业支持！ * 与 NVIDIA 产品相关的图片或视频（完整或部分）的版权均归 NVIDIA Corporation 所有。 阅读原文 跳转微信打开