什么火了
ARCHIVE近 30 天历史柱高表示当天的文章数
10/16—11/14 有历史数据
- 多模态文本流判别新范式 在少步扩散模型蒸馏领域，对抗蒸馏（Adversarial Diffusion Distillation）一直是实现超低步数采样的核心技术路线之一。然而长期以来，从 ADD、LADD 到前作 NitroFusion（CVPR 2025），所有判别器在架构设计上均默认遵循单一法则——仅提取潜空间或像素空间的图像特征进行真伪判别。 来自英国萨里大学与图灵精英研究实验室的研究人员打破了这一设计惯例，提出了专为多模态扩散 Transformer（Multimodal Diffusion Transformer, MMDiT）打造的少步对抗蒸馏框架 NitroFusion2。其命名延续并拓展了前作 NitroFusion 的多专家判别器思想，专指将对抗判别机制从单一图像域延伸至文本流的第二代极速扩散融合方案。 研究表明，在联合注意力机制（Joint Attention）下，MMDiT 的文本流在交互计算中已经充分吸收了图像特征，因而天然蕴含着高度结构化的图文判别能力。借助文本流对抗蒸馏（Text-Stream Adversarial Distillation, TSAD）与
- 绘图利器亦是双刃剑。 在各大计算机视觉顶会截止日的前夕，许多科研人员都有过相似的经历：正文已经修改完毕，但第一张图表（Figure 1）仍停留在绘图软件中。微调箭头的走向、统一色系编码、或是替换一个能够精准表达核心直觉的示例，这些通宵达旦的调整往往决定了读者能否在数秒内抓住一篇论文的灵魂。 随着生成式人工智能（Generative AI）工具的普及，绘制架构图与动机图的门槛被大幅拉低。圆角边框、柔和马卡龙色调、细致的概念图标与流程卡片迅速在各大顶会预印本中流行开来。然而，这种由模型辅助甚至直接生成的学术配图，究竟是让研究更具解释力，还是制造了视觉杂乱？ 针对这一问题，来自新加坡南洋理工大学的研究团队展开了一项系统性的实证回顾研究，全面探讨了生成式 AI 时代下科研论文中的动机图（Motivation Figure）与架构图（Framework Figure）设计。 背景与动机：视觉形式与科学本质的呼应 科学图表不仅是正文的装饰，更是科研想法的视觉化载体。正如经典的 U-Net 通过「U 形」拓扑结构展现多尺度下采样与跳跃连接，Transformer 通过左右分离的编码器-解码器架构传达
- 本篇分享ACM MM 2026（Oral）论文《To Blend In, First Decouple: Rethinking Camouflage Image Generation via Context-Decoupled Representations》。北京航空航天大学计算机学院李甲赵一凡研究团队与吉利汽车研究院人工智能中心联合提出了一种上下文解耦同化渲染框架，用于高保真伪装图像生成。 通讯作者：赵一凡，李甲 论文地址：https://dl.acm.org/doi/epdf/10.1145/3767308.3835357 代码地址：https://github.com/fayewong666999/CamoDreamer 摘要 伪装图像生成（CIG）专注于生成视觉上隐蔽的物体，使其无缝融入背景。现有方法通常采用背景引导范式（通过风格迁移调整物体外观）或前景引导策略（基于物体特征对周围区域进行外推绘制）。然而，这些方法仍存在外观差异和背景伪影的问题。本文将这些局限性归因于跨上下文表征泄露物体与背景线索在耦合条件空间中相互纠缠，导致控制模糊且伪装保真度下降。 为解决这一问题，提出了
- 提交截止：12 月 23 日 实时语音模型已具备边听边说的能力，多模态系统也能持续接收周围环境信息。进入真实交互后，系统必须进一步判断是否、何时、如何回应：用户的停顿与附和可能意味着继续倾听，明确的纠正需要及时停下，新的环境事件也可能需要主动提醒。回应过早会干扰交流，回应过晚又会错过有用时机。因此，评估智能体在何时采取何种行为，与评估它听懂了什么同样重要。 围绕这一问题，作为 ICASSP 2027 SP Grand Challenges 的 GC-15 赛题，HEARTBEAT Challenge 2027 现已启动，面向实时语音、音频语言模型、多模态理解与具身智能研究团队开放报名。 挑战设置两个独立 Track：Reciprocal Audio Turn-Taking 关注对话中何时开口、续说或停下；Streaming Proactive Understanding 关注连续视听或纯音频流中何时主动回应。两条赛道共同评估智能体能否根据当下信息，决定是否回应、何时回应、如何回应。 图 1：HEARTBEAT Challenge 总览。Track I 与 Track II 独立评测，分
- 双稀疏去噪，全天候感知 在复杂恶劣的气象环境与全天候监控场景中，基于可见光（VIS）与红外（IR）的多光谱目标检测展现出了单模态方案难以比拟的鲁棒性：可见光图像富含细腻的纹理表征与色彩层次，却极易受黑夜、浓雾、雨雪等低能见度环境制约；红外热成像依据物体热辐射成像，能够穿透暗夜与烟尘清晰勾勒目标轮廓，但在目标与环境温差微弱时对比度低下，无法清晰界定前后景。二者的互补融合，是实现全天候感知的前提。 近年来，以CFT、CrossFormer与EIDet为代表的视觉Transformer（Vision Transformer, ViT）架构在多光谱融合领域成为研究热点。然而，现有多模态交叉注意力方案普遍采用“全量Token密集交互（Dense Cross-Attention）”机制。西北工业大学团队在最新研究中揭示了一个被长期忽视的问题：跨模态图像中存在大面积与检测目标无关的冗余区域，密集的全局Token点积会导致注意力权重产生系统性弥散，反而损伤检测精度。 为此，研究团队提出了双稀疏聚合Transformer（Dual Sparse Aggregation Transformer, DSAF
- 破解跨模态协同瓶颈 在当前的多模态自监督学习中，以 CLIP 为代表的对比学习方法占据着主流地位。这类方法通常建立在多视角冗余假设（Multi-view Redundancy Assumption）之上，即预设各模态之间具备高度对等的语义，下游任务所需的关键信息主要存在于模态间的共享语义中。然而在医疗诊断、情感计算及图文跨模态分析等真实场景下，不同模态往往展现出极大的异质性与信息不对称性：各个模态不仅拥有独特的私有特征，更存在大量仅在模态联合出现时才能涌现的“协同特征”。 针对这一痛点，西南财经大学、复旦大学、电子科技大学、中国科学院深圳先进技术研究院、四川大学与国防科技大学等多家机构联合提出了一种理论扎实且计算可行的多模态自监督表示学习框架——多模态信息交互瓶颈（Multimodal Information Interactions Bottleneck，简称 MIIB）。该论文已被计算机视觉与模式识别领域顶级期刊 IEEE TPAMI 录用。 论文命名解读：MIIB 的命名根植于信息论中的部分信息分解（Partial Information Decomposition, PID）与
- 论文速览：传统安全干预往往试图找到少数“危险神经元”并将其压制，但有害语义并不会老老实实待在一个节点里，而是沿跨层计算路径传播。发表于 IEEE TPAMI 的 TraceRouter++ 提出 Discover–Trace–Realign 框架：先发现有害语义开始分化的敏感层，再追踪跨层因果路由，最后利用最优传输将不安全激活软重对齐到安全参考分布。实验横跨大语言模型、多模态大模型和扩散模型，在显著提高防御成功率的同时，将多项通用能力损失控制在较小范围内。 如果大模型中的有害语义像一股正在流动的水，很多现有安全方法做的事情，是找到一个看起来最危险的“阀门”，然后直接关掉。 问题是，水会绕路。 当攻击提示足够复杂时，有害信息可以避开被抑制的单个神经元，沿其他跨层路径继续传播；而被强行关闭的神经元还可能同时承担正常功能，最终出现两种尴尬结果：危险内容没有彻底拦住，模型原本会做的事情却先被破坏了。 TraceRouter++由此提出一个截然不同的问题： 与其追着某个“危险神经元”下手，为什么不先找出有害语义真正经过的整条因果路径，再把这股信息流柔和地导向安全状态？ 这正是 TraceRout
- 现有的统一多模态模型（UMMs）已经具备了生成图像与文本的能力，但如何让它们在真实场景中图文并茂地讲故事、写教程、做旅行攻略？随着文本与图像生成、图像编辑能力的不断提升，图文交错生成正成为统一多模态模型值得深入探索的一项挑战。 让UMMs学会图文交错生成并不容易：高质量训练数据不足，细粒度评测体系尚不完善，相关训练经验也有待积累。针对这些问题，近日，南京大学模式识别实验室（PRLab）的余绍函在司晨阳教授的指导下，联合美团LongCat、帝国理工学院、新加坡南洋理工大学S-Lab提出IntReal，从数据构建、细粒度评测与训练优化三个角度展开探索，为图文交错生成提供实用的数据资源、评测工具与训练参考。 论文标题：IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation 论文地址：https://arxiv.org/abs/2610.38425/ 项目主页：https://yushaohan.github.io/IntReal/ 开源数据集：https://huggingface.c
- EuroGraphics 2026 · Computer Graphics Forum 论文： See4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting 项目主页：https://see-4d.github.io arXiv：https://arxiv.org/abs/2510.26796 给视频更换观察角度，首先会遇到一个很具体的问题：原镜头没有拍到的地方，从哪里获得画面？把现有像素投影到新位置，可以保留部分结构，却也会在遮挡边缘留下空洞。再加上人物和物体本身正在运动，补全结果既要看起来合理，也要与前后时刻接得上。 发表于 Computer Graphics Forum、收录于 Eurographics 2026 的 See4D，将这个问题拆成几何引导的视频补全，以及沿空间和时间推进的自回归生成。它不是直接要求模型凭空给出整套新镜头，而是先提供一个不完整、带误差但有结构的观察，再学习如何修复。 几何线索有用，但不能照搬所有投影结果 从深度估计出发，原视频里的像素可以被映射到指定的虚拟相机位置。深度引导重投影
- 近年来，多智能体系统（Multi-Agent System, MAS）在医学视觉问答（MedVQA）和多模态医学推理中表现亮眼：多个大模型扮演不同科室的专家，通过多轮讨论共同给出诊断。然而，这类系统想真正走进医院，还面临两个现实障碍： 依赖云端大模型：现有 MAS 大多调用 GPT、Gemini 等云端模型，而 MRI、CT、电子病历等大都包含私人信息，上传到外部服务器在临床上往往受到严格限制，带来隐私与合规风险。 "全员会诊"代价高昂：现有 MAS 对每一个问题都启动多智能体、多轮讨论，推理延迟和 token 开销成倍增长，而这种密集协作在 MedQA 和 MedVQA 上带来的提升往往与昂贵的推理开销不成正比。 既然很多问题一个医生就能答对，我们能否让系统自己判断：什么时候该独立作答，什么时候才需要请专家会诊？ 围绕这一问题，我们提出了 SMART-Med：一个完全基于本地小模型的医学多智能体方法。它不再把协作当作默认流程，而是把"是否协作"变成一个可学习的决策。 论文标题：Learning When to Collaborate: Selective Multi-Agent Me
- 分享一篇文章。 深度之眼官方账号: 喜报！深度之眼学员中稿 Nature 子刊，影响因子高达 29.796！ 近日，深度之眼再传中稿喜讯！深度之眼 L 同学的研究论文正式获得 Nature Machine Intelligence 接收！ 从最初的课题立项，到最终收到期刊的录用通知，历经将近 19 个月的持续打磨，这项研究终于迎来了令人振奋的结果。 这不仅是 L 同学科研道路上的重要突破，也刷新了深度之眼目前学员中稿成果的影响因子纪录！ 01 一举拿下 Nature 人工智能领域高水平子刊 本次中稿期刊为 Nature Machine Intelligence（NMI），是国际顶级学术出版集团 Nature Portfolio 旗下专注于人工智能与机器智能领域的高水平学术期刊。 该期刊关注机器学习、人工智能、机器人及智能系统等领域的重要研究进展，对论文的创新性、研究价值和学术贡献有着较高要求。 JOURNAL METRICS 29.796最新影响因子 （IF）36.001五年影响因子 （IF） SCI 1区顶刊 | JCR 一区 能够获得 NMI 的认可，意味着这项研究通过了严格的同行
- 多模态是一个特别容易陷入信息差的方向。 很多时候，你没思路是因为始终局限在自己熟悉的那几个方向上。而多模态其实有很多值得关注的细分领域，从融合机制、模型架构到具体应用，不同技术路线之间也存在不少可以借鉴和结合的地方。 因此，想要拓展研究思路，就需要快速了解并掌握其他方向。于是这次我专门整理了一套526篇多模态论文+代码合集，涵盖8大顶会成果和多个前沿研究方向，希望可以帮助你一次性搞定多模态领域的研究脉络和技术参考。 文末免费领取！ 第一部分：196篇多模态顶会论文 这部分收录了CVPR、ICLR、ICML、AAAI、ACL、IJCAI、WWW、NeurIPS八大会议的196篇相关论文（如图）。 顶会论文比较适合用来了解领域内有代表性的研究成果，尤其是在做文献调研、寻找Baseline、对比已有方法时，可以直接从相关工作入手。 如果你想知道某类问题目前有哪些解决方案、不同论文采用了什么技术路线，这部分可以作为很好的参考入口。 第二部分：330篇多模态前沿论文 相比只关注某个热门方向，我觉得这部分更值得大家系统看看。 这些论文我按照以下四大维度做好了分类，覆盖多个细分热点： 核心方法与技术
- 2026年，DDL 2.0先后在乌鲁木齐ChinaMFS、不来梅IJCAI-ECAI和西安CCBR举办，围绕模型与内容安全开展研讨、竞赛及成果交流。 一 以DDL提醒AI安全的紧迫性 DDL源于首届深度伪造检测、定位与可解释性研讨会（Deepfake Detection, Localization, and Interpretability）的名称，也借“deadline”的紧迫感，提醒我们在AI技术快速发展时及时关注安全问题。DDL 2.0进一步将议题拓展至模型安全与内容安全，通过论文、挑战赛和专家报告交流研究与应用。 二 组织团队 Workshop组织委员会 14位成员共同推进学术交流与赛事组织。 OpenClaw安全攻防挑战赛组织委员会 通用AIGC音视频检测挑战赛组织委员会 Deepfake检测定位与可解释性挑战赛组织委员会 三 三项挑战赛 OpenClaw安全攻防挑战赛 258支队伍参赛，产生1189次有效提交，考察智能体授权边界与工具使用安全。 名次队伍所属单位得分 1 AISEC 西安交通大学 1.00 2 PoliteInjection 中国电信人工智能研究院（Tele
- 近日，北京大学、清华大学等团队提出 GAPrompt++，一种面向预训练3D视觉模型的多粒度几何感知提示学习方法。该方法冻结预训练骨干，仅通过轻量提示模块和任务头完成下游适配，同时显式建模点云中的局部几何细节与全局结构语义。 实验表明，GAPrompt++在多个点云分类、分割与大规模场景理解数据集上取得具有竞争力的参数高效微调性能，并在多项分类设置中达到或超过全量微调。该研究已发表于国际顶级期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI），2026年。 论文第一作者为北京大学博士生艾子翔、清华大学博士后崔振宇和中国航天科工集团智能科技研究院高级工程师郭宇飞，三位作者为共同第一作者；通讯作者为北京大学王选计算机研究所周嘉欢助理教授。 论文标题：GAPrompt++: Multi-Granular Geometry-Aware Point Cloud Prompt for 3D Vision Model 论文链接：https://ieeexplore.ieee.org/document/1167
- 只用 RGB 视觉输入，R2R-CE / RxR-CE 导航成功率分别达到 68.6% / 72.4%；相比初始模型提升 15.7 / 17.7 个百分点。代码、模型和数据均已开源。 论文标题： Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping 论文地址：https://arxiv.org/abs/2610.15782 代码：https://github.com/OpenGVLab/RSI-Nav 导航模型能否自己生产训练数据？ 视觉语言导航（Vision-Language Navigation, VLN）要求智能体结合第一视角图像和自然语言指令，在陌生环境中连续决策。相比单次图文理解，VLN 还考验跨视角的地标定位、空间关系推理和长程动作规划。 训练这类模型需要大量“指令—轨迹”配对数据，而现成的无标注导航轨迹远比人工指令丰富。过去的做法通常是先由指令生成器批量标注轨迹，再拿合成数据训练导航器。但这里存在两处
- 本文第一作者为香港大学计算与数据科学学院博士生娄蒙。 人类可以在一生中持续学习新知识，而不会轻易遗忘已有技能。然而对AI模型而言，这恰恰是一道极具挑战性的难题：每当模型学习新任务时，参数更新往往会覆盖历史知识，产生经典的“灾难性遗忘”难题。持续学习（Continual Learning）正是为突破这一瓶颈而生的研究方向。 其中，类增量学习（Class-Incremental Learning, CIL）是一项极具挑战性的持续学习问题：模型需要持续学习新类别，同时保持对历史类别的准确识别能力。近年来，借助大规模预训练模型（Pre-trained Model, PTM）的丰富先验知识，CIL取得了长足进步。然而，现有方法大多只在极短的任务序列上进行验证，例如5-20个任务。一旦任务数量扩展至上百个，性能就会显著下滑甚至崩溃。真实世界中，一个长期运行的系统往往需要不断地学习新知识新概念，这一鸿沟亟待填补。 近日，来自香港大学的研究团队提出了一种全新的持续学习范式CaRE (Scalable Continual Learner with efficient Bi-Level Routing M
- 近日，北京航空航天大学团队的论文 “LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling” 被 IEEE TPAMI 正式录用。 这项工作关注一个大模型安全中非常关键、但还没有被充分研究的问题： 在生成过程中，大模型的内部表征是如何由非毒性状态向毒性状态转变的？ 现有的大模型降毒方法，往往只关注降毒前后的结果。但在真正的生成过程中，模型内部状态并不是瞬间从安全跳到有害，而是经历一段连续的变化。如果只知道起点和终点，而不了解中间的转变过程，就很难判断应该在什么时候干预、干预多强，以及怎样在保证安全的同时尽量不影响原本的表达能力。 为此，作者提出了 TARGRS（Transition-Aware Reward-Guided Representation Sampling）。该方法在模型生成时追踪内部表征从无毒到有毒的转移轨迹，学习细粒度的风险信号，再通过由粗到细的表征采样，将模型拉回更安全的生成区域。 代码链接：https://github.com/xiaoyisong/TARGRS 现有
- 一段生成视频里，小球落地后顺畅弹起，机械臂自然地搬动物体，镜头也足够清晰。乍看之下，它似乎已经学会了现实世界的运行方式。 但如果进一步追问：小球是否越弹越高？碰撞前后的动量是否合理？机械臂搬动的物体有没有悄悄改变尺寸？被遮挡的物体再次出现时，还是原来那个吗？答案就未必令人满意。 画面逼真，并不意味着物理合理。 当视频生成开始走向具身智能、仿真和世界模型，评测也需要从“看起来对不对”，走向“哪些物理量出了问题、偏离了多少”。 来自浙江大学 APRIL Lab、华中科技大学和腾讯优图实验室的研究团队提出 PVBench，通过物体级物理量测量，系统评估生成视频的物理合理性。基准覆盖 7 个领域、46 个评测维度，其中物理层包含 25 个维度；配套 600 组同场景文生视频／图生视频提示词，其中 30% 涉及具身智能体场景。 论文题目：PVBench: Quantifying Physical Plausibility in Video Generation with Object-Level Physical Measurements 论文：https://arxiv.org/abs/261
- 自回归推演新范式 腾讯混元视觉生成团队近期发布了一项关于交互式视频世界模型的重要成果——Hy-Nomas。该系统基于一个 8B 参数的扩散 Transformer 主干，首次在单一生成架构中原生融合了自由文本指令交互与连续相机轨迹漫游。 模型命名解析：Hy-Nomas 的名称由“Hy”（Hunyuan，代表腾讯混元体系）与“Nomas”（源自希腊语词根，意为“游牧者、漫游者”，象征着在虚拟生成世界中穿梭探索）结合而成，寓意其兼具语义演变跟随与广阔空间自由漫游的能力。 Hy-Nomas 支持长达数分钟的连续交互生成。针对自回归扩散模型中常见的“动作抢跑”、“旧动作反复重播”以及“自回归误差自放大”等痼疾，系统通过引入动作感知因果注意力与段级自暴露训练（Segment Forcing），为交互式世界模型建立了标准化的闭环生成架构，并配套开源了包含 280 个测试用例的系统评测基准 Hy-Nomas-Bench。 图1：Hy-Nomas 交互式世界生成框架 交互示例，图源官网背景与动机：开环视频生成通往交互式世界的两道鸿沟 从固定提示词生成一段几秒钟的高清视频，到建立一个支持人在回路（Hum
- 论文题目： Dual Exam: Controlled Evaluation of Multimodal Agents and World Models 论文地址：https://arxiv.org/abs/2610.31066 项目与案例：https://xgenlabs.ai/research/dual-exam/ 延伸阅读：https://x.com/XGEN_labs/status/2103137462008844442 智能体越来越擅长理解指令、规划步骤，世界模型也能根据行动生成新的画面。在这样的交互系统中，两个部分需要持续配合：智能体决定下一步做什么，世界模型展示行动之后发生了什么，新的观察再成为下一次决策的依据。 但这套交互能否把任务真正做完，仍需要逐步验证。一个动作执行了，目标未必达成；模型说“完成了”，环境中的结果也未必支持这个判断。即使当前画面响应了指令，先前放好的物品、已经设置的条件，还可能在后续步骤中发生变化。 DualExam 将多模态智能体 (Multimodal Agent) 与世界模型 (World Model) 放进受控评测流程，分别检查行动选择与环境
- 近年来，基于多模态大模型的电脑操作智能体（Computer-Use Agent，CUA）发展迅速，已经能够像人一样观察屏幕、点击按钮、输入文字，完成办公、编程、系统设置等真实数字任务。 然而，“像人一样点鼠标”并不一定是最高效的方式。 以表格计算为例：在 LibreOffice Calc 里新增一列“利润”，纯 GUI 智能体需要逐格点击、输入，往往要十几步，中间任何一步点偏都会导致任务失败；而如果借助一段几行的 Python 脚本，同样的工作一次就能完成。 图 1：三种交互范式对比。（a）纯 GUI 低效且易错；（b）GUI+专用工具依赖逐个应用开发接口；（c）GUI+CLI 混合交互兼顾效率与通用性 Claude Code、Codex 等编程智能体的流行，让命令行（CLI）重新回到视野中心：Shell 由操作系统原生提供，无需为每个应用单独开发接口，一条命令就能替代一长串 GUI 操作。那么，只要给 CUA 开放一个终端，问题就解决了吗？ 答案出人意料：不仅没有变好，反而变差了。 针对这一问题，研究团队提出 HybridCUA，一个让 CUA 学会编排 GUI 与 CLI 的数据与
- 全模态幻觉可能并不来自于证据编码的失败，而是融合表示中证据与先验的失衡。OWP 在解码之前，于模型内部重新平衡二者。 全模态大模型（Omni LLM）把大语言模型的能力从文本扩展到语言、视觉和音频的联合处理，让模型能够在复杂环境中进行跨模态推理。但新的问题也随之而来：当不同模态给出的线索不完整或相互冲突时，模型很难在输入中的真实证据和训练中学到的先验之间取得平衡，全模态幻觉由此产生。 来看一个例子。问模型“狗在叫吗？”，它其实已经编码了音频中“没有叫声”的证据，但在多模态融合时，“看到狗”这一强烈的视觉先验压过了音频证据，模型最终回答“在叫”。模型并非没有感知到输入，而是相互竞争的跨模态线索压制了目标证据。 论文标题：Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs 论文链接：https://arxiv.org/abs/2610.27103 代码链接：https://github.com/ZiiJianLiu/Omni-Woodpecker Hugging Fac
- 导读 能回答视频问题、能生成流畅画面，是否意味着模型已经理解了世界？我们在这篇综述中给出的回答是：不一定，而且这两件事需要分开检验。 视频只是潜在动态世界的局部、有损、按时间排列的观测；真正需要检验的，是模型如何表示并预测观测背后的状态。 本文按原论文九章的顺序整理，每章保留核心定义、分类依据和我们的判断，并配以原文插图。原文是综述，没有新增统一的性能实验；下文也不把不同论文在不同设置下的结果混成一个排行榜。 论文信息 题目：Reading, Writing, Sharing, and Interacting with the World through Video: A Survey Toward Unified Video World Models 版本：arXiv v1，2026 年 10 月 22 日提交；102 页，17 幅图，19 张表，引用文献 600+ 篇 arXiv：https://arxiv.org/abs/2610.31668 项目：https://vid-gen.github.io/video-world-model-survey 资源库：https://git
- 一句“我并不喜欢这部电影”，如果字幕恰好漏掉了“不”，意思就会反过来。 人还可以听语气、看表情。但如果声音也断了一截，画面又缺了几帧，AI还能判断这究竟是在夸奖，还是在抱怨吗？ 这正是不完整数据下的多模态情感分析要解决的问题：当文字、声音和画面都只剩一部分，怎样从残存线索中提取可靠的情感信息？ 来自山东大学软件学院与深圳河套学院的研究团队提出了 SemMSA。它借助冻结大语言模型，在隐空间中提炼与情感相关的潜在语义，再将这些语义与文本、视觉、音频共同对齐，为信息缺失时的情感判断提供辅助。 该工作已被 NeurIPS 2026 接收。在英文 MOSI、MOSEI 和中文 SIMS 三项基准上，SemMSA 均取得了有竞争力的结果。其中，MOSI 七分类准确率较表中最佳基线提高 2.23 个百分点；在 MOSEI 的整模态缺失实验中，七种可用模态组合的平均 F1 较 CorrKD 提高 2.71 个百分点。 论文信息 题目：SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete D
- 作者简介：本文第一作者为香港理工大学VC Lab博士生刘旭洋，通讯作者为IEEE Fellow、香港理工大学讲席教授、OPPO研究院AI科学家张磊教授。实验室VC Lab长期关注计算机视觉、多模态、图像复原、生成模型与端侧落地，多项成果已落地数款OPPO旗舰机型。 给模型一段篮球比赛视频，问它：“美国队7号球员第一次得分发生在什么时候？”再附上一张球员照片，把问题改成“这位球员第一次得分发生在什么时候？” 视频没变，要找的人没变，正确的时间段也没变。模型能两次都找对吗？如果继续要求它框出球员的位置，或者判断这名球员一共得了几分，它的表现还会一样好吗？ 香港理工大学 VC Lab、OPPO 研究院等机构的研究团队提出了 OmniCompass，一个面向全模态视频定位与理解的综合评测基准。团队投入约1,800人工小时，围绕820个视频构建任务标注，并评测了50个主流多模态大语言模型（MLLMs）的任务表现与跨指代一致性。 评测发现，模型在视频问答上已经能拿到不错的分数，精确时空定位仍有明显短板；图像参考并不总能带来提升；开源与闭源模型的差距，在音视频轨道上尤其突出。 标题：OmniComp
- 一个基于视觉信息推理的智能体 视频里真正决定答案的线索，可能只出现短短几秒，或者散落在视频的不同时刻。如果模型只看预先稀疏抽取的画面，关键动作、人物或物体很容易被漏掉。为缓解这一问题，来自北大、复旦等机构的研究团队在 Open-o3-Video [ICML 2026] 的基础上提出 Open-o3-Video-v2，它将视频推理从“基于固定画面给出有依据的回答”，推进为“发现信息缺口 → 主动检索片段 → 定位时空证据 → 融入推理”的智能体式推理过程。模型会针对问题补看相关片段，在补看的画面中标出关键时刻和物体，并将这些可核验的视觉线索纳入推理过程，使推理依据更加清晰。 图1: Open-o3-Video从v1到v2的演进：从单轮基于时空定位的推理到多轮证据查找与时空推理。研究背景：基于时空线索的视频推理 第一代 Open-o3-Video 已让模型在推理中明确指出“何时”和“何处”：时间戳与目标框使答案更容易核验。但它的观察来自最初的稀疏抽帧。一旦决定答案的线索恰好落在未采到的片段中，模型无法继续获取证据。 简单地增加抽帧密度也并非万能：长视频会带来更多计算开销和无关画面。更自然的
- 北京大学与百度团队提出的 Virtual Head Attention（VHA），训练后可以折叠成标准的 16Q/2KV GQA。在论文的 1.7B 匹配实验中，它与直接训练的 GQA 采用相同的推理结构，BF16 KV 缓存同为每层每 token 1 KB，八项零样本任务均分却从 53.09 提高到 54.50。推理时没有额外模块，差别出在训练过程。 长上下文推理时，历史 K/V 会随输入不断积累。减少 KV 头能直接省缓存，也让模型必须从更紧凑的历史表示中读出信息。VHA 关心的是：推理结构和缓存预算固定以后，训练过程还能不能把这个结构用得更好？论文已被 NeurIPS 2026 接收，代码现已开源。 01 缓存压缩之后，问题不只是少留几个头 GQA 把多个 Q 头接到同一组 K/V 上。KV 组越少，历史缓存越小；Q 不像 K/V 一样长期留在缓存中，却仍需要计算投影。因此，KV 头数、物理 Q 头数和最终参与注意力的查询路数可以分别调整，它们带来的成本和质量变化也不同。 论文在同一 1.7B 设置下做了两步压缩：从 16Q/8KV 改到 16Q/2KV，BF16 KV 缓存由
- 从工业设计、工程建模到动画制作与视觉渲染，专业工作流对图形处理性能与稳定性的要求不断提升。NVIDIA RTX PRO™ 平台凭借出色的图形处理能力与成熟的软件生态，为各行业专业应用提供可靠支持。 扫描视频结尾二维码，了解更多产品资讯，获取更多专业支持！ * 与 NVIDIA 产品相关的图片或视频（完整或部分）的版权均归 NVIDIA Corporation 所有。