手术视频的"黑盒"，被一脚踢爆了！

就在这两天，GitHub 和 Hugging Face 社区上线了一枚医疗大模子领域的"核弹"。

全球范围最大、性能最强的医疗视频领会大模子——uAI Nexus MedVLM（汉文名：元智医疗视频领会大模子）开源！

最惊东谈主的是，这玩意儿是确实能看懂手术。

论文照旧被 CVPR 2026 收录，团队还同步甩出了一套由 6245 个视频 - 提醒对组成的尺度测试集。

啥见地？医疗视频领会，终于有了一把"大家标尺"。

而如斯兼具范围与精度的医疗视频数据开源，在业内尚属初次。

小编第一时候冲到 Hugging Face，把模子拉下来实测了一波。

到底有多能打？

先嘱咐一下 uAI Nexus MedVLM 的硬商酌：

集聚超 53 万条视频 - 提醒数据；

守旧 4B/7B 参数范围，单卡就能部署（对，一张卡就能跑）；

整合 8 个专科医学数据集，祛除内镜、腹腔镜、开结果术、机器东谈主手术、看守操作……险些你能思到的手术场景，它全包了。

实测效果咋样？

Demo 的体验瞎想相称友好：界面中枢模块明晰；守旧上传手术视频文献。

你不错上传我方的医疗视频，也不错用预置示例奏凯测试。

我尝试用示例的腹腔镜胆囊切除术视频，测试了三个临床中枢维度，并对比了通用大模子（GPT-5.4、Gemini-3.1、某国产大模子）和 uAI Nexus MedVLM 的输出各别。

定量实测的数据太厉害了！手术安全评估：准确率 89.7%。

啥见地？GPT-5.4 只须 16.4%，Gemini-3.1 是 24.2%，某国产大模子是 30.9%。

也即是说，uAI Nexus MedVLM 的准确率是 GPT-5.4 的近 5.5 倍，是 Gemini-3.1 的 3.7 倍，是国产大模子的近 3 倍。

时空四肢定位：uAI Nexus MedVLM 的 mIoU 是 Gemini-3.1 的 3.2 倍，是国产大模子的 3.7 倍，是 GPT-5.4 的 47 倍，

视频申报生成（5 分制）：uAI Nexus MedVLM 拿到 4.24 分，GPT-5.4 只须 3.98 分，某国产大模子只须 3.5 分，Gemini-3.1 只须 3.7 分。

而通过MedGRPO 强化学习优化后，比拟基座模子，uAI Nexus MedVLM 的器械定位能力进步 14%；手术门径识别能力暴涨 52%；手术描写质地进步 16%～25%。

uAI Nexus MedVLM 祛除内镜腔镜手术、绽放式手术、机器东谈主手术、看守操作等多类临床场景，涵盖了 8 个手术数据王人集的 8 个任务：

视频节录（VS）、要害安全视线评估（CVS）、下一步操作估量（NAP）、手段评估（SA）、时候四肢定位（TAG）、密集视频描写（DVC）、区域级描写（RC）和时空基础化（STG）。

每项任务的发达都越过了 GPT 和 Gemini。

再看定性实测的甘休，把一段被标记了绿色框的手术视频发给大模子，让它描写。

输入问题：你是又名专攻微创手术的外科分析大师。这段视频展示了腹腔镜胆囊切除术的内镜画面。请描写 0.0 秒时，范围框内物体的气象，以及在 0.0～29.0 秒时候段内的操作。

尺度谜底是：钳持续夹持并将胆囊向手术视线的左上方牵拉，提供反向牵引和知晓。

GPT-5.4 这边呢，它只可给出吞吐的描写，未能识别出具体器械。

Gemini-3.1 则将器具造作识别为"电凝钩"，描写成了不正确的操作。

某国产大模子：则无法识别出正确的手术操作门径。

只须 uAI Nexus MedVLM，给出了接近尺度谜底的描写：

位于左上方的捏钳持续进取并朝中央牵引胆囊，保持张力并为钩子知晓辞别平面。

随后，我看了下示例给出的 8 个任务发达，一个比一个令东谈主震荡。

为幸免的确手术场景带来的不雅感不适，咱们登第了一段柔和的示例视频，内容是顾问给患者监测体魄商酌。

视频涵盖了顾问检察血压计、检察体温计、看守记载、洗手、测量血压、测量体温、脉搏测量、呼吸测量等职责。

现时，咱们就地搜检 8 个任务中的一个，比如「时候四肢定位」。

输入问题：脉搏测量四肢发生在什么时候？

尺度谜底是：46.0-61.8seconds。

模子给出的估量是：43.0-65.0seconds。前后差错不逾越 4 秒，且正确谜底就在估量范围内。

为什么手术视频是 AI 最难啃的骨头？

在 AI 医疗领域，将 AI 用于影像扶直会诊、病历书写、质控责罚等场景早已不是簇新事，在不少病院照旧落地。

但有一个目的，于今仍是公认的"无东谈主区"，那即是手术视频领会。

之前没东谈主敢碰，为啥？三重地狱级难度，和静态影像透澈不是一个量级：

第一关：数据极难获取。临床手术视频触及患者阴事与医学伦理，获取自己就穷苦重重。

即便拿到了原始视频，开云app在线下载你让专科医师逐帧标注？资本高到不错劝退 99% 的团队。

第二关：莫得调和评测尺度。这是行业里一个很痛苦的施行：各家用我方的数据集、我方的商酌，模子效果根底没法横向比较。

你说你强，他说他强，谁说了都不算，严重按捺统共这个词赛谈的发展。

第三关：任务自己极点复杂。手术视频的难就难在对空间、时序、语义的领会要高度专科。

比如，它需要精确识别毫米级的器械位置和剖解结构。略微偏少许，可能就认错了。

况且胆囊得先辞别再切除，弗成反过来。AI 若是看不懂时序，就根底无法领会手术进度。

多样赓续重叠，再顶级的模子也只可歇菜。

但现时，这个无东谈主区被 uAI Nexus MedVLM一脚踩穿。

它不仅仅"炫技"，是确实能救命。

好了，说点实质的。这模子具体颖悟嘛？

术前：分析主刀敦朴上万台手术视频，挖掘临床端正、扶直优化决策。

思象你是一位刚站上手术台的临床医师，行将作念一台胆结石微创手术。

往常你只可靠牵挂和教训；现时 AI 把千千万万台顶级大师的手术教训千里淀下来，很是于有了最强的大脑，来扶直你完成这台手术。

术中：在辞别胆囊管、泄漏安全视线等要害门径，及时给出指导；对违章操作、四肢偏差进行毫秒级预警，成为你的   "第三只眼"。

术后：自动完成回来与结构化记载，这频频会占用医师多数时候，但现时，一键生成尺度化申报。这台手术的教训，也能成为下一位医师的"决策依据"。

手术质控、术中安全、申报自动化、医学教导…… uAI Nexus MedVLM 的价值，远不啻于技能遏止。

在中国，优质医疗资源王人集在三甲病院，下层病院医师成长周期长、手术教训积存慢。

而 uAI Nexus MedVLM 不错把顶级大师的手术教训"千里淀"下来，下层病院的医师也能得回"大师级"的术中扶直。

这大约才是 AI 信得过领会手术视频的真义场合。

全球配置者，新机遇来了

此次发布，最值得柔和的不仅是 uAI Nexus MedVLM 自己。

配置这一模子的背后玩家联影智能（联影集团旗下一家专注于 AI 医疗的立异公司），初次向全球开源大范围高质地医疗视频标注数据和模子，并提供了一个更具可比性的评测基准。

这意味着什么？终于有了一个手术视频领会垂直领域的"全球大家测评体系"了。

往常，各家模子各说各话，效果没法比。

现时，拉出来在祛除个数据集上跑一跑，谁强谁弱，一目了然。

而这，还仅仅开动。

这支研发团队不思唱独角戏，上线了医疗视频领会大模子榜单，面向全天下配置者发出挑战。

这是一个抽象基准测试，用于评估视频话语模子在医疗和外科视频领会方面的发达。

配置者可提交自有模子甘休，由系统基于尺度自动评分，变成动态更新的调和转行榜。

当全球配置者都能下载模子、使用数据集、上传我方的服从时，看谁能把对医疗视频领会的能力范围，再往前推一步了。

这个过程中，医师上传的旷费病例、复杂手术视频，尤其是现存模子发达不及的案例，都会成为极为独特的的确数据，持续驱动技能迭代。

医疗视频 AI 正在迎来面向全球配置者的黄金期间。

未来，uAI Nexus MedVLM 将与具身智能和会，完善感知 - 推理 - 实施的能力闭环。从手术室拓展到更多临床场景，鼓励医疗全经过智能化。

数据绽放、模子分享、全球协同……这条路，才刚刚开动。

配置者们，是时候上车了～

彩蛋：衔接在此，请自取

1. 在线 Demo: https://huggingface.co/spaces/UII-AI/MedGRPO-Demo  

2. 推理代码 : https://github.com/UII-AI/MedGRPO-Code

3.MedVidBench 数据集：  https://huggingface.co/datasets/UII-AI/MedVidBench

4. 公开榜单 : https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard

5. 论文 : https://arxiv.org/abs/2512.06581  

6.   花式先容：https://uii-ai.github.io/MedGRPO/

一键三连「点赞」「转发」「谨防心」

迎接在挑剔区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云app下载

开云kaiyun体育app登录入口

• 全球
• 视频
• 首个
• 医疗
• 开云app下载