ACL 2026 Findings|自由动脉携手港中深等推出口腔多模态大模型 DentalGPT:7B 参数,五项口腔基准平均准确率超 GPT-5

自由动脉2026.11.16技术
ACL 2026 Findings|自由动脉携手港中深等推出口腔多模态大模型 DentalGPT:7B 参数,五项口腔基准平均准确率超 GPT-5

一张全景片要呈现整副牙列,充填体、根管治疗、阻生齿、根尖病变往往只占其中很小一块区域。对通用多模态大模型来说,“看见”这些细节已经不容易,据此做出准确判断更难。论文测试发现,在全景片基准 MMOral-OPG-Bench 上,GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4.5 等头部模型的准确率都没有超过 60%;即便打开“思考模式”,口腔任务上的提升也明显小于其他医学领域。

为此,自由动脉携手香港中文大学(深圳)、南方医科大学深圳口腔医院(坪山)、香港大学牙医学院、北京大学等机构推出口腔多模态大模型 DentalGPT。团队汇集 12 万余张牙科图像及诊断相关描述,先做多模态对齐,再用强化学习激发复杂推理。只有 7B 参数的 DentalGPT 在五项口腔基准上平均准确率达到 67.1%,高于 GPT-5 的 59.2%。DentalGPT 于 2025 年 12 月 4 日在深圳发布,相关论文已发表于 Findings of ACL 2026。

论文标题:DentalGPT: Incentivizing Multimodal Reasoning in Dentistry
发表:Findings of ACL 2026(2026 年 7 月)
论文链接:https://aclanthology.org/2026.findings-acl.135/
预印本:https://arxiv.org/abs/2512.11558
项目主页:https://github.com/FreedomIntelligence/DentalGPT
作者单位:南方医科大学深圳口腔医院(坪山)、香港中文大学(深圳)、北京大学、自由动脉、香港大学牙医学院等

背景:通用大模型为什么“看不懂”牙片

论文从两个层面分析了原因:

  • 感知层面:牙科图文数据稀缺,模型对牙科影像的视觉理解不足,推理时能利用的线索有限。作者在预印本中统计,大规模医学图文数据集 PubMedVision 里涉及牙齿的图像只占约 0.3%。
  • 认知层面:针对口腔问题的强化学习仍缺乏探索,模型难以习得口腔领域特有的推理模式。

论文用一个例子说明问题:让模型数出一张全景片上有充填体的牙齿(正确答案是 10 颗),GPT-5 给出约 6 颗,Qwen3-VL-235B-A22B 的非思考版本数出 16 颗,思考版本反复自我检查后停在 8 颗。模型能找到相关的视觉特征,却没能据此得出正确答案。

方法:先学会“看”,再学会“想”

DentalGPT 以 Qwen2.5-VL-7B-Instruct 为基座,构建过程分为数据收集、多模态对齐和强化学习三步(图 1),两个训练阶段都更新全部参数。

图 1:DentalGPT 的构建流程:数据收集、第一阶段多模态对齐、第二阶段强化学习。图源:论文图 1:DentalGPT 的构建流程:数据收集、第一阶段多模态对齐、第二阶段强化学习。图源:论文

数据:12 万余张牙科图像

团队从多个来源汇集口内照片、全景片和局部全景片,论文称这是迄今规模最大的口腔标注多模态数据集,主要包括四部分:

  • PMC-Dental-Caption-47k:从 PubMed Central 论文中筛选的牙科图像及原文图注;
  • Opensource-Dental-Classification-49k:整合多个开源分类数据集,图像带疾病标签;
  • Opensource-Dental-Detection-31k:来自病变定位数据集,带牙齿和病变的检测框;
  • 专家标注数据:来自网络、医院影像库和公开数据集,由专业牙医标注,交叉验证一致率低于 85% 的标注被过滤掉。

第一阶段:多模态对齐

团队用 GPT-5 参考原始标签和描述,为图像生成“只描述可见特征、不做诊断假设”的观察式描述(Caption),帮助模型把视觉细节和牙科概念对应起来;同时构造模拟真实诊断场景的问答数据,以及按 HuatuoGPT-o1 方法生成的复杂推理(思维链)数据,并混入通用领域数据,保持模型的通用理解能力。全部数据再经 GPT-5-mini 二次核验,与原始描述或标签不符的样本被剔除,各类数据的保留率都在 90% 以上。

第二阶段:强化学习

团队另选第一阶段没有用过的牙科图像,依据原始标签生成约 1 万道可以自动判分的选择题,用 GRPO(Group Relative Policy Optimization,组相对策略优化)训练:每道题采样 10 个回答,模型先写出推理过程、再给出答案;奖励由答案正确性(占 90%)和格式规范(占 10%)组成,回答长度上限为 8192 个 token,给较长的推理链留出空间。

实验:7B 模型,平均准确率超过 GPT-5

评测覆盖五个基准:全景片问答基准 MMOral-OPG-Bench;从 PMC-VQA、OmniMedVQA、MedXpertQA-MM 中筛出牙科样本构成的医学 VQA 牙科子集;以及三个由牙医交叉验证标注的分类基准,分别是 Intraoral-Classification-I(300 例,临床规范拍摄的口内照片)、Intraoral-Classification-II(206 例,患者自拍的网络口内照片)和 Panorama-Classification(156 例,医院采集的全景片)。

模型 MMOral-OPG 医学 VQA 牙科子集 口内照片 I 口内照片 II 全景片分类 平均
Qwen2.5-VL-7B-Instruct(基座) 27.0 46.1 48.8 61.8 50.0 46.7
HuatuoGPT-Vision 36.3 38.5 55.2 51.2 53.8 47.0
MedGemma-27B-it 50.6 41.8 52.6 56.2 61.0 52.4
Claude-Sonnet-4.5-Thinking 50.3 53.9 55.2 66.7 55.8 56.4
Gemini-2.5-Pro-Thinking 45.7 57.4 57.0 65.2 64.1 57.9
LLaMA-4-Maverick 51.4 53.9 61.1 67.1 59.0 58.5
GPT-5 47.7 54.3 59.3 71.0 63.5 59.2
DentalGPT 60.0 54.4 64.1 72.9 84.0 67.1

表:五项口腔基准上的准确率(%),节选自论文表 3,每列最高分加粗。GPT-5、带 Thinking 后缀的模型和 DentalGPT 在评测时开启了复杂推理模式。

几个要点:

  • DentalGPT 平均准确率 67.1%,比 GPT-5 高 7.9 个百分点,比基座模型提升 20.4 个百分点。
  • 在三个专家标注基准上均为最高分,其中全景片分类达到 84.0%,基座模型和 GPT-5 分别为 50.0% 和 63.5%。
  • 在 MMOral-OPG-Bench 上以 60.0% 居首;在医学 VQA 牙科子集上为 54.4%,仅次于 Gemini-2.5-Pro-Thinking 的 57.4%。
  • 医学多模态模型 HuatuoGPT-Vision 和 MedGemma-27B-it 的平均准确率分别为 47.0% 和 52.4%,通用医学模型在口腔任务上同样表现有限。

论文指出,DentalGPT 以 7B 的规模,达到或超过了许多参数量超过 1000 亿的通用模型。

牙医怎么看

团队还邀请 4 位执业牙医参与评估:从医学教材和牙医执业考试中选取 80 张牙科图像,让各模型找出图中所有可能的口腔问题,再由牙医从明显错误、诊断合理性和关键信息遗漏等方面,对 DentalGPT 与其他模型的回答两两比较(图 2)。对比 GPT-5 和 Gemini-2.5 Pro,DentalGPT 的胜率分别为 28.3% 和 30.0%,落败比例分别为 16.7% 和 21.7%,其余为平局;对比 Claude Sonnet-4.5 和 Qwen3-VL-235B,胜率分别为 63.9% 和 87.5%。

图 2:执业牙医两两对比评估结果,Win、Tie、Loss 分别为 DentalGPT 胜、平、负的比例(%)。图源:论文图 2:执业牙医两两对比评估结果,Win、Tie、Loss 分别为 DentalGPT 胜、平、负的比例(%)。图源:论文

两个阶段各起什么作用

消融实验显示,只做第一阶段多模态对齐,模型在五项基准上的平均准确率就从 46.7% 升到 63.2%;再加上强化学习,进一步升到 67.1%,五项基准全部提升,其中全景片分类从 78.4% 升到 84.0%。

团队还比较了分别使用 0%、30% 和 100% 第一阶段数据的模型在后续强化学习中的表现:没有经过牙科对齐的模型,强化学习带来的奖励增长很有限;对齐数据越多,强化学习能达到的上限越高(图 3)。论文认为,多模态对齐为强化学习提供了更丰富的探索空间,从而进一步激发口腔领域的复杂推理。

图 3:使用不同比例第一阶段数据时,强化学习过程中验证集准确率(奖励)的变化。图源:论文图 3:使用不同比例第一阶段数据时,强化学习过程中验证集准确率(奖励)的变化。图源:论文

回到数充填体的例子:基座模型的答案是 0 颗;完成第一阶段后,模型能识别出大部分充填牙,数出 9 颗;完成全部训练、开启复杂推理的 DentalGPT 中途也数错过,但经过反复核对,最终给出了正确的 10 颗。

意义与展望

DentalGPT 的结果说明,高质量的牙科数据加上“先对齐、再强化”的分阶段训练,可以让一个 7B 模型在口腔影像理解和问答任务上取得很强的表现。

论文也写明了局限:高质量的牙科标注数据仍然稀缺,依赖专家标注和人工参与的数据构建成本高、难以规模化,后续需要探索更高效的人机协作方式。作者同时强调,DentalGPT 目前不用于直接临床诊疗,真实部署前还需要进一步适配和严格验证,临床决策应由具备资质的专业人员把关。

在自由动脉,DentalGPT 被定位为口腔应用的专业模型与研究底座。它承接了团队在 HuatuoGPT 系列上积累的医疗大模型方法,复杂推理数据的构建就沿用了 HuatuoGPT-o1 的做法。

团队介绍

DentalGPT 由多家机构合作完成。论文共同第一作者为蔡镇阳(香港中文大学(深圳))、Jiaming Zhang(南方医科大学深圳口腔医院(坪山))和赵俊杰(香港大学牙医学院、北京协同创新研究院);通讯作者为 Liangyi Chen(北京大学)、王俊文(香港大学牙医学院)、Shan Jiang(南方医科大学深圳口腔医院(坪山))和王本友(香港中文大学(深圳)等)。

自由动脉多位核心成员参与了这项研究:CTO 蔡镇阳是香港中文大学(深圳)博士研究生,参与 HuatuoGPT-o1、DentalGPT 等模型研发;COO 赵俊杰为香港大学牙医学院与北大联合培养博士,从事牙科多模态大模型研发;首席医学科学家王俊文是香港大学牙医学院长聘教授;首席 AI 科学家王本友是香港中文大学(深圳)数据科学学院助理教授、博士生导师;CEO 李健铨和医疗产品副总裁冯相义也是论文作者。

#Findings of ACL 2026#DentalGPT#口腔多模态大模型#强化学习
← 返回 News