[{"data":1,"prerenderedAt":24},["ShallowReactive",2],{"news-zh-neurips-2026-oral-medical-vision":3},{"slug":4,"lang":5,"title":6,"summary":7,"date":8,"category":9,"tags":10,"cover":16,"order":17,"author":18,"authorTitle":18,"authorSlug":18,"people":19,"bodyLang":5,"html":23},"neurips-2026-oral-medical-vision","zh","NeurIPS 2026 Oral｜自由动脉携手香港中文大学（深圳）推出医疗多模态大模型，用强化学习激发医学视觉能力","用“预训练 + 强化学习”训练医疗多模态大模型 HuatuoGPT-Vision-2，32B 版本在八项医学基准上平均 74.0 分，超过 GPT-5.4-mini。","2026-11-16","论文",[11,12,13,14,15],"NeurIPS 2026","医疗多模态","强化学习","开源数据","HuatuoGPT-Vision-2","/images/news/neurips-2026-oral-medical-vision/cover.jpg",1,"",[20,21,22],"蔡镇阳","冯相义","王本友","\u003Cp>让多模态大模型读懂医学影像，难点不只是数据少。即便模型在预训练阶段“见过”海量医学图像，这些知识也未必能在回答问题时被调用出来。一项新研究发现，常规的监督微调很难把这部分知识激发出来。\u003C/p>\n\u003Cp>香港中文大学（深圳）研究团队与自由动脉团队成员合作完成的论文《Incentivizing Medical Vision Capabilities from Large-Scale Multimodal Pre-training》入选 NeurIPS 2026 \u003Cstrong>Oral\u003C/strong>。研究给出了一条简洁的医疗视觉语言模型训练路线：先用从 PubMed 文献中挖掘的医学图文数据做大规模多模态预训练，再用直接从预训练数据中合成的题目做强化学习，“激励”模型调用学到的医学视觉知识。在八项医学多模态基准上，32B 版本的 HuatuoGPT-Vision-2 平均得分 \u003Cstrong>74.0\u003C/strong>，超过闭源的 GPT-5.4-mini（71.1）以及同规模的开源通用模型和医疗模型，显著缩小了与领先闭源模型的差距。\u003C/p>\n\u003Cp>自由动脉 CTO 蔡镇阳为论文第二作者，医疗产品副总裁冯相义为论文作者之一，自由动脉首席 AI 科学家、香港中文大学（深圳）助理教授王本友为论文通讯作者。论文将于 12 月 8 日在 NeurIPS 2026 悉尼会场作口头报告（Oral）。\u003C/p>\n\u003Cblockquote>\n\u003Cp>\u003Cstrong>论文标题\u003C/strong>：Incentivizing Medical Vision Capabilities from Large-Scale Multimodal Pre-training\u003Cbr>\u003Cstrong>会议\u003C/strong>：NeurIPS 2026（Oral）\u003Cbr>\u003Cstrong>论文链接\u003C/strong>：\u003Ca href=\"https://openreview.net/forum?id=0BXKsjKlFJ\" target=\"_blank\" rel=\"noopener noreferrer\">https://openreview.net/forum?id=0BXKsjKlFJ\u003C/a>\u003Cbr>\u003Cstrong>代码\u003C/strong>：\u003Ca href=\"https://github.com/FreedomIntelligence/HuatuoGPT-Vision-2\" target=\"_blank\" rel=\"noopener noreferrer\">https://github.com/FreedomIntelligence/HuatuoGPT-Vision-2\u003C/a>\u003Cbr>\u003Cstrong>数据\u003C/strong>：\u003Ca href=\"https://huggingface.co/datasets/FreedomIntelligence/PubMedVision-Plus\" target=\"_blank\" rel=\"noopener noreferrer\">https://huggingface.co/datasets/FreedomIntelligence/PubMedVision-Plus\u003C/a>\u003Cbr>\u003Cstrong>作者\u003C/strong>：Junying Chen、Zhenyang Cai（蔡镇阳）、Yunjin Yang、Kunyuan Cai、Rongsheng Wang、Xidong Wang、Geyang Yu、Xiangyi Feng（冯相义）、Benyou Wang（王本友，通讯作者）\u003Cbr>\u003Cstrong>作者单位\u003C/strong>：香港中文大学（深圳）、深圳河套学院、深圳市大数据研究院、国家健康医疗大数据研究院（深圳）\u003C/p>\n\u003C/blockquote>\n\u003Ch2>背景：医学知识“学进去了”，却“用不出来”\u003C/h2>\n\u003Cp>构建好用的医疗视觉语言模型（VLM，Vision-Language Model）有两道坎：一是高质量的医学领域数据稀缺，二是模型在预训练中学到的医学视觉知识很难被激发出来。\u003C/p>\n\u003Cp>此前，课题组在 HuatuoGPT-Vision（EMNLP 2024）中基于 PubMed 文献构建了 130 万条医学视觉问答数据 PubMedVision。新工作沿着这条路线继续放大数据规模，并聚焦一个更关键的问题：预训练学到的知识，怎样才能真正用起来？\u003C/p>\n\u003Cp>论文给出的答案是：在大规模医学预训练之后，传统的监督微调（SFT，Supervised Fine-Tuning）难以激发预训练知识；改用强化学习（RL，Reinforcement Learning），并让训练题目直接来自预训练数据本身，模型就能被“激励”去调用这些知识。\u003C/p>\n\u003Ch2>方法：两阶段配方\u003C/h2>\n\u003Cp>论文提出的医疗视觉语言模型名为 \u003Cstrong>HuatuoGPT-Vision-2\u003C/strong>，是 HuatuoGPT 系列的第二代医疗视觉语言模型，以 Qwen3-VL-8B-Instruct 和 Qwen3-VL-32B-Instruct 为基座，训练分为两个阶段。\u003C/p>\n\u003Ch3>第一阶段：把医学多模态预训练做大\u003C/h3>\n\u003Cp>团队从 2013–2026 年间的 \u003Cstrong>1520 万篇\u003C/strong> PubMed 论文中抽取插图及其图注，得到 \u003Cstrong>6051 万对\u003C/strong>医学图文数据，命名为 PubMedVision-Plus。论文称，这是目前规模最大的医学图文数据集。\u003C/p>\n\u003Cp>随后，数据经过三轮清洗：先做医学影像检测，剔除图表、表格、示意图等非医学影像内容（剩余 1842 万对）；再用大语言模型按图注的信息量和临床价值过滤（剩余 1370 万对）；最后用视觉语言模型检查图文一致性与图像质量，得到约 \u003Cstrong>1200 万对\u003C/strong>高质量核心数据 PubMedVision-Plus-Core。整个过程保留原始插图和作者撰写的图注，不做生成式改写，以避免合成图注带来的幻觉。\u003C/p>\n\u003Cp>从分布看，核心数据覆盖显微/病理（25.6%）、数码照片（18.7%）、MRI（7.8%）、CT（6.6%）、X 光（3.4%）、超声（3.1%）、眼科影像（1.9%）、内镜（1.7%）等成像模态；按解剖部位划分，细胞层面占 16.3%，头颈及口腔占 14.8%，腹部/盆腔占 11.7%，胸部占 10.9%。团队在这批数据上对 Qwen3-VL 做继续预训练，得到医学预训练模型。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/neurips-2026-oral-medical-vision/fig1-pretraining.png\" alt=\"图 1：第一阶段，从 1520 万篇 PubMed 论文中抽取 6000 万对医学图文数据，经多轮清洗得到约 1200 万对高质量核心数据并用于继续预训练；下方为数据筛选过程及解剖部位、成像模态分布（图源：论文）\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 1：第一阶段，从 1520 万篇 PubMed 论文中抽取 6000 万对医学图文数据，经多轮清洗得到约 1200 万对高质量核心数据并用于继续预训练；下方为数据筛选过程及解剖部位、成像模态分布（图源：论文）\u003C/span>\u003C/span>\u003C/p>\n\u003Ch3>第二阶段：用强化学习“激励”医学视觉能力\u003C/h3>\n\u003Cp>团队以 PubMedVision-Plus 中真实的图片和专家撰写的图注为依据，合成了 7 万道强化学习训练题 PubMedVision-RL，分为两类：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>可验证奖励\u003C/strong>：35,331 道单选题，答案有明确标签，按规则比对，答对得 1 分、答错得 0 分。这类奖励稀疏但精确，噪声低、容易判定。\u003C/li>\n\u003Cli>\u003Cstrong>评分细则奖励\u003C/strong>：35,154 道开放式问答，每道题配有带权重的评分细则。正向条目奖励关键发现，比如“提到胸腔积液 +5 分”；负向条目惩罚错误，比如“幻觉出气胸 −6 分”。评分模型逐条判断回答是否满足细则，奖励等于满足条目的分值之和除以全部正向分值。这类奖励更稠密，能给“部分正确”的回答部分分。\u003C/li>\n\u003C/ul>\n\u003Cp>为保证质量，团队用 GPT-5.4 对每道题和每条细则做二次校验，剔除含糊不清或超出图注信息的题目；同时去掉 Qwen3-VL-8B-Instruct 已经能答对的题，让每个样本都能提供有效的训练信号。\u003C/p>\n\u003Cp>为保持通用文本能力，训练时还混入了 1.5 万条来自 RubricHub 的通用领域细则题，共 8.5 万条强化学习数据。训练使用 GRPO（组相对策略优化）算法和 DAPO 训练配方（包括 clip-higher、token 级损失、动态采样和超长回答的奖励整形）。开放题的奖励由团队训练的多模态评分模型 HuatuoGPT-Vision-2-Grader 给出：它基于 Qwen3-VL-8B-Instruct，用 100 万条 GPT-4.1 的细则判定作为训练标签，能同时看到医学图像和回答，一次生成即可判定全部细则。这个评分模型只用于训练时计算奖励，论文报告的细则评测结果都由 GPT-4.1 打分。\u003C/p>\n\u003Cp>\u003Cspan class=\"news-figure\">\u003Cimg src=\"/images/news/neurips-2026-oral-medical-vision/fig2-rl.png\" alt=\"图 2：第二阶段，从核心数据合成单选题（可验证奖励）和开放题（评分细则奖励），用强化学习激励医学预训练模型调用视觉知识（图源：论文）\" loading=\"lazy\" />\u003Cspan class=\"news-caption\">图 2：第二阶段，从核心数据合成单选题（可验证奖励）和开放题（评分细则奖励），用强化学习激励医学预训练模型调用视觉知识（图源：论文）\u003C/span>\u003C/span>\u003C/p>\n\u003Ch2>实验结果\u003C/h2>\n\u003Ch3>八项医学基准：32B 平均 74.0，超过 GPT-5.4-mini\u003C/h3>\n\u003Cp>论文在 GMAI-MMBench、MMMU-Pro 医学子集、MedXpertQA-MM、OmniMedVQA、PMC-VQA、PathVQA、SLAKE 和 VQA-RAD 八个医学多模态基准上评测，与闭源模型、开源通用模型和医疗专用模型对比。\u003C/p>\n\u003Cp>\u003Cstrong>表 1\u003C/strong>：八项医学基准平均准确率（%），按平均分排序（节选自论文表 2）\u003C/p>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>模型\u003C/th>\n\u003Cth>类型\u003C/th>\n\u003Cth align=\"right\">八项平均\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>Gemini-3-Pro\u003C/td>\n\u003Ctd>闭源\u003C/td>\n\u003Ctd align=\"right\">81.1\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Gemini-3-Flash\u003C/td>\n\u003Ctd>闭源\u003C/td>\n\u003Ctd align=\"right\">78.4\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-5.4（High）\u003C/td>\n\u003Ctd>闭源\u003C/td>\n\u003Ctd align=\"right\">75.0\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>HuatuoGPT-Vision-2-32B\u003C/strong>\u003C/td>\n\u003Ctd>\u003Cstrong>本文\u003C/strong>\u003C/td>\n\u003Ctd align=\"right\">\u003Cstrong>74.0\u003C/strong>\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-5.4-mini（High）\u003C/td>\n\u003Ctd>闭源\u003C/td>\n\u003Ctd align=\"right\">71.1\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>HuatuoGPT-Vision-2-8B\u003C/strong>\u003C/td>\n\u003Ctd>\u003Cstrong>本文\u003C/strong>\u003C/td>\n\u003Ctd align=\"right\">\u003Cstrong>68.5\u003C/strong>\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Gemma-4-31B-IT\u003C/td>\n\u003Ctd>开源通用\u003C/td>\n\u003Ctd align=\"right\">67.3\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Lingshu-32B\u003C/td>\n\u003Ctd>开源医疗\u003C/td>\n\u003Ctd align=\"right\">65.8\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Qwen3-VL-32B-Instruct\u003C/td>\n\u003Ctd>开源通用（32B 基座）\u003C/td>\n\u003Ctd align=\"right\">63.9\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Qwen3.5-27B\u003C/td>\n\u003Ctd>开源通用\u003C/td>\n\u003Ctd align=\"right\">63.3\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-4.1\u003C/td>\n\u003Ctd>闭源\u003C/td>\n\u003Ctd align=\"right\">63.1\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Qwen3-VL-8B-Instruct\u003C/td>\n\u003Ctd>开源通用（8B 基座）\u003C/td>\n\u003Ctd align=\"right\">58.6\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>InternVL3.5-8B\u003C/td>\n\u003Ctd>开源通用\u003C/td>\n\u003Ctd align=\"right\">57.9\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-5.4-nano（High）\u003C/td>\n\u003Ctd>闭源\u003C/td>\n\u003Ctd align=\"right\">57.0\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>HuatuoGPT-Vision-7B\u003C/td>\n\u003Ctd>开源医疗（上一代）\u003C/td>\n\u003Ctd align=\"right\">53.9\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>MedGemma-27B-IT\u003C/td>\n\u003Ctd>开源医疗\u003C/td>\n\u003Ctd align=\"right\">50.7\u003C/td>\n\u003C/tr>\n\u003C/tbody>\u003C/table>\n\u003Cp>从结果看：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>32B 版本平均 74.0 分\u003C/strong>，明显高于同规模的开源通用模型 Gemma-4-31B-IT（67.3）和医疗模型 Lingshu-32B（65.8），也超过闭源的 GPT-5.4-mini（71.1）；与 GPT-5.4（75.0）、Gemini-3-Pro（81.1）等最强闭源模型相比仍有差距。\u003C/li>\n\u003Cli>\u003Cstrong>8B 版本平均 68.5 分\u003C/strong>，比基座 Qwen3-VL-8B-Instruct 提高 9.9 分，超过多个参数量更大的开源模型。\u003C/li>\n\u003Cli>在 OmniMedVQA 上，32B 版本得分 \u003Cstrong>88.4\u003C/strong>，是所有对比模型中最高的。\u003C/li>\n\u003Cli>医学训练没有以牺牲通用能力为代价：在 MMLU-Pro、IFEval、GPQA 等六项通用基准上，8B 版本的平均分略有提升，32B 版本基本持平。\u003C/li>\n\u003C/ul>\n\u003Ch3>消融实验：为什么是强化学习\u003C/h3>\n\u003Cp>同样的 8.5 万条训练提示，不同的训练配方效果差别很大（表 2 中的数字为八项平均分相对基座的变化）：\u003C/p>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>训练配方\u003C/th>\n\u003Cth align=\"right\">8B\u003C/th>\n\u003Cth align=\"right\">32B\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>直接强化学习（不做医学预训练）\u003C/td>\n\u003Ctd align=\"right\">+1.9\u003C/td>\n\u003Ctd align=\"right\">+4.7\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>医学预训练 + 监督微调\u003C/td>\n\u003Ctd align=\"right\">+1.1\u003C/td>\n\u003Ctd align=\"right\">−1.7\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>医学预训练 + 强化学习（本文）\u003C/td>\n\u003Ctd align=\"right\">\u003Cstrong>+9.9\u003C/strong>\u003C/td>\n\u003Ctd align=\"right\">\u003Cstrong>+10.1\u003C/strong>\u003C/td>\n\u003C/tr>\n\u003C/tbody>\u003C/table>\n\u003Cp>\u003Cstrong>表 2\u003C/strong>：不同训练配方的效果（论文表 2；监督微调的答案由 Qwen3-VL-32B-Instruct 生成）\u003C/p>\n\u003Cp>即便把监督微调的“老师”换成 GPT-5.4 或 Gemini-3-Pro，8B 模型的平均分也只有 60.8 和 60.0，远低于“预训练 + 强化学习”的 68.5。论文据此认为，在相同提示和数据量下，强化学习更能把预训练学到的医学视觉知识激发出来；而先做医学预训练、注入领域知识，是强化学习发挥作用的前提。\u003C/p>\n\u003Ch3>专家评测：细则打分与医生盲评\u003C/h3>\n\u003Cp>为了评估开放式回答，团队构建了评测集 MedMM-ExpertRubric：\u003Cstrong>500 道\u003C/strong>问题、538 张图像、\u003Cstrong>11,088 条\u003C/strong>评分细则，平均每题约 22 条加权细则，每条细则都经过执业医师筛选，只保留核心的读图要点。题目覆盖放射、病理、超声、内镜等领域，其中 32 道为多图题，且都没有用于模型训练。在这个评测集上，8B 版本得分从基座的 22.1 提高到 \u003Cstrong>35.7\u003C/strong>，32B 版本从 30.9 提高到 \u003Cstrong>40.8\u003C/strong>。\u003C/p>\n\u003Cp>团队还请两位主治医师对 100 道开放题做两两盲评：两个模型的回答匿名、随机排列，医生选出更好的一个或判为平局。HuatuoGPT-Vision-2-32B 的结果如下：\u003C/p>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>对比模型\u003C/th>\n\u003Cth>胜 / 平 / 负（%）\u003C/th>\n\u003Cth>结论\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>GPT-5.4（High）\u003C/td>\n\u003Ctd>33 / 19 / 48\u003C/td>\n\u003Ctd>略逊\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-5.4-mini（High）\u003C/td>\n\u003Ctd>41 / 21 / 38\u003C/td>\n\u003Ctd>相当\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Qwen3-VL-32B-Instruct\u003C/td>\n\u003Ctd>55 / 18 / 27\u003C/td>\n\u003Ctd>明显占优\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>Lingshu-32B\u003C/td>\n\u003Ctd>65 / 14 / 21\u003C/td>\n\u003Ctd>明显占优\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>GPT-5.4-nano（High）\u003C/td>\n\u003Ctd>68 / 16 / 16\u003C/td>\n\u003Ctd>明显占优\u003C/td>\n\u003C/tr>\n\u003C/tbody>\u003C/table>\n\u003Cp>\u003Cstrong>表 3\u003C/strong>：医生两两盲评结果（论文表 13）\u003C/p>\n\u003Cp>论文指出，医生的偏好与 MedMM-ExpertRubric 的排名一致，说明这个评测集可以作为专家评测的低成本替代。\u003C/p>\n\u003Ch3>评分模型是否可靠\u003C/h3>\n\u003Cp>强化学习中，开放题的奖励来自评分模型，它的判断是否可靠直接影响训练效果。在留出数据上，8B 评分模型与 GPT-4.1 的判定一致率为 \u003Cstrong>91.5%\u003C/strong>。团队又抽取 300 条细则判定，与医生的标注对照：8B 评分模型的一致率为 88.7%，GPT-4.1 为 90.3%。\u003C/p>\n\u003Ch2>开源资源\u003C/h2>\n\u003Cp>截至 2026 年 11 月 16 日，项目已在 GitHub 和 Hugging Face 公开以下资源：\u003C/p>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>资源\u003C/th>\n\u003Cth>内容\u003C/th>\n\u003Cth>状态\u003C/th>\n\u003C/tr>\n\u003C/thead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>\u003Ca href=\"https://huggingface.co/datasets/FreedomIntelligence/PubMedVision-Plus\" target=\"_blank\" rel=\"noopener noreferrer\">PubMedVision-Plus\u003C/a>\u003C/td>\n\u003Ctd>约 1200 万对高质量医学图文数据（Core）\u003C/td>\n\u003Ctd>已开源\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Ca href=\"https://huggingface.co/datasets/FreedomIntelligence/PubMedVision-RL\" target=\"_blank\" rel=\"noopener noreferrer\">PubMedVision-RL\u003C/a>\u003C/td>\n\u003Ctd>7 万道强化学习训练题（单选题 + 开放题）\u003C/td>\n\u003Ctd>已开源\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Ca href=\"https://huggingface.co/datasets/FreedomIntelligence/MedMM-ExpertRubric\" target=\"_blank\" rel=\"noopener noreferrer\">MedMM-ExpertRubric\u003C/a>\u003C/td>\n\u003Ctd>500 道开放式医学视觉问答评测题，附医师校验的评分细则\u003C/td>\n\u003Ctd>已开源\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Ca href=\"https://huggingface.co/FreedomIntelligence/HuatuoGPT-Vision-2-Grader\" target=\"_blank\" rel=\"noopener noreferrer\">HuatuoGPT-Vision-2-Grader\u003C/a>\u003C/td>\n\u003Ctd>多模态评分模型\u003C/td>\n\u003Ctd>已开源\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>\u003Ca href=\"https://github.com/FreedomIntelligence/HuatuoGPT-Vision-2\" target=\"_blank\" rel=\"noopener noreferrer\">训练代码\u003C/a>\u003C/td>\n\u003Ctd>预训练与强化学习两阶段代码，支持 Qwen3-VL 与 Qwen3.8 系列\u003C/td>\n\u003Ctd>已开源\u003C/td>\n\u003C/tr>\n\u003Ctr>\n\u003Ctd>HuatuoGPT-Vision-2-8B / 32B\u003C/td>\n\u003Ctd>医疗视觉语言模型\u003C/td>\n\u003Ctd>即将发布\u003C/td>\n\u003C/tr>\n\u003C/tbody>\u003C/table>\n\u003Cp>需要说明的是，按照项目说明，HuatuoGPT-Vision-2 仅用于学术研究，不能用于诊断、治疗、分诊等医疗决策。\u003C/p>\n\u003Ch2>意义与展望\u003C/h2>\n\u003Cp>这项工作给医疗多模态模型提供了一条可复用的路线：用公开医学文献把预训练规模做上去，再从同一批数据中合成可验证题和细则题，用强化学习把预训练知识“激励”出来。论文作者希望，这些数据、模型和发现能加速医疗视觉语言模型的开放研究。下一步，HuatuoGPT-Vision-2 的 8B 与 32B 模型权重将陆续发布。\u003C/p>\n\u003Cp>对自由动脉而言，HuatuoGPT 系列在数据建设、模型训练和专业评测上的方法积累，是 DentalGPT 与口腔场景应用的方法基础。值得一提的是，PubMedVision-Plus 核心数据中，头颈及口腔部位的图像占比达到 14.8%。\u003C/p>\n\u003Ch2>团队介绍\u003C/h2>\n\u003Cp>论文第一作者为 Junying Chen。自由动脉团队成员蔡镇阳、冯相义、王本友参与了这项研究。\u003C/p>\n\u003Ch3>蔡镇阳｜自由动脉 CTO，论文第二作者\u003C/h3>\n\u003Cp>香港中文大学（深圳）博士研究生，在自由动脉负责多模态医疗模型研发。他参与了 HuatuoGPT-o1、DentalGPT 等模型的研发，并以第一作者身份在 NeurIPS、ACL 发表论文。\u003C/p>\n\u003Ch3>冯相义｜自由动脉医疗产品副总裁，论文作者\u003C/h3>\n\u003Cp>外科主治医师，拥有 4000 余台手术经验，在自由动脉负责临床需求与产品落地。他参与医疗模型的数据建设与应用优化，兼具 AI 产品设计与项目管理经验，临床一线经验与 AI 产品经验兼备。\u003C/p>\n\u003Ch3>王本友｜自由动脉首席 AI 科学家，论文通讯作者\u003C/h3>\n\u003Cp>香港中文大学（深圳）数据科学学院助理教授、博士生导师。\u003C/p>\n",1794841746244]