跳到正文
原文
生物谷·资讯·· 24 天前AI 评分49

Bioinformatics发表BLURB基准测评:ChatGPT在生物医药文本六大任务中仅问答接近领域模型

ChatGPT读文献,到底行不行?Bioinformatics 六大任务实测:问答接近领域模型,实体识别和分类明显掉队

AI 导读

一项发表在Bioinformatics的BLURB基准测评显示,ChatGPT综合得分58.50,与领域最优模型的84.30存在差距,六项任务中仅问答接近BioLinkBERT-Large,在PubMedQA测试集上甚至超过部分对照组。

正文

来源:生物谷原创 2026-10-27 10:25

该研究借助BLURB基准数据集测试ChatGPT处理生物医药文本的能力,发现仅问答任务可接近顶尖领域模型,其余多数生物医药文本任务效果不及生物医药专用预训练模型。

生物医药领域每年产出海量文献,药物、疾病、基因之间错综复杂的线索,大多藏在论文摘要和临床试验记录里。科研人员想要从中挖掘有用信息,逐篇人工阅读整理,既耗费大量时间精力,还很容易漏掉关键细节。

自ChatGPT流行之后,不少科研同行将目光投向它,希望借助大模型解放文献梳理的压力。但通用大模型处理专业医学文本的真实水平到底如何?

发表在Bioinformatics的一项基准测评,通过多组对照实验给出了答案。

研究采用业内通用的BLURB评测体系,覆盖实体识别、临床PICO信息提取、实体关系抽取、句子相似度、文档分类、问答六大科研高频文本任务。选取PubMedBERT、BioLinkBERT这类经过生物医药文献专项训练的模型作为参照,在零样本、少样本条件下,完成对ChatGPT能力的综合检验。

图1. 基于ChatGPT开展生物医药自然语言处理任务的工作流程

整体测评分数显示,ChatGPT综合BLURB得分为58.50,和领域最优模型84.30存在不小差距,各项任务的表现参差不齐。六项任务当中,问答是ChatGPT为数不多的优势项,整体表现优于PubMedBERT与BioLinkBERT‑Base,接近BioLinkBERT‑Large,在PubMedQA测试集上的结果甚至超过部分对照组,这也和它原生面向对话交互的设计特点相契合。

实体识别环节呈现出清晰的能力偏向,识别化学物质效果最好,疾病次之,基因名称识别效果最差,整体性能不及领域专用模型。

表1. BLURB基准下五项命名实体识别任务指标

提取临床PICO信息时,ChatGPT与对照组仍有差距,但差距小于实体识别。它擅长解读完整的长段临床描述,却经常忽略简短关键短语,碎片化的临床信息极易发生漏检。

开展实体关系抽取工作,优化提问方式、补充少量参考案例能够改善输出,但模型误判问题突出,常会给本无关联的实体强行建立相互联系。文档分类、句子相似度任务上,零样本场景ChatGPT表现依旧弱于领域模型。

表2. ChatGPT与基线模型在BLURB基准上的性能表现

这项测评给到科研工作者很务实的提示。通用大模型不是生物医药文本处理的万能利器。在文献问答场景,ChatGPT可以作为不错的辅助工具。但面对实体识别、关系抽取、文献分类这类硬核专业任务,经过医药语料打磨的领域模型会更加可靠。实际科研中按需选择工具,扬长避短,才能真正发挥AI的价值。(生物谷Bioon.com)

参考文献:

Chen Q, Sun H, Liu H, et al. An extensive benchmark study on biomedical text generation and mining with ChatGPT. Bioinformatics. 2023;39(9):btad557. doi:10.1093/bioinformatics/btad557

版权声明 本网站所有注明“来源:生物谷”或“来源:bioon”的文字、图片和音视频资料,版权均属于生物谷网站所有。非经授权,任何媒体、网站或个人不得转载,否则将追究法律责任。取得书面授权转载时,须注明“来源:生物谷”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

87%用户都在用生物谷APP 随时阅读、评论、分享交流 请扫描二维码下载->

来源:生物谷·资讯 · news.bioon.com