Bioinformatics发表BLURB基准测评:ChatGPT在生物医药文本六大任务中仅问答接近领域模型
ChatGPT读文献,到底行不行?Bioinformatics 六大任务实测:问答接近领域模型,实体识别和分类明显掉队
一项发表在Bioinformatics的BLURB基准测评显示,ChatGPT综合得分58.50,与领域最优模型的84.30存在差距,六项任务中仅问答接近BioLinkBERT-Large,在PubMedQA测试集上甚至超过部分对照组。
来源:生物谷原创 2026-10-27 10:25
该研究借助BLURB基准数据集测试ChatGPT处理生物医药文本的能力,发现仅问答任务可接近顶尖领域模型,其余多数生物医药文本任务效果不及生物医药专用预训练模型。
生物医药领域每年产出海量文献,药物、疾病、基因之间错综复杂的线索,大多藏在论文摘要和临床试验记录里。科研人员想要从中挖掘有用信息,逐篇人工阅读整理,既耗费大量时间精力,还很容易漏掉关键细节。
自ChatGPT流行之后,不少科研同行将目光投向它,希望借助大模型解放文献梳理的压力。但通用大模型处理专业医学文本的真实水平到底如何?
发表在Bioinformatics的一项基准测评,通过多组对照实验给出了答案。

研究采用业内通用的BLURB评测体系,覆盖实体识别、临床PICO信息提取、实体关系抽取、句子相似度、文档分类、问答六大科研高频文本任务。选取PubMedBERT、BioLinkBERT这类经过生物医药文献专项训练的模型作为参照,在零样本、少样本条件下,完成对ChatGPT能力的综合检验。

图1. 基于ChatGPT开展生物医药自然语言处理任务的工作流程
整体测评分数显示,ChatGPT综合BLURB得分为58.50,和领域最优模型84.30存在不小差距,各项任务的表现参差不齐。六项任务当中,问答是ChatGPT为数不多的优势项,整体表现优于PubMedBERT与BioLinkBERT‑Base,接近BioLinkBERT‑Large,在PubMedQA测试集上的结果甚至超过部分对照组,这也和它原生面向对话交互的设计特点相契合。
实体识别环节呈现出清晰的能力偏向,识别化学物质效果最好,疾病次之,基因名称识别效果最差,整体性能不及领域专用模型。
表1. BLURB基准下五项命名实体识别任务指标

提取临床PICO信息时,ChatGPT与对照组仍有差距,但差距小于实体识别。它擅长解读完整的长段临床描述,却经常忽略简短关键短语,碎片化的临床信息极易发生漏检。
开展实体关系抽取工作,优化提问方式、补充少量参考案例能够改善输出,但模型误判问题突出,常会给本无关联的实体强行建立相互联系。文档分类、句子相似度任务上,零样本场景ChatGPT表现依旧弱于领域模型。
表2. ChatGPT与基线模型在BLURB基准上的性能表现

这项测评给到科研工作者很务实的提示。通用大模型不是生物医药文本处理的万能利器。在文献问答场景,ChatGPT可以作为不错的辅助工具。但面对实体识别、关系抽取、文献分类这类硬核专业任务,经过医药语料打磨的领域模型会更加可靠。实际科研中按需选择工具,扬长避短,才能真正发挥AI的价值。(生物谷Bioon.com)
参考文献:
Chen Q, Sun H, Liu H, et al. An extensive benchmark study on biomedical text generation and mining with ChatGPT. Bioinformatics. 2023;39(9):btad557. doi:10.1093/bioinformatics/btad557
版权声明 本网站所有注明“来源:生物谷”或“来源:bioon”的文字、图片和音视频资料,版权均属于生物谷网站所有。非经授权,任何媒体、网站或个人不得转载,否则将追究法律责任。取得书面授权转载时,须注明“来源:生物谷”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
87%用户都在用生物谷APP 随时阅读、评论、分享交流 请扫描二维码下载->
来源:生物谷·资讯 · news.bioon.com