Nature临床大模型TrialGPT
临床试验用于检验医疗干预措施的有效性,并提供可用于指导临床实践的关键证据,它们也为参与者提供了接受实验性治疗的机会。然而,将患者与合适的临床试验进行匹配是一个具有挑战性的过程:这个过程包括分析患者的病史、理解每个临床试验的入选标准,并确保匹配既能满足患者需求,又能符合试验要求。因此,手动匹配患者和临床试验通常劳动强度大、耗时且容易出现人为错误。人工智能(AI)的出现有望提高患者与试验匹配的效率和准
背景
临床试验用于检验医疗干预措施的有效性,并提供可用于指导临床实践的关键证据,它们也为参与者提供了接受实验性治疗的机会。然而,将患者与合适的临床试验进行匹配是一个具有挑战性的过程:这个过程包括分析患者的病史、理解每个临床试验的入选标准,并确保匹配既能满足患者需求,又能符合试验要求。因此,手动匹配患者和临床试验通常劳动强度大、耗时且容易出现人为错误。
契机
人工智能(AI)的出现有望提高患者与试验匹配的效率和准确性。根据方向性,患者与临床试验匹配任务有两种类型——“试验到患者” 方案将一项试验与候选患者列表进行匹配,和“患者到试验” 方案将一名患者与候选临床试验列表进行匹配。
来自阿尔伯特・爱因斯坦医学院、匹兹堡大学、伊利诺伊大学厄巴纳 - 香槟分校和马里兰大学帕克分校的研究人员,推出了一个利用大语言模型实现患者与试验零样本匹配的端到端框架——TrialGPT。该模型旨在解决临床试验中的患者招募问题。在本研究中,研究人员专注于以患者为中心的 “患者到试验” 方案,因为这样的模型可以使个体患者以及转诊办公室能够探索大量潜在符合条件的临床试验。
设想与挑战
该模型旨在探索像 GPT - 4 这样的最新大语言模型如何以数据高效且透明的方式帮助患者与试验进行匹配。大语言模型是基于 Transformer 的模型,能够理解给定的上下文并相应地生成类似人类的回复。它们在通用领域和生物医学领域都展现出了最先进的能力,包括问答和临床试验设计。一些试点研究也探索了使用大语言模型通过信息提取来增强临床试验的第一阶段检索、用合成数据进行数据增强以及构建临床试验标准的结构。相比之下,本模型研究人员提出了一个端到端的解决方案,即试验检索、匹配和排序,以利用大语言模型简化临床试验患者招募流程。
然而,患者记录和临床试验标准中固有的异质性和模糊性给人工智能算法带来了重大挑战。使用神经网络将患者记录和试验标准编码为密集嵌入,旨在将它们表示在相同的嵌入空间中,以便通过相似性搜索实现患者与试验的匹配。尽管如此,用标准文本和患者记录的语言理解能力训练神经网络需要大量数据集。由于缺乏成对的患者 - 标准匹配注释,这通常是不可行的。此外,密集检索过程无法解释,这使得调试变得困难,并且在应用于新的标准和患者群体时,往往会引起医学专家的怀疑。
方案
基于上述情况,TrialGPT应运而生。该模型由三个关键组件组成:TrialGPT - 检索、TrialGPT - 匹配和 TrialGPT - 排序。给定一份患者病历,TrialGPT - 检索首先使用关键词生成和混合融合检索从大量初始试验集合中定位数百个高度相关的候选临床试验。基于检索到的试验,TrialGPT - 匹配通过三个元素预测每个患者在标准层面的资格:自然语言解释,显示患者与标准的相关性;患者病历中与目标标准相关的句子位置;以及表示患者是否符合该标准的资格分类。最后,TrialGPT - 排序汇总 TrialGPT - 匹配在试验层面的结果,并使用这些分数根据给定患者的资格获得临床试验的排名列表。
研究人员使用三个公开可用的队列对 TrialGPT 进行评估,这些队列包含 183 名合成患者及超过 75,000 条试验资格注释。实验结果表明,TrialGPT - 检索能够使用不到 6% 的候选临床试验召回超过 90% 的相关临床试验。与四位人类临床医生生成的关键词相比,该模型还能生成更有效的用于试验检索的关键词。三位领域专家对 1015 个患者 - 标准对的 TrialGPT - 匹配进行评估,结果显示 TrialGPT - 匹配能够准确解释患者 - 标准相关性、定位相关句子,并以接近人类专家的准确率预测标准层面的资格。同时评估了 TrialGPT - 排序的试验层面得分,结果表明它们与专家资格注释高度相关。这些分数可用于有效地将符合条件的试验与患者进行匹配并排除不符合条件的试验,其性能比最佳基线高出 43.8%。
研究人员还进行了一项试点用户研究,模拟了美国国家癌症研究所(NCI)的实际临床试验匹配任务。在评估中,每对患者 - 试验由一位使用 TrialGPT 的医学专家和另一位不使用 TrialGPT 的医学专家进行评估。同时确保每位医学专家使用 TrialGPT 注释一半的对,不使用 TrialGPT 注释另一半,以减少计算时间减少时注释者之间的技能差异。所有患者 - 试验对的总体时间节省约为 42.6%,这显示了它在提高临床试验匹配过程效率方面的巨大潜力。
TrialGPT 架构
TrialGPT 的架构如图 1 所示。总体而言,TrialGPT 由三个组件组成:检索(图 1a)、匹配(图 1b)和排序(图 1c)。TrialGPT - 检索旨在从大量初始试验集合中筛选出大多数不相关的临床试验。具体来说,TrialGPT - 检索可以根据患者摘要生成关键词列表,并将其输入到混合融合检索器中,从潜在的大量初始集合中获得相对较小的子集,同时保持对相关临床试验的高召回率。这个检索步骤旨在确保 TrialGPT 在实际应用中的可扩展性,例如在一个国家(即美国)进行的多达 23,000 项活跃临床试验中进行匹配时,需要考虑数万项临床试验。
a. TrialGPT - 检索可以从初始集合中筛选出大多数不相关的试验,并返回候选临床试验列表;
b. 对于给定的患者,TrialGPT - 匹配可以解释相关性、生成相关句子位置并预测试验中每个标准的资格分类;
c. TrialGPT - 排序可以汇总 TrialGPT - 匹配的标准层面预测,并使用这些分数进行精细排序以获得最终推荐的试验。
对于 TrialGPT - 检索返回的每个候选临床试验,TrialGPT - 匹配以逐个标准的方式分析给定患者的资格。对于每个标准,TrialGPT - 匹配生成三个元素:(1)患者 - 标准相关性的解释;(2)患者病历中与标准相关的句子位置;(3)患者 - 标准对的资格分类。
最后,TrialGPT - 排序汇总 TrialGPT - 匹配的标准层面预测,以得出试验层面的分数,随后可用于根据资格对临床试验进行排名并排除明显不符合条件的试验。
应用
TrialGPT - 检索可生成用于有效临床试验筛选的关键词。
如图 2a 所示,在检索阶段,大语言模型被提示为患者病历生成关键词列表,以大规模初步筛选临床试验。对于每个关键词,研究人员使用混合检索器获取相关临床试验列表,该检索器同时匹配词汇和语义信息。然后将检索结果通过倒数排名融合合并为排名列表。研究人员使用所有三个队列评估了 GPT - 4 和 GPT - 3.5 生成的关键词的检索性能。作为比较,还测试了直接使用原始患者病历进行临床试验检索的情况。在 SIGIR 队列中,展示了原始数据集中注释的临床医生生成的关键词的性能。
a. TrialGPT - 检索概述。大语言模型首先为给定的患者病历生成关键词列表。这些关键词用于获取关键词层面的相关临床试验,然后融合生成最终排名。
b. 不同查询类型和检索器在不同深度的相关临床试验召回率。混合检索器结合了 BM25(词汇匹配)和 MedCPT(语义匹配)检索器的结果。源数据作为源数据文件提供。
不同深度的相关临床试验召回率如图 2b 所示。在所有三个队列中,GPT - 4 和 GPT - 3.5 生成的关键词始终表现最佳,而直接使用原始患者病历的性能最低。这表明大语言模型可以有效地从患者病历中生成关键词用于临床试验检索。在检索器方面,语义 MedCPT 比词汇 BM25 检索器好得多,混合检索器性能最佳。在 SIGIR 队列中,临床医生生成的关键词性能介于大语言模型生成的关键词和原始病历之间。这表明大语言模型已经可以生成比人类临床医生更好的用于临床试验检索的关键词。
总体而言,原始病历、基于 GPT - 3.5 的 TrialGPT - 检索和基于 GPT - 4 的 TrialGPT - 检索在前 500 个检索到的临床试验中的平均召回率分别为 50.0%、83.4% 和 86.2%。平均而言,为了召回至少 90% 的相关临床试验,基于 GPT - 4 的 TrialGPT - 检索仅需选择初始文档集合的 5.5%,基于 GPT - 3.5 的 TrialGPT - 检索需要 7.0%。因此,TrialGPT - 检索通过筛选出大多数不相关的临床试验,显著提高了可扩展性,并返回一个候选临床试验的短列表,以便由 TrialGPT - 匹配和 TrialGPT - 排序进行更精细的分析。
TrialGPT - 匹配实现了高标准层面预测准确率
如图 1b 所示,TrialGPT - 匹配首先为每个标准生成理由和相关句子。然后,它根据这些理由预测标准层面的资格分类。TrialGPT 为每个入选标准分配一个标签,取值为 {包括,不包括,信息不足,不适用},为每个排除标准分配一个标签,取值为 {排除,不排除,信息不足,不适用}。研究人员从 SIGIR 队列的 53 名患者中抽取了 105 对患者 - 试验,其中包含 1015 个患者 - 标准对。另招募了三名医生,并手动注释了这些对关于 GPT - 4 生成的标准层面输出元素:(1)给定患者与标准之间 TrialGPT 相关性解释的正确性;(2)患者病历中相关句子的位置;(3)给定患者资格的标准层面预测。由个人注释和进一步讨论得出的共识注释被用作真实情况。
此外TrialGPT-排序可以有效地对候选临床试验进行排名和排除,TrialGPT 还可以减少患者试验匹配的筛选时间。
以上是关于临床试验中的患者招募大数据模型TrialGPT的简要介绍。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐
所有评论(0)