近年来，人们对将人工智能工具用于医疗保健应用越来越感兴趣，包括诊断、风险预测、临床决策支持和资源管理。这些算法工具能够在患者电子健康记录 (EHR) 和管理数据库中的大量数据中发现隐藏的模式，正在患者护理领域广泛传播。通常，健康人工智能应用程序都伴随着其使医疗实践变得更好、更安全和更公平的潜力的保证。

然而，事实证明，事实更为复杂。

“医疗保健领域的人工智能正在经历一种‘狂野西部’时期，”杜克大学人工智能健康总监兼数据科学副院长 Michael Pencina 博士表示。 “许多医院和卫生系统已经自行建立或购买了系统，并根据自己的数据运行这些系统，有时几乎没有监督。”

人们对将人工智能工具应用于医疗保健中一些最棘手问题的热情正在帮助推动技术的采用，直到最近，这些技术还没有经过通常应用于药物和医疗设备的严格审查。对于越来越多的从业者和卫生系统来说，他们越来越担心其中一些工具——其中许多工具被设计为 难以捉摸的“黑匣子” 系统——可能无法正常工作。

最近，当密歇根大学的研究人员进行研究时，这些担忧引起了更广泛的公众关注。 研究了算法工具的性能 旨在提醒临床工作人员可能存在败血症（一种严重的疾病）。研究人员意识到，该工具在患者护理的现实世界中的表现比预期的要差，标记了不存在的脓毒症病例并遗漏了实际病例。在这个和其他错误算法的例子的推动下，专家们越来越担心人工智能工具出现故障可能会损害质量和安全或加剧现有的不平等。

算法监督的必要性

尽管人工智能系统性能下降的原因有很多，但许多原因可以追溯到系统设计阶段做出的决策，最关键的是用于训练系统的数据与系统数据类型之间的差异一旦应用于临床就会遇到。因此，算法工具必须在创建过程中经过仔细验证，在其整个生命周期中进行仔细审查，并在部署后持续监控。

彭西纳表示：“很明显，当前的情况必须改变。”他指出，一段时间以来，人们对建立共享最佳实践和通用方法来监管人工智能医疗保健工具的兴趣高涨。

事实上，在杜克大学，这种担忧已经转化为创建人工智能工具的治理和监督系统。被称为 基于算法的临床决策支持 (ABCDS) 监督 ABCDS 监督委员会由 Pencina 和杜克大学健康中心首席健康信息官 Eric Poon 医学博士联合主持，代表了杜克大学和杜克大学健康系统之间的合作。

“ABCDS 监督使我们能够确保杜克健康中心开发或使用的所有算法工具都具有质量和公平性，”Poon 说。 “我们开发了一种方法，召集来自所有相关领域的专家——人工智能、临床专业实践、IT、监管等。这些专家在模型开发的最早阶段提供意见和指导。我们的想法是确保工具展示出对改善我们提供患者护理方式的关键目标的影响。”

为更大的图景做出贡献

鉴于杜克大学很早就采用了严格的算法监督方法，因此看到它在一个新的国家联盟（即 健康人工智能联盟 (CHAI)，它正在召集来自学术界、工业界和监管机构的专家，解决与健康和医疗保健领域人工智能工具的道德和公平使用相关的紧迫问题。其中最主要的是需要协调报告标准的多项相互竞争的建议，并确保从头开始将公平和公正纳入健康人工智能系统。

这些都是至关重要的考虑因素，因为如果没有明确理解共同的标准和指南，或者更糟糕的是，完全缺失，最终用户、患者和消费者可能不会信任人工智能系统。透明度和可信度是确保健康人工智能实践能够有效应用于改善对服务不足和代表性不足的患者和受不平等影响最严重的社区的护理的关键。

“看到人工智能和数据科学界齐心协力，协调高质量、公平和值得信赖的健康人工智能的标准和报告，真是令人鼓舞。为了评估这些人工智能系统并提高其可信度，来自学术卫生系统、医疗保健组织和行业合作伙伴的专家也在数据科学家、政策制定者以及在医疗保健领域开发和使用人工智能的更广泛社区之间建立联系。”ABCDS Oversight 表示董事 Nicoleta J. Economou-Zavlanos 博士也是 CHAI 的共同领导者。 “我们还受益于那些直接受这些人工智能技术影响的人的见解。 CHAI 致力于让所有利益相关者在如何管理这些极其强大的工具的辩论中拥有一席之地和发言权。”

健康人工智能联盟致力于创建“指导方针和护栏”这将有助于开发“可信、公平和透明”的健康人工智能系统。实现这一目标的第一步是建立一个框架，该框架是通过合作伙伴和利益相关者（包括最终用户和患者）之间的讨论和共识达成的。该框架将定义关键的规则、标准和准则，供那些在医疗保健领域开发、部署和使用人工智能系统的人员使用，以监控和评估其在给定应用程序生命周期中的性能。

CHAI 的近期目标之一是制定标准，打造健康人工智能系统，推动高质量护理、提高用户可信度并满足医疗保健需求。继 初步公告 CHAI 在过去几个月里一直在了解该组织的组建和意图 召开一系列虚拟会议，重点关注可测试性、可用性、安全性、透明度、可靠性和监控主题，通过说明性用例探索健康人工智能的不同兴趣领域。

这些会议最终形成了一次混合的面对面/虚拟会议（在人工智能伙伴关系的支持和戈登和贝蒂摩尔基金会的资助下），为制定一套指导方针和建议奠定了基础。每次会议都有一名陪同人员 “读出”纸 捕获会议演示和讨论。最近，联盟发布了一份 值得信赖的人工智能实施指南和医疗保障蓝图草案 并且是 征求公众意见和反馈.

杜克大学人工智能健康副主任、MPP 安德鲁·奥尔森 (Andrew Olson) 表示：“CHAI 真正令人兴奋的地方在于，它为利益相关者提供了一个机会，让他们围绕一个框架召集并达成共识，确保人工智能以真正有益于各个层面的方式得到使用。” 。

在一个 最近在 CHAI 网站上分享的博客文章联合主席迈克尔·彭西纳 (Michael Pencina) 强调，该联盟“坚定致力于使公平成为我们正在努力为医疗保健领域人工智能建立的道德框架的基石。” Pencina 进一步指出，与受健康人工智能影响的所有利益相关者进行有意义的接触对于培养对此类工具的信任至关重要。

除了杜克 AI Health 之外，CHAI 不断增长的合作伙伴还包括斯坦福大学、加州大学旧金山分校、约翰霍普金斯大学、加州大学伯克利分校、梅奥诊所、MITRE Health、Change Healthcare、微软公司、SAS 和谷歌等。美国食品和药物管理局对符合特定标准的健康人工智能应用进行监管，美国国立卫生研究院和国家健康信息技术协调员办公室的观察员也出席了最近的 CHAI 会议。

随着 CHAI 及其合作伙伴的工作继续进行，联邦层面也在开展补充性工作，FDA 发布了 最终指导 关于临床决策支持软件和 人工智能权利法案蓝图 由白宫科学技术政策办公室出版。

“我们正处于健康人工智能领域真正激动人心的时刻。每个人（患者、临床医生和卫生系统）都有巨大的潜力从这些功能中受益，”Pencina 指出。 “但是，”他补充道，“我们需要确保每个人都能分享这些好处，而这样做的关键是确保我们创建的工具能够为患者护理带来有意义的改善。”

原文来源： 杜克人工智能健康