In den letzten Jahren ist das Interesse am Einsatz von Tools der künstlichen Intelligenz für Anwendungen im Gesundheitswesen gewachsen, darunter Diagnose, Risikovorhersage, klinische Entscheidungsunterstützung und Ressourcenmanagement. Diese algorithmischen Tools sind in der Lage, versteckte Muster in den enormen Datenmengen zu finden, die in elektronischen Patientenakten (EHRs) und Verwaltungsdatenbanken enthalten sind, und verbreiten sich in der gesamten Welt der Patientenversorgung. Häufig gehen KI-Anwendungen im Gesundheitswesen mit der Zusicherung einher, dass sie das Potenzial haben, die medizinische Praxis besser, sicherer und gerechter zu machen.

Die Realität hat sich jedoch als komplexer erwiesen.

„KI für das Gesundheitswesen erlebt gerade eine Art ‚Wild-West‘-Periode“, sagt Michael Pencina, PhD, Duke AI Health Director und Vizedekan für Datenwissenschaft. „Viele Krankenhäuser und Gesundheitssysteme haben sich selbstständig gemacht und Systeme gebaut oder gekauft, die sie mit ihren eigenen Daten betreiben, manchmal ohne große Kontrolle.“

Die Begeisterung für die Anwendung von KI-Tools auf einige der schwierigsten Probleme des Gesundheitswesens trägt dazu bei, die Einführung von Technologien voranzutreiben, die bis vor relativ kurzer Zeit nicht der strengen Prüfung unterzogen wurden, die routinemäßig bei Arzneimitteln und medizinischen Geräten angewendet wird. Und bei einer wachsenden Zahl von Ärzten und Gesundheitssystemen wächst die Sorge, dass einige dieser Tools – von denen viele als solche konzipiert sind undurchschaubare „Black Box“ Systeme – funktionieren möglicherweise nicht so, wie sie sollten.

Diese Bedenken wurden kürzlich von Forschern der University of Michigan einer breiteren Öffentlichkeit bewusst untersuchte die Leistung eines algorithmischen Tools Entwickelt, um das Klinikpersonal auf das mögliche Vorliegen einer Sepsis, einer schwerwiegenden Erkrankung, aufmerksam zu machen. Die Forscher stellten fest, dass das Tool in der realen Welt der Patientenversorgung eine schlechtere Leistung erbrachte als erwartet, da es nicht vorhandene Fälle von Sepsis anzeigte und tatsächliche Fälle überging. Aufgrund dieses und anderer Beispiele fehlerhafter Algorithmen machen sich Experten zunehmend Sorgen darüber, dass fehlerhafte KI-Tools die Qualität und Sicherheit beeinträchtigen oder bestehende Ungleichheiten verstärken könnten.

Die Notwendigkeit einer algorithmischen Überwachung

Obwohl es zahlreiche Gründe gibt, warum die Leistung eines KI-Systems nachlassen kann, lassen sich viele auf Entscheidungen zurückführen, die während der Entwurfsphase des Systems getroffen wurden, und vor allem auf Unterschiede zwischen den zum Trainieren des Systems verwendeten Daten und den Arten von Daten, die das System verwendet Begegnungen, sobald es in der Klinik angewendet wird. Aus diesem Grund müssen algorithmische Tools während ihrer Erstellung sorgfältig validiert, während ihres gesamten Lebenszyklus genau geprüft und nach der Bereitstellung kontinuierlich überwacht werden.

„Es ist ganz klar geworden, dass sich die aktuelle Situation ändern muss“, sagt Pencina, der feststellt, dass seit einiger Zeit ein wachsendes Interesse an der Etablierung gemeinsamer Best Practices und gemeinsamer Ansätze zur Regulierung von KI-Tools für das Gesundheitswesen besteht.

Tatsächlich hat sich dieses Anliegen bei Duke in der Schaffung eines Governance- und Aufsichtssystems für KI-Tools niedergeschlagen. Genannt Überwachung der algorithmenbasierten klinischen Entscheidungsunterstützung (ABCDS). Unter dem gemeinsamen Vorsitz von Pencina und Eric Poon, MD, Chief Health Information Officer von Duke Health, stellt ABCDS Oversight eine Zusammenarbeit dar, die sowohl die Duke University als auch das Gesundheitssystem der Duke University umfasst.

„Mit ABCDS Oversight können wir sicherstellen, dass Qualität und Gerechtigkeit in alle bei Duke Health entwickelten oder verwendeten algorithmischen Tools integriert sind“, sagt Poon. „Wir haben einen Ansatz entwickelt, der Experten aus allen relevanten Bereichen zusammenbringt – KI, klinische Fachpraxis, IT, Regulierung und mehr. Diese Experten bieten Input und Anleitung in den frühesten Phasen der Modellentwicklung. Die Idee besteht darin, sicherzustellen, dass die Tools einen Einfluss auf das Hauptziel einer Verbesserung der Patientenversorgung haben.“

Beitrag zum Gesamtbild

Angesichts der frühen Einführung strenger Ansätze zur algorithmischen Überwachung durch Duke ist es nicht überraschend, dass das Unternehmen eine Rolle in einem neuen nationalen Konsortium übernimmt, dem Koalition für Gesundheits-KI (CHAI), das Experten aus Wissenschaft, Industrie und Regulierungsbehörden zusammenbringt, um dringende Fragen im Zusammenhang mit der ethischen und gerechten Nutzung von KI-Tools für Gesundheit und Gesundheitsfürsorge zu erörtern. Dazu gehört vor allem die Notwendigkeit, mehrere konkurrierende Empfehlungen für Berichtsstandards zu harmonisieren und sicherzustellen, dass Fairness und Gerechtigkeit von Grund auf in Gesundheits-KI-Systeme integriert sind.

Dies sind äußerst wichtige Überlegungen, da Endbenutzer, Patienten und Verbraucher möglicherweise kein Vertrauen in KI-Systeme haben, wenn gemeinsame Standards und Richtlinien nicht klar verstanden werden – oder schlimmer noch, wenn sie ganz fehlen. Transparenz und Vertrauenswürdigkeit sind der Schlüssel, um sicherzustellen, dass Gesundheits-KI-Praktiken effektiv eingesetzt werden können, um die Versorgung der unterversorgten und unterrepräsentierten Patienten und Gemeinschaften, die am stärksten von Ungleichheit betroffen sind, zu verbessern.

„Es ist inspirierend zu sehen, wie die KI- und Datenwissenschaftsgemeinschaft zusammenkommt, um Standards und Berichterstattung für hochwertige, faire und vertrauenswürdige Gesundheits-KI zu harmonisieren. Um diese KI-Systeme zu bewerten und ihre Glaubwürdigkeit zu erhöhen, verbinden Experten aus akademischen Gesundheitssystemen, Gesundheitsorganisationen und Industriepartnern auch die Verbindungen zwischen Datenwissenschaftlern, politischen Entscheidungsträgern und der breiteren Gemeinschaft derjenigen, die KI im Gesundheitswesen entwickeln und einsetzen“, sagt ABCDS Oversight Direktorin Nicoleta J. Economou-Zavlanos, PhD, die auch die Bemühungen von CHAI mitleitet. „Wir profitieren auch von den Erkenntnissen derer, die direkt von diesen KI-Technologien betroffen sind. CHAI ist bestrebt, allen Beteiligten einen Platz am Tisch und eine Stimme in der Debatte darüber zu geben, wie diese unglaublich leistungsstarken Instrumente verwaltet werden sollen.“

Die Coalition for Health AI möchte „Richtlinien und Leitplanken„Das wird die Entwicklung von Gesundheits-KI-Systemen ermöglichen, die „glaubwürdig, fair und transparent“ sind. Ein erster Schritt in Richtung dieses Ziels ist ein Rahmenwerk, das durch Diskussion und Konsens zwischen Partnern und Interessengruppen, einschließlich Endbenutzern und Patienten, zustande kommt. Das Framework definiert wichtige Grundsätze, Standards und Kriterien, die von denjenigen verwendet werden, die KI-Systeme im Gesundheitswesen entwickeln, einsetzen und verwenden, um deren Leistung während des gesamten Lebenszyklus einer bestimmten Anwendung zu überwachen und zu bewerten.

Eines der unmittelbaren Ziele von CHAI besteht darin, Standards zu setzen, die zu Gesundheits-KI-Systemen führen, die eine qualitativ hochwertige Pflege fördern, die Glaubwürdigkeit bei den Benutzern erhöhen und den Gesundheitsbedürfnissen gerecht werden können. Im Anschluss an eine erste Ankündigung CHAI hat sich in den letzten Monaten intensiv mit der Gründung und Absicht der Gruppe befasst Einberufung einer Reihe virtueller Treffen, konzentrierte sich auf die Themen Testbarkeit, Benutzerfreundlichkeit, Sicherheit, Transparenz, Zuverlässigkeit und Überwachung, um anhand anschaulicher Anwendungsfälle verschiedene Interessensbereiche der Gesundheits-KI zu erkunden.

Diese Treffen gipfelten in einem hybriden persönlichen/virtuellen Treffen (mit Unterstützung der Partnership on AI und Finanzierung durch die Gordon and Betty Moore Foundation), das den Grundstein für die Erstellung einer Reihe von Richtlinien und Empfehlungen legte. Jedes Treffen wurde von einem begleitet „Vorlese“-Papier Erfassen von Besprechungspräsentationen und Diskussionen. Zuletzt hat die Koalition eine veröffentlicht Entwurf eines Entwurfs für eine vertrauenswürdige KI-Implementierungsanleitung und -sicherung für das Gesundheitswesen und ist Einholen von Kommentaren und Feedback aus der Öffentlichkeit.

„Das wirklich Spannende an CHAI ist, dass es den Stakeholdern die Möglichkeit bietet, zusammenzukommen und einen Konsens über einen Rahmen zu erzielen, der sicherstellt, dass KI auf allen Ebenen auf eine Weise eingesetzt wird, die wirklich von Nutzen ist“, sagt Andrew Olson, MPP, stellvertretender Direktor von Duke AI Health .

In einem Blogbeitrag, der kürzlich auf der CHAI-Website veröffentlicht wurde, Co-Vorsitzender Michael Pencina, betonte das „starke Engagement der Koalition, Gerechtigkeit zum Eckpfeiler des ethischen Rahmens zu machen, den wir für KI im Gesundheitswesen zu schaffen versuchen.“ Pencina wies ferner darauf hin, dass die Fähigkeit, sinnvoll mit allen von Gesundheits-KI betroffenen Interessengruppen zusammenzuarbeiten, für die Förderung des Vertrauens in solche Tools von entscheidender Bedeutung sei.

Zu CHAIs wachsender Partnerliste gehören neben Duke AI Health unter anderem die Stanford University, die UC San Francisco, die Johns Hopkins University, die UC Berkeley, die Mayo Clinic, MITRE Health, Change Healthcare, Microsoft Corporation, SAS und Google. Bei den jüngsten CHAI-Treffen waren auch Beobachter der US-amerikanischen Food and Drug Administration anwesend, die die Regulierungsaufsicht über Gesundheits-KI-Anwendungen ausübt, die bestimmte Kriterien erfüllen, sowie von den National Institutes of Health und dem Office of the National Coordinator for Health Information Technology.

Während die Arbeit von CHAI und seinen Partnern fortgesetzt wird, sind auch auf Bundesebene ergänzende Bemühungen im Gange, wie zum Beispiel die Veröffentlichung eines Dokuments der FDA letzte Anleitung in Bezug auf klinische Entscheidungsunterstützungssoftware und a Blaupause für eine KI-Bill of Rights herausgegeben vom Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses.

„Wir befinden uns in einem wirklich aufregenden Moment in der Gesundheits-KI. Es besteht einfach ein enormes Potenzial für alle – Patienten, Ärzte und Gesundheitssysteme –, von diesen Möglichkeiten zu profitieren“, bemerkt Pencina. „Aber“, fügt er hinzu, „müssen wir sicherstellen, dass jeder an diesen Vorteilen teilhaben kann, und der Schlüssel dazu liegt darin, sicherzustellen, dass die von uns entwickelten Tools sinnvolle Verbesserungen für die Patientenversorgung bewirken.“

Originalquelle des Artikels: Duke AI Health