De senaste åren har ett ökat intresse för användningen av artificiell intelligensverktyg för vårdtillämpningar, inklusive diagnos, riskprediktion, kliniskt beslutsstöd och resurshantering. Dessa algoritmiska verktyg kan hitta dolda mönster inom de enorma mängder data som finns i elektroniska patientjournaler (EPJ) och administrativa databaser, och sprider sig över hela patientvårdens värld. Ofta åtföljs hälso-AI-applikationer av försäkringar om deras potential för att göra medicinsk praktik bättre, säkrare och mer rättvis.

Verkligheten har dock visat sig vara mer komplex.

"AI för sjukvården går igenom en sorts "vilda västern"-period, säger Duke AI Health Director och vice dekan för datavetenskap Michael Pencina, PhD. "Många sjukhus och hälsosystem har gått igång på egen hand och byggt eller köpt system och kör dem på sina egna data, ibland med liten tillsyn."

Entusiasmen för att tillämpa AI-verktyg på några av sjukvårdens mest irriterande problem hjälper till att driva på antagandet av tekniker som tills relativt nyligen inte hade genomgått den typ av rigorös granskning som rutinmässigt tillämpas på läkemedel och medicinsk utrustning. Och för ett växande antal utövare och hälsosystem ökar oron över att vissa av dessa verktyg – av vilka många är utformade som outgrundlig "svart låda" system – kanske inte fungerar som de ska.

Dessa farhågor kom nyligen till en bredare allmänhetens medvetenhet när forskare vid University of Michigan undersökte prestandan hos ett algoritmiskt verktyg utformad för att uppmärksamma klinisk personal på eventuell förekomst av sepsis, ett allvarligt medicinskt tillstånd. Forskarna insåg att verktyget presterade sämre än förväntat i den verkliga världen av patientvård, flaggade obefintliga fall av sepsis och saknade faktiska fall. Med anledning av detta och andra exempel på felaktiga algoritmer har experter blivit alltmer bekymrade över potentialen för felaktigt fungerande AI-verktyg för att äventyra kvalitet och säkerhet eller för att förstärka befintliga orättvisor.

Behovet av algoritmisk tillsyn

Även om det finns många anledningar till att prestandan hos ett AI-system kan försämras, kan många spåras tillbaka till beslut som fattades under systemets designfas, och mest kritiskt, till skillnader mellan de data som används för att träna systemet jämfört med vilken typ av data systemet har. möter när det väl appliceras på kliniken. Av denna anledning måste algoritmiska verktyg noggrant valideras under skapandet, noggrant granskas under deras livscykler och kontinuerligt övervakas efter implementering.

"Det har blivit ganska tydligt att den nuvarande situationen måste förändras", säger Pencina, som noterar att ett stort intresse för att etablera delade bästa praxis och gemensamma metoder för att reglera AI-vårdverktyg har byggts upp under en tid.

På Duke har denna oro faktiskt översatts till skapandet av ett system för styrning och tillsyn för AI-verktyg. Döpt till Algoritmbaserat kliniskt beslutsstöd (ABCDS) Övervakning Kommittén och medordförande av Pencina och av Duke Health Chief Health Information Officer Eric Poon, MD, ABCDS Oversight representerar ett samarbete som omfattar både Duke University och Duke University Health System.

"ABCDS Oversight tillåter oss att säkerställa att kvalitet och rättvisa är inbyggda i alla de algoritmiska verktyg som utvecklats eller används på Duke Health", säger Poon. "Vi har utvecklat ett tillvägagångssätt som sammankallar experter från alla relevanta domäner – AI, klinisk specialitet, IT, reglering och mer. Dessa experter erbjuder input och vägledning i de tidigaste stadierna av modellutvecklingen. Tanken är att säkerställa att verktyg visar inverkan på huvudmålet att förbättra hur vi levererar patientvård.”

Bidrar till den större bilden

Med tanke på Dukes tidiga antagande av rigorösa tillvägagångssätt för algoritmisk tillsyn är det föga förvånande att se det ta på sig en roll i ett nytt nationellt konsortium, Coalition for Health AI (CHAI), det vill säga att sammankalla experter från akademi, industri och tillsynsmyndigheter för att tröska ut brådskande frågor relaterade till den etiska och rättvisa användningen av AI-verktyg för hälsa och hälsovård. De främsta bland dessa är behovet av att harmonisera flera konkurrerande rekommendationer för rapporteringsstandarder och att säkerställa att rättvisa och rättvisa är inbyggda i hälso-AI-system från grunden.

Dessa är kritiska överväganden, eftersom slutanvändare, patienter och konsumenter kanske inte litar på AI-system om delade standarder och riktlinjer inte förstås tydligt – eller ännu värre, saknas helt och hållet. Transparens och pålitlighet är nyckeln till att säkerställa att hälso-AI-praxis effektivt kan tillämpas för att förbättra vården för de underbetjänade och underrepresenterade patienter och samhällen som är mest påverkade av orättvisa.

"Det är inspirerande att se AI- och datavetenskapsgemenskapen gå samman för att harmonisera standarder och rapportering för högkvalitativ, rättvis och pålitlig hälso-AI. För att utvärdera dessa AI-system och öka deras trovärdighet kopplar experter från akademiska hälsosystem, hälso- och sjukvårdsorganisationer och branschpartners också samman prickarna mellan datavetare, beslutsfattare och det bredare samhället av dem som utvecklar och använder AI i sjukvården, säger ABCDS Oversight Direktör Nicoleta J. Economou-Zavlanos, PhD, som också är med och leder CHAI:s insatser. "Vi drar också nytta av insikterna från de som är direkt påverkade av dessa AI-tekniker. CHAI är fast besluten att ge alla intressenter en plats vid bordet och en röst i debatten om hur man ska styra dessa otroligt kraftfulla verktyg.”

The Coalition for Health AI försöker skapa "riktlinjer och skyddsräcken" som kommer att möjliggöra utvecklingen av hälso-AI-system som är "trovärdiga, rättvisa och transparenta." Ett första steg mot detta mål är ett ramverk som kommit fram genom diskussion och konsensus mellan partners och intressenter, inklusive slutanvändare och patienter. Ramverket kommer att definiera nyckelföreskrifter, standarder och kriterier som kommer att användas av dem som utvecklar, distribuerar och använder AI-system inom vården för att övervaka och utvärdera deras prestanda under en given applikations livscykel.

Ett av CHAI:s omedelbara mål är att sätta standarder som kommer att resultera i hälso-AI-system som kan driva högkvalitativ vård, öka trovärdigheten bland användarna och möta vårdbehov. Efter en första tillkännagivandet av gruppens bildande och avsikt har CHAI tillbringat de senaste månaderna sammankalla en serie virtuella möten, fokuserat på teman testbarhet, användbarhet, säkerhet, transparens, tillförlitlighet och övervakning för att utforska olika intresseområden inom hälso-AI genom illustrativa användningsfall.

Dessa möten kulminerade i ett hybrid personligt/virtuellt möte (med stöd från Partnership on AI och finansiering från Gordon and Betty Moore Foundation) som satte scenen för skapandet av en uppsättning riktlinjer och rekommendationer. Varje möte har åtföljts av en "avläsningspapper". fånga mötespresentationer och diskussioner. Senast har koalitionen släppt en Utkast till Blueprint för pålitlig AI-implementeringsvägledning och garanti för hälso- och sjukvård och är begära kommentarer och feedback från allmänheten.

"Det som är riktigt spännande med CHAI är att det representerar en möjlighet för intressenter att samlas och bygga konsensus kring ett ramverk som kommer att säkerställa att AI används på sätt som verkligen är fördelaktiga på alla nivåer," säger Duke AI Health Associate Director Andrew Olson, MPP .

I en blogginlägg nyligen delat på CHAI:s webbplats, medordförande Michael Pencina underströk koalitionens "starka engagemang för att göra rättvisa till hörnstenen i det etiska ramverk som vi försöker bygga för AI inom hälso- och sjukvården." Pencina noterade vidare att förmågan att engagera sig meningsfullt med alla intressenter som påverkas av hälso-AI var avgörande för att främja förtroende för sådana verktyg.

Förutom Duke AI Health inkluderar CHAIs växande lista med partners bland annat Stanford University, UC San Francisco, Johns Hopkins University, UC Berkeley, Mayo Clinic, MITER Health, Change Healthcare, Microsoft Corporation, SAS och Google. Observatörer från US Food and Drug Administration, som utövar tillsyn över hälso-AI-tillämpningar som uppfyller vissa kriterier, och från National Institutes of Health och Office of the National Coordinator for Health Information Technology, var också närvarande vid de senaste CHAI-mötena.

När arbetet av CHAI och dess partners fortsätter, pågår kompletterande ansträngningar också på federal nivå, med FDA:s publicering av en slutlig vägledning rörande programvara för klinisk beslutsstöd och a Ritning för en AI Bill of Rights publicerad av Vita husets Office of Science and Technology Policy.

"Vi befinner oss i ett verkligt spännande ögonblick inom hälso-AI. Det finns bara en enorm potential för alla – patienter, läkare och hälsosystem – att dra nytta av dessa möjligheter”, konstaterar Pencina. "Men", tillägger han, "vi måste se till att alla får ta del av dessa fördelar, och nyckeln till att göra det är att säkerställa att de verktyg vi skapar ger meningsfulla förbättringar för patientvården."

Ursprunglig artikelkälla: Duke AI Health