I de seneste år har der været en stigende interesse for brugen af kunstig intelligens-værktøjer til sundhedsapplikationer, herunder diagnose, risikoforudsigelse, klinisk beslutningsstøtte og ressourcestyring. Disse algoritmiske værktøjer er i stand til at finde skjulte mønstre inden for de enorme mængder data, der findes i elektroniske patientjournaler (EPJ'er) og administrative databaser, og spreder sig over hele verden af patientbehandling. Ofte er sundheds-AI-applikationer ledsaget af forsikringer om deres potentiale for at gøre medicinsk praksis bedre, sikrere og mere retfærdig.

Virkeligheden har dog vist sig at være mere kompleks.

"AI til sundhedspleje gennemgår en slags 'vilde vesten'-periode," siger Duke AI Health Director og vicedekan for datavidenskab Michael Pencina, PhD. "Mange hospitaler og sundhedssystemer er gået i gang på egen hånd og har bygget eller købt systemer og kører dem på deres egne data, nogle gange med lidt tilsyn."

Entusiasme for at anvende AI-værktøjer til nogle af sundhedsvæsenets mest irriterende problemer er med til at drive adoptionen af teknologier, der indtil relativt for nylig ikke havde gennemgået den slags strenge undersøgelser, der rutinemæssigt anvendes på lægemidler og medicinsk udstyr. Og for et voksende antal praktiserende læger og sundhedssystemer stiger bekymringerne over, at nogle af disse værktøjer - hvoraf mange er designet som uudgrundelig "sort boks" systemer – fungerer muligvis ikke, som de burde.

Disse bekymringer kom for nylig til bredere offentlig bevidsthed, da forskere ved University of Michigan undersøgt ydeevnen af et algoritmisk værktøj designet til at advare klinisk personale om mulig tilstedeværelse af sepsis, en alvorlig medicinsk tilstand. Forskerne indså, at værktøjet præsterede dårligere end forventet i den virkelige verden af patientbehandling, og markerede ikke-eksisterende tilfælde af sepsis og manglende faktiske tilfælde. På grund af dette og andre eksempler på fejlagtige algoritmer er eksperter blevet mere og mere bekymrede over potentialet for fejlfunktion af AI-værktøjer for at kompromittere kvalitet og sikkerhed eller for at forstærke eksisterende uligheder.

Behovet for algoritmisk overvågning

Selvom der er mange grunde til, at ydeevnen af et AI-system kan falde, kan mange spores tilbage til beslutninger, der er truffet under systemets designfase, og mest kritisk til forskelle mellem de data, der bruges til at træne systemet i forhold til den slags data, systemet har. støder på, når det først er påført i klinikken. Af denne grund skal algoritmiske værktøjer omhyggeligt valideres under deres oprettelse, nøje granskes gennem deres livscyklus og løbende overvåges efter implementering.

"Det er blevet helt klart, at den nuværende situation er nødt til at ændre sig," siger Pencina, som bemærker, at der i et stykke tid er opbygget en stor interesse for at etablere fælles bedste praksis og fælles tilgange til regulering af AI-sundhedsværktøjer.

Hos Duke har denne bekymring faktisk udmøntet sig i oprettelsen af et system med styring og tilsyn med AI-værktøjer. Døbt til Algoritmebaseret Clinical Decision Support (ABCDS) Tilsyn Udvalg og medformand af Pencina og af Duke Health Chief Health Information Officer Eric Poon, MD, ABCDS Oversight repræsenterer et samarbejde, der spænder over både Duke University og Duke University Health System.

"ABCDS Oversight giver os mulighed for at sikre, at kvalitet og retfærdighed er indbygget i alle de algoritmiske værktøjer, der er udviklet eller brugt hos Duke Health," siger Poon. "Vi har udviklet en tilgang, der indkalder eksperter fra alle relevante domæner – AI, klinisk specialepraksis, IT, regulering og mere. Disse eksperter tilbyder input og vejledning på de tidligste stadier af modeludvikling. Idéen er at sikre, at værktøjer viser indflydelse på hovedmålet om at forbedre, hvordan vi leverer patientbehandling."

Bidrage til det større billede

I betragtning af Dukes tidlige vedtagelse af strenge tilgange til algoritmisk overvågning, er det ikke overraskende at se det påtage sig en rolle i et nyt nationalt konsortium, Coalition for Health AI (CHAI), det vil sige at indkalde eksperter fra den akademiske verden, industrien og regulerende agenturer for at udrydde presserende spørgsmål relateret til den etiske og retfærdige brug af AI-værktøjer til sundhed og sundhedspleje. De vigtigste blandt disse er behovet for at harmonisere flere konkurrerende anbefalinger til rapporteringsstandarder og sikre, at retfærdighed og lighed er indbygget i sundheds-AI-systemer fra bunden.

Disse er kritisk vigtige overvejelser, fordi slutbrugere, patienter og forbrugere måske ikke har tillid til AI-systemer, hvis delte standarder og retningslinjer ikke er klart forstået – eller endnu værre, mangler helt. Gennemsigtighed og troværdighed er nøglen til at sikre, at sundhed AI-praksis kan anvendes effektivt til at forbedre plejen til de undertjente og underrepræsenterede patienter og samfund, som er mest påvirket af ulighed.

"Det er inspirerende at se AI og datavidenskabssamfundet mødes for at harmonisere standarder og rapportering for højkvalitets, retfærdig og troværdig sundheds-AI. For at evaluere disse AI-systemer og øge deres troværdighed forbinder eksperter fra akademiske sundhedssystemer, sundhedsorganisationer og industripartnere også prikkerne mellem datavidenskabsmænd, politiske beslutningstagere og det bredere fællesskab af dem, der udvikler og bruger AI i sundhedsvæsenet," siger ABCDS Oversight Direktør Nicoleta J. Economou-Zavlanos, PhD, som også er med til at lede CHAIs indsats. "Vi nyder også godt af indsigten fra dem, der er direkte påvirket af disse AI-teknologier. CHAI er forpligtet til at give alle interessenter en plads ved bordet og en stemme i debatten om, hvordan man styrer disse utroligt kraftfulde værktøjer."

Coalition for Health AI søger at skabe "guidelines og autoværn", der vil muliggøre udviklingen af sundheds-AI-systemer, der er "troværdige, retfærdige og gennemsigtige." Et første skridt mod dette mål er en ramme, der er nået frem til gennem diskussion og konsensus blandt partnere og interessenter, herunder slutbrugere og patienter. Rammen vil definere centrale forskrifter, standarder og kriterier, der vil blive brugt af dem, der udvikler, implementerer og bruger AI-systemer i sundhedsvæsenet til at overvåge og evaluere deres ydeevne gennem en given applikations livscyklus.

Et af CHAIs umiddelbare mål er at sætte standarder, der vil resultere i sundheds-AI-systemer, der kan drive pleje af høj kvalitet, øge troværdigheden blandt brugerne og imødekomme sundhedsplejebehov. Efter en første meddelelse af gruppens dannelse og hensigt, har CHAI brugt de sidste par måneder indkaldelse til en række virtuelle møder, fokuseret på temaerne testbarhed, brugervenlighed, sikkerhed, gennemsigtighed, pålidelighed og overvågning for at udforske forskellige interesseområder inden for sundheds-AI gennem illustrative use cases.

Disse møder kulminerede i et hybridt personligt/virtuelt møde (med støtte fra Partnership on AI og finansiering fra Gordon and Betty Moore Foundation), der satte scenen for oprettelsen af et sæt retningslinjer og anbefalinger. Hvert møde har været ledsaget af en "udlæsnings" papir optagelse af mødepræsentationer og diskussioner. Senest har koalitionen udgivet en Udkast til Blueprint for pålidelig AI-implementeringsvejledning og -forsikring for sundhedspleje og er indhente kommentarer og feedback fra offentligheden.

"Det, der virkelig er spændende ved CHAI, er, at det repræsenterer en mulighed for interessenter til at mødes og skabe konsensus omkring en ramme, der vil sikre, at AI bliver brugt på måder, der er virkelig gavnlige på alle niveauer," siger Duke AI Health Associate Director Andrew Olson, MPP .

I en blogindlæg for nylig delt på CHAI's hjemmeside, understregede medformand Michael Pencina koalitionens "stærke forpligtelse til at gøre retfærdighed til hjørnestenen i den etiske ramme, vi forsøger at bygge for kunstig intelligens i sundhedssektoren." Pencina bemærkede endvidere, at evnen til at engagere sig meningsfuldt med alle interessenter, der er berørt af sundheds-AI, var afgørende for at skabe tillid til sådanne værktøjer.

Ud over Duke AI Health omfatter CHAIs voksende liste af partnere blandt andre Stanford University, UC San Francisco, Johns Hopkins University, UC Berkeley, Mayo Clinic, MITER Health, Change Healthcare, Microsoft Corporation, SAS og Google. Observatører fra US Food and Drug Administration, som udøver regulatorisk tilsyn med sundheds-AI-applikationer, der opfylder visse kriterier, og fra National Institutes of Health og Office of the National Coordinator for Health Information Technology, var også til stede ved de seneste CHAI-møder.

Efterhånden som CHAI og dets partneres arbejde fortsætter, er supplerende indsats også i gang på føderalt niveau med FDA's offentliggørelse af en endelig vejledning vedrørende klinisk beslutningsstøttesoftware og en Blueprint for en AI Bill of Rights udgivet af Det Hvide Hus Office of Science and Technology Policy.

"Vi befinder os i et virkelig spændende øjeblik inden for sundheds-AI. Der er bare et enormt potentiale for alle – patienter, klinikere og sundhedssystemer – til at drage fordel af disse muligheder,” bemærker Pencina. "Men," tilføjer han, "vi er nødt til at sikre, at alle får del i disse fordele, og nøglen til at gøre det er at sikre, at de værktøjer, vi skaber, leverer meningsfulde forbedringer for patientbehandlingen."

Original artikelkilde: Duke AI Health