최근 몇 년 동안 진단, 위험 예측, 임상 결정 지원, 자원 관리 등 의료 애플리케이션을 위한 인공 지능 도구 사용에 대한 관심이 높아지고 있습니다. 환자 전자 건강 기록(EHR) 및 관리 데이터베이스에 있는 엄청난 양의 데이터 내에서 숨겨진 패턴을 찾을 수 있는 이러한 알고리즘 도구는 환자 치료 전반에 걸쳐 확산되고 있습니다. 종종 의료 AI 애플리케이션에는 의료 행위를 더 좋고, 안전하고, 공정하게 만들 수 있는 잠재력이 보장됩니다.

그러나 현실은 더욱 복잡한 것으로 드러났다.

Duke AI Health 이사이자 데이터 과학 부문 부학장인 Michael Pencina 박사는 “헬스케어용 AI는 일종의 '와일드 웨스트(Wild West)' 시대를 겪고 있습니다. "많은 병원과 의료 시스템이 자체적으로 시스템을 구축하거나 구매하여 자체 데이터를 기반으로 실행하고 있으며 때로는 거의 감독하지 않습니다."

의료 분야의 가장 까다로운 문제에 AI 도구를 적용하려는 열정은 비교적 최근까지 약물 및 의료 기기에 일상적으로 적용되는 엄격한 조사를 거치지 않았던 기술의 채택을 촉진하는 데 도움이 됩니다. 그리고 점점 더 많은 의사와 의료 시스템에 대해 이러한 도구 중 일부가 다음과 같이 설계되었다는 우려가 커지고 있습니다. 알 수 없는 '블랙박스' 시스템 – 제대로 작동하지 않을 수 있습니다.

이러한 우려는 최근 미시간 대학의 연구자들이 대중에게 널리 알려지게 되었습니다. 알고리즘 도구의 성능을 조사했습니다. 심각한 의학적 상태인 패혈증의 존재 가능성을 임상 직원에게 경고하도록 설계되었습니다. 연구원들은 이 도구가 실제 환자 치료 세계에서 예상보다 성능이 저하되어 존재하지 않는 패혈증 사례를 표시하고 실제 사례가 누락된다는 사실을 깨달았습니다. 이 사례와 잘못된 알고리즘의 다른 사례를 통해 전문가들은 AI 도구가 오작동하여 품질과 안전을 손상시키거나 기존 불평등을 강화할 가능성에 대해 점점 더 우려하고 있습니다.

알고리즘 감독의 필요성

AI 시스템의 성능이 저하되는 데는 여러 가지 이유가 있지만 그 원인 중 상당수는 시스템 설계 단계에서 내려진 결정으로 거슬러 올라갈 수 있으며, 가장 중요한 것은 시스템 훈련에 사용되는 데이터와 시스템이 사용하는 데이터 종류 간의 차이입니다. 일단 클리닉에 적용되면 마주하게 됩니다. 이러한 이유로 알고리즘 도구는 생성 중에 신중하게 검증되고, 수명 주기 전반에 걸쳐 면밀히 조사되고, 배포 후에는 지속적으로 모니터링되어야 합니다.

Pencina는 "현재 상황이 바뀌어야 한다는 것이 매우 분명해졌습니다."라고 Pencina는 말했습니다. Pencina는 AI 의료 도구를 규제하기 위한 공유된 모범 사례와 공통 접근 방식을 확립하는 데 대한 관심이 한동안 고조되어 왔다고 말합니다.

실제로 Duke에서는 이러한 우려가 AI 도구에 대한 거버넌스 및 감독 시스템 구축으로 이어졌습니다. 더빙 알고리즘 기반 임상 결정 지원(ABCDS) 감독 Pencina와 Duke Health의 최고 건강 정보 책임자인 Eric Poon, MD가 위원회를 공동 의장으로 맡고 있는 ABCDS Oversight는 Duke University와 Duke University Health System을 아우르는 협력을 대표합니다.

Poon은 "ABCDS Oversight를 통해 Duke Health에서 개발 또는 사용되는 모든 알고리즘 도구에 품질과 형평성이 구축되도록 보장할 수 있습니다."라고 말합니다. “우리는 AI, 임상 전문 실무, IT, 규제 등 모든 관련 영역의 전문가를 소집하는 접근 방식을 발전시켰습니다. 이러한 전문가는 모델 개발의 초기 단계에서 의견과 지침을 제공합니다. 목표는 도구가 환자 치료 제공 방식을 개선한다는 주요 목표에 영향을 미치는지 확인하는 것입니다.”

더 큰 그림에 기여

Duke가 알고리즘 감독에 대한 엄격한 접근 방식을 조기에 채택한 것을 고려하면 Duke가 새로운 국가 컨소시엄인 건강 AI 연합(CHAI), 이는 학계, 산업계, 규제 기관의 전문가들을 소집하여 건강 및 의료를 위한 AI 도구의 윤리적이고 공평한 사용과 관련된 긴급 문제를 해결하는 것입니다. 그 중 가장 중요한 것은 보고 표준에 대한 여러 경쟁 권장 사항을 조화시키고 처음부터 의료 AI 시스템에 공정성과 형평성을 구축해야 한다는 것입니다.

공유된 표준과 지침이 명확하게 이해되지 않거나 더 나쁘게는 완전히 누락된 경우 최종 사용자, 환자 및 소비자가 AI 시스템을 신뢰하지 않을 수 있기 때문에 이는 매우 중요한 고려 사항입니다. 투명성과 신뢰성은 의료 AI 관행을 효과적으로 적용하여 불평등의 영향을 가장 많이 받는 의료 서비스를 충분히 받지 못하고 대표성이 부족한 환자와 지역 사회에 대한 치료를 개선할 수 있도록 보장하는 핵심입니다.

“AI와 데이터 과학 커뮤니티가 함께 모여 고품질의 공정하고 신뢰할 수 있는 건강 AI에 대한 표준과 보고를 조화시키는 모습을 보는 것은 고무적입니다. 이러한 AI 시스템을 평가하고 신뢰성을 높이기 위해 학술 의료 시스템, 의료 기관 및 업계 파트너의 전문가들은 데이터 과학자, 정책 입안자 및 의료 분야에서 AI를 개발하고 사용하는 광범위한 커뮤니티 간의 점을 연결하고 있습니다.”라고 ABCDS Oversight는 말합니다. CHAI의 노력을 공동으로 이끌고 있는 Nicoleta J. Economou-Zavlanos 이사, PhD. “우리는 또한 이러한 AI 기술의 직접적인 영향을 받는 사람들의 통찰력으로부터 이익을 얻고 있습니다. CHAI는 모든 이해관계자에게 이 믿을 수 없을 만큼 강력한 도구를 관리하는 방법에 대한 토론에 참여하고 목소리를 낼 수 있도록 최선을 다하고 있습니다.”

건강 AI 연합은 “지침과 가드레일” 이를 통해 “신뢰할 수 있고 공정하며 투명한” 의료 AI 시스템 개발을 가능하게 할 것입니다. 이 목표를 향한 첫 번째 단계는 최종 사용자와 환자를 포함한 파트너와 이해관계자 간의 토론과 합의를 통해 도달한 프레임워크입니다. 이 프레임워크는 의료 분야에서 AI 시스템을 개발, 배포 및 사용하는 사람들이 특정 애플리케이션의 수명 주기 전반에 걸쳐 성능을 모니터링하고 평가하는 데 사용할 핵심 교훈, 표준 및 기준을 정의합니다.

CHAI의 즉각적인 목표 중 하나는 고품질 의료를 추진하고 사용자 간의 신뢰도를 높이며 의료 요구 사항을 충족할 수 있는 의료 AI 시스템을 만드는 표준을 설정하는 것입니다. 다음 최초 발표 그룹의 결성과 의도에 대해 CHAI는 지난 몇 달 동안 일련의 가상 회의 소집, 예시적인 사용 사례를 통해 건강 AI의 다양한 관심 영역을 탐색하기 위해 테스트 가능성, 유용성, 안전성, 투명성, 신뢰성 및 모니터링이라는 주제에 중점을 두었습니다.

이러한 회의는 일련의 지침과 권장 사항 작성을 위한 기반을 마련한 하이브리드 대면/가상 회의(AI 파트너십의 지원 및 Gordon and Betty Moore 재단의 자금 지원)로 마무리되었습니다. 각 회의에는 "읽기" 종이 회의 프레젠테이션과 토론을 캡처합니다. 최근 연합에서는 다음과 같은 내용을 발표했습니다. 의료 분야에 대한 신뢰할 수 있는 AI 구현 지침 및 보증을 위한 청사진 초안 그리고는 대중으로부터 의견과 피드백을 요청합니다..

MPP의 Duke AI Health 부소장인 Andrew Olson은 "CHAI의 가장 흥미로운 점은 AI가 모든 수준에서 진정으로 유익한 방식으로 사용될 수 있도록 보장하는 프레임워크에 대해 이해관계자들이 소집하고 합의를 구축할 수 있는 기회를 제공한다는 것입니다."라고 말했습니다. .

안에 최근 CHAI 웹사이트에 공유된 블로그 게시물, 마이클 펜시나(Michael Pencina) 공동의장은 “의료 분야 AI를 위해 구축하려는 윤리적 프레임워크의 초석을 형평성으로 만들겠다는 연합의 강력한 의지”를 강조했습니다. Pencina는 또한 의료 AI의 영향을 받는 모든 이해관계자와 의미 있게 소통할 수 있는 능력이 그러한 도구에 대한 신뢰를 키우는 데 필수적이라고 지적했습니다.

Duke AI Health 외에도 CHAI의 파트너 목록에는 Stanford University, UC San Francisco, Johns Hopkins University, UC Berkeley, Mayo Clinic, MITRE Health, Change Healthcare, Microsoft Corporation, SAS 및 Google 등이 포함됩니다. 특정 기준을 충족하는 건강 AI 애플리케이션에 대한 규제 감독을 수행하는 미국 식품의약국(FDA), 국립 보건원(National Institutes of Health) 및 국가 건강 정보 기술 코디네이터 사무국(Office of the National Coordinator for Health Information Technology)의 참관인도 최근 CHAI 회의에 참석했습니다.

CHAI와 파트너의 작업이 계속됨에 따라 FDA가 발표하는 등 연방 차원에서도 보완적인 노력이 진행되고 있습니다. 최종 지침 임상 의사 결정 지원 소프트웨어 및 AI 권리장전에 대한 청사진 백악관 과학기술정책실에서 발행한 것입니다.

“우리는 건강 AI 분야에서 정말 흥미로운 순간에 있습니다. 환자, 임상의, 의료 시스템 등 모든 사람이 이러한 기능의 혜택을 누릴 수 있는 엄청난 잠재력이 있습니다.”라고 Pencina는 말합니다. "그러나 우리는 모든 사람이 이러한 혜택을 공유할 수 있도록 해야 하며, 그렇게 하기 위한 핵심은 우리가 만드는 도구가 환자 치료에 의미 있는 개선을 제공하도록 하는 것입니다."라고 그는 덧붙입니다.

원본 기사 출처: 듀크 AI 헬스