Q&A: 처방약처럼 AI 시스템에 라벨을 붙여야 할까요?

AI 시스템은 안전이 중요한 의료 환경에서 점점 더 많이 사용되고 있습니다. 그러나 이러한 모델은 때때로 잘못된 정보를 생성하거나, 편향된 예측을 하거나, 예기치 않은 이유로 실패할 수 있으며, 이는 환자와 임상의에게 심각한 결과를 초래할 수 있습니다.

오늘 Nature Computational Science에 발표된 논평 기사에서 MIT 부교수 Marzyeh Ghassemi와 보스턴 대학교 부교수 Elaine Nsoesie는 이러한 잠재적인 해를 완화하기 위해 AI 시스템에 책임감 있는 사용 라벨이 필요하다고 주장하며, 이는 미국 식품의약국(FDA)이 처방약에 부착하는 라벨과 유사합니다.

MIT 뉴스는 Ghassemi와 이러한 라벨의 필요성, 전달해야 할 정보, 그리고 라벨링 절차가 어떻게 구현될 수 있는지에 대해 이야기했습니다.

의료 환경에서 AI 시스템에 책임감 있는 사용 라벨이 왜 필요합니까?

의료 환경에서는 의사가 종종 완전히 이해되지 않은 기술이나 치료에 의존하는 흥미로운 상황이 발생합니다. 때때로 이러한 이해 부족은 근본적인 것일 수 있으며, 예를 들어 아세트아미노펜의 메커니즘처럼요. 그러나 때로는 그것이 전문화의 한계일 뿐입니다. 우리는 임상의가 MRI 기계를 수리할 줄 알기를 기대하지 않습니다. 대신, FDA 또는 다른 연방 기관을 통해 의료 기기나 약물이 특정 환경에서 사용될 수 있도록 인증 시스템이 있습니다.

중요하게도, 의료 기기는 또한 서비스 계약을 가지고 있습니다. 제조업체의 기술자가 잘못 조정된 경우 MRI 기계를 수리해 줄 것입니다. 승인된 약물은 약물이 많은 사람이 특정 질병이나 알레르기를 개발하는 것으로 보일 경우 부작용이나 사건을 해결할 수 있도록 사후 시장 감시 및 보고 시스템이 있습니다.

AI가 포함되든 포함되지 않든 모델과 알고리즘은 이러한 승인 및 장기 모니터링 프로세스를 피하는 경향이 있으며, 이는 우리가 경계해야 할 사항입니다. 이전의 많은 연구들이 예측 모델이 더 신중한 평가와 모니터링이 필요하다는 것을 보여주었습니다. 최근의 생성 AI와 관련하여 우리는 생성이 적절하거나, 견고하거나, 편향되지 않을 것을 보장하지 않는 작업을 인용합니다.

모델 예측이나 생성에 대한 감시 수준이 동일하지 않기 때문에 모델의 문제성 응답을 발견하는 것은 더욱 어려울 것입니다. 현재 병원에서 사용되고 있는 생성 모델은 편향될 수 있습니다. 사용 라벨을 통해 모델이 과거 인간 실무자에게서 학습한 편향이나 잘못 조정된 임상 의사 결정 지원 점수를 자동화하지 않도록 보장하는 방법 중 하나입니다.

귀하의 기사에서는 FDA 접근 방식을 따르는 AI의 책임감 있는 사용 라벨의 여러 구성 요소를 설명하고 있으며, 여기에는 승인된 사용, 성분, 잠재적 부작용 등이 포함됩니다. 이러한 라벨이 전달해야 할 핵심 정보는 무엇입니까?

라벨이 명확히 해야 할 것은 모델의 의도된 사용의 시간, 장소 및 방법입니다. 예를 들어, 사용자는 모델이 특정 시점의 데이터로 특정 시간에 교육되었음을 알아야 합니다. 예를 들어, 이 모델이 COVID-19 팬데믹이 포함된 데이터로 훈련되었는지 또는 포함되지 않았는지를 포함합니다. COVID 동안의 건강 관행은 매우 달라서 데이터에 영향을 미칠 수 있습니다. 이것이 우리가 모델의 “성분”과 “완료된 연구”를 공개할 것을 주장하는 이유입니다.

장소에 대해, 이전 연구 결과에 따르면 한 장소에서 훈련된 모델이 다른 장소로 이동했을 때 성능이 저하되는 경향이 있음을 알고 있습니다. 데이터의 출처와 모델이 해당 인구 내에서 어떻게 최적화되었는지를 아는 것은 “잠재적 부작용”, “경고 및 주의사항”, “부작용”에 대한 인식을 보장하는 데 도움을 줄 수 있습니다.

한 가지 결과를 예측하도록 훈련된 모델에 대해 교육의 시간과 장소를 아는 것은 배포에 대해 지능적인 판단을 내리는 데 도움이 될 수 있습니다. 그러나 많은 생성 모델은 매우 유연하고 여러 작업에 사용될 수 있습니다. 이 경우, 시간과 장소가 그만큼 유익하지 않을 수 있으며 “라벨링 조건” 및 “승인된 사용” 대 “미승인 사용”에 대한 보다 명시적인 방향이 중요해질 수 있습니다.

개발자가 환자의 임상 노트를 읽고 예상 청구 코드를 생성하기 위해 생성 모델을 평가한 경우, 특정 조건에 대한 과잉 청구 또는 다른 조건을 과소 인식하는 편향이 있다는 점을 공개할 수 있습니다. 사용자는 이 같은 생성 모델을 사용하여 누가 전문의에게 의뢰를 받을 것인지 결정하고 싶지 않을 것입니다, 비록 그럴 수 있을지라도요. 이러한 유연성이 모델 사용 방식에 대한 추가 세부정보를 주장하는 이유입니다.

일반적으로, 우리는 사용할 수 있는 도구를 이용하여 최선을 다해 모델을 훈련할 것을 권장합니다. 그러나 그럴 경우에도 많은 공개가 있어야 합니다. 어떤 모델도 완벽하지 않을 것입니다. 우리 사회는 이제 어떤 알약도 완벽하지 않다는 것을 이해합니다—항상 어떤 위험이 존재합니다. 우리는 AI 모델에 대해서도 같은 이해를 가져야 합니다. 어떤 모델—AI가 포함되든 없든—제한적입니다. 그것은 잠재적인 미래를 현실적이고 잘 훈련된 예측으로 제공할 수 있지만, 그 사실을 적절한 정도로 신뢰해야 합니다.

AI 라벨이 구현된다면, 누가 라벨링을 하고 라벨은 어떻게 규제되고 집행됩니까?

귀하의 모델이 실제로 사용될 의도가 없다면, 고품질 연구 출판을 위해 제공해야 할 공개 사항이 충분합니다. 그러나 모델을 인간과 상호작용하는 환경에 배포할 의도가 있다면, 개발자와 배포자는 확립된 프레임워크 중 일부를 기반으로 초기 라벨링을 해야 합니다. 배포 전에 이러한 주장에 대한 검증이 있어야 하며; 의료와 같은 안전이 중요한 환경에서는 보건 및 인적 서비스 부서의 여러 기관이 관여할 수 있습니다.

모델 개발자에게는 시스템의 한계를 라벨링해야 한다는 것을 아는 것이 프로세스 자체에 대한 보다 신중한 고려를 유도한다고 생각합니다. 만약 제가 모델이 훈련된 집단에 대해 언젠가 공개해야 한다는 것을 알고 있다면, 그 모델이 남성 챗봇 사용자들의 대화로만 훈련되었다고 공개하고 싶지 않을 것입니다.

데이터가 누구를 대상으로 수집되었는지, 어떤 기간 동안, 샘플 크기는 얼마나 되었는지, 어떤 데이터를 포함하거나 제외할지 결정한 방식 등을 고려하는 것은 배포 시 발생할 잠재적 문제에 대한 열린 마음을 가질 수 있게 합니다.