서론

수년간 헬스케어 분야의 주요 AI 모델들은 의사 면허 시험에서 인상적인 성과를 거두어 왔습니다. GPT-4, Claude, Gemini는 USMLE에서 전문가 수준을 뛰어넘는 점수를 기록하며, AI가 임상 현장에 진입할 준비가 됐다는 믿음을 확산시켰습니다. 그러나 구조화된 시험에서 높은 점수를 받는 것과 실제 병원 시스템에서 안정적으로 작동하는 것은 근본적으로 다른 문제입니다. 업계가 이 차이를 엄밀하게 측정하기 시작한 것은 비교적 최근의 일입니다.

2025년 8월 NEJM AI에 게재된 Stanford University의 MedAgentBench는 이 간극을 메우려는 업계 최초의 체계적인 시도입니다. 의사, 컴퓨터 과학자, 의료 정보학 연구자로 구성된 다학제 팀이 개발하고 Andrew Y. Ng과 Jonathan Chen이 공동 저자로 참여한 이 벤치마크는, AI 에이전트가 무엇을 알고 있는지가 아니라 전자건강기록(EHR) 환경에서 실제로 무엇을 할 수 있는지를 평가합니다. 결과는 동시에 명확하고 또한 냉정합니다. 본 아티클은 MedAgentBench가 헬스케어 AI 에이전트의 현주소에 대해 무엇을 밝히는지, 왜 그 결과가 엔터프라이즈 임상 배포에 중요한 시사점을 가지는지, 그리고 헬스케어 분야의 에이전틱 AI를 파일럿 단계를 넘어 확장하기 전에 의료 기관이 반드시 이해해야 할 것이 무엇인지를 살펴봅니다. 나아가 헬스케어 분야의 AI 에이전트가 지금까지 어떤 벤치마크보다 더 높은 수준의 근거를 요구받고 있는 이유도 함께 분석합니다.

AI 모델이 강력해질수록 헬스케어 AI 거버넌스가 더욱 중요해지는 이유. 여기에서 최신 인사이트를 확인해 보세요! 

"채팅 성능"은 임상 AI에 충분하지 않다

MedAgentBench의 핵심 전제는 겉으로는 단순해 보이지만, 그 의미는 깊습니다. 지금까지 의료 분야에서 AI를 평가해온 방식이 실제 의료가 이루어지는 방식과 근본적으로 어긋나 있었다는 것입니다.

기존의 의학 AI 벤치마크들-USMLE, MedQA, PubMedQA-은 임상 지식을 준비도의 주요 척도로 삼았습니다. 선택지 중 올바른 진단을 골라내거나 약물 상호작용을 설명할 수 있는 모델은 역량 있는 것으로 간주되었습니다. 그러나 실제 임상 환경은 전혀 다른 차원에서 작동합니다. 의사들은 단편적인 데이터 시스템과 씨름하고, 복잡한 EHR 인터페이스를 통해 약물을 처방하며, 수개월에 걸친 검사 추이를 조회하고, 후속 청구 및 케어 조정이 의존하는 구조화된 형식으로 소견을 문서화합니다.

연구의 선임 저자인 Jonathan Chen은 이를 명확하게 표현했습니다. "챗봇은 말합니다. AI 에이전트는 행동합니다." 이 구분이야말로 MedAgentBench 기여의 핵심입니다. 이 벤치마크는 모델이 임상 시나리오를 설명할 수 있는지가 아니라, 실제 워크플로우가 요구하는 정밀도로 임상 과제를 수행할 수 있는지를 묻습니다.

이러한 전환이 갖는 의미는 매우 큽니다. 임상 AI 의사결정 지원 시스템과 자율 임상 에이전트의 배포가 평가 체계가 따라잡을 수 없는 속도로 가속되고 있기 때문입니다. 헬스케어 분야의 생성형 AI가 단순한 텍스트 생성 도구를 넘어 실제 임상 과제를 수행하는 에이전트로 진화함에 따라, 신뢰할 수 있는 성과 기준의 필요성도 함께 높아지고 있습니다. McKinsey의 2025년 4분기 설문조사에 따르면, 미국 헬스케어 리더의 80% 이상이 자신의 기관에서 이미 최소 하나의 생성형 AI 사례를 최종 사용자에게 배포했다고 답했습니다. 도입률은 2023년 말 25%에서 2024년 47%, 2025년 말 50%까지 꾸준히 증가했습니다. 그럼에도 불구하고 AI 도입이 "완전히 성숙했다"고 답한 기관은 단 1%에 불과했으며, 이는 현재 배포 환경의 대부분이 초기 파일럿 단계에 머물러 있음을 방증합니다.

엔터프라이즈 병원이 더 안전한 Healthcare AI Systems를 위해 RAG와 GPT-5를 결합하는 방법. 여기에서 전문가 분석을 읽어보세요! 

MedAgentBench 내부: Stanford가 구축한 것과 그것이 다른 이유

MedAgentBench의 설계는 현실주의에 대한 의도적인 헌신을 반영합니다. 맥락 없이 단순화된 임상 질문을 제시하는 대신, Stanford 팀은 100명의 실제적인 환자 프로파일과 검사 결과, 처방약, 진단, 활력 징후, 영상 자료, 시술 정보 등 70만 건 이상의 임상 데이터 요소를 포함한 완전히 기능하는 FHIR 기반 가상 EHR 환경을 구축했습니다. 이 데이터는 의사들이 매일 탐색하는 실제 임상 데이터의 상태를 반영하도록 불완전하고, 단편적이며, 종단적으로 설계되었습니다.

이 환경을 대상으로 팀은 10개의 임상 카테고리에 걸친 300개의 의사 작성 과제를 배포했습니다. 구조화된 환자 데이터 조회, 검사 추이 검토, 영상 처방, 약물 처방 또는 조정, 임상 소견 문서화, 후속 조치 조율이 그 내용입니다. 대부분의 과제는 두 세 단계의 순차적 작업을 요구했으며, 에이전트는 FHIR API 엔드포인트(GET 및 POST 모두)를 정확하게 호출하고, 결과를 정확하게 해석하며, 후속 임상 시스템이 요구하는 정확한 형식으로 출력물을 생성해야 했습니다.

평가 기준 역시 타협 없이 엄격했습니다. 성공은 첫 번째 시도에서 과제를 올바르게 완료하는 것으로 정의되었으며, 이는 단 하나의 잘못된 행동도 심각한 환자 결과로 이어질 수 있는 실제 임상 안전 기대치를 그대로 반영한 것입니다. 오케스트레이션 레이어는 각 에이전트의 상호작용을 최대 8회, 사용 가능한 EHR 기능을 9개로 제한하여 실제 병원 시스템이 부과하는 것과 같은 제약된 운용 환경을 구현했습니다.

이러한 설계 철학이 MedAgentBench를 기존 벤치마크들보다 진정한 의미에서 앞서게 만드는 요소입니다. 이 벤치마크는 모델이 의학을 알고 있는지를 테스트하지 않습니다. 구조화되고 재현 가능한 조건 하에서 모델이 의료를 안전하게 실행할 수 있는지를 테스트합니다.

Deloitte : 헬스케어 리더 75%, 생성형 AI(Generative AI)로 진료와 운영 혁신 가속화. 여기에서 향후 동향을 확인해 보세요! 

결과가 드러내는 것: 가능성은 있지만, 실제 배포까지는 아직

MedAgentBench 태스크 전반에 걸쳐 12개의 주요 모델이 평가되었습니다. 전체 결과는 의미 있는 역량과 중대한 한계가 공존하는 이야기를 담고 있습니다.

Claude 3.5 Sonnet v2가 전체 성공률 69.67%로 최고 성적을 기록했습니다. GPT-4o가 64.00%로 뒤를 이었고, DeepSeek-V3(685B)이 62.67%, Gemini-1.5 Pro가 62.00%를 기록했습니다. Qwen2.5와 Llama 3.3을 포함한 중급 오픈웨이트 모델은 46%에서 51% 사이의 성적을 보였으며, Gemma2와 Mistral 7B 같은 소형 모델은 20% 미만에 그쳤습니다.

이 수치들은 신중한 해석이 필요합니다. 69.67%의 성공률은 의미 있는 진전을 나타내지만, 동시에 명확하게 정의된 과제 조건의 통제된 환경에서도 약 10건 중 3건의 임상 과제가 실패했음을 의미합니다. 실제 환자와 실제 결과가 걸린 프로덕션 임상 환경에서 이러한 실패율은 단순한 지표가 아닙니다. 환자 안전의 문제입니다.

Stanford 연구진은 모델 전반에서 두 가지 지배적인 오류 패턴을 식별했습니다. 첫 번째는 지시 이행 실패로, 유효하지 않은 FHIR API 호출, 잘못된 JSON 포맷, 의사 과제 지시의 오해석이 포함됩니다. 두 번째는 출력 형식 불일치로, 구조화된 값이 필요한 곳에 서술형 설명을 제공하거나, 후속 임상 시스템이 의존하는 필수 메타데이터 필드를 누락하는 것입니다.

이 두 가지 실패 유형은 의학적 지식의 부족을 반영하지 않습니다. 언어 모델의 행동 방식과 임상 시스템 통합이 요구하는 운영적 정밀도 사이의 근본적인 격차를 드러냅니다. 이 구분은 AI 기반 임상 워크플로우가 어디에서 신뢰될 수 있고 어디에서 아직 신뢰될 수 없는지를 평가하는 의료 기관에 있어 핵심적인 인식입니다.

LLM 기반 대화형 AI 정신건강 챗봇: 안전하고 효과적인 AI 치료 지원 가능할까? 여기에서 AI의 미래를 살펴보세요! 

더 넓은 맥락: 헬스케어 AI가 여전히 확장에 어려움을 겪는 이유

MedAgentBench의 결과는 고립된 사례가 아닙니다. 이는 더 넓은 헬스케어 AI 도입 환경 전반에서 뚜렷이 보이는 패턴, 즉 유망한 파일럿과 신뢰할 수 있는 엔터프라이즈 배포 사이의 간극을 반영합니다.

McKinsey의 2025년 헬스케어 AI 분석은 해당 산업이 "AI의 약속과 위험 사이에 갇혀 있다"고 묘사합니다. 대부분의 의료 시스템은 레거시 EHR 인프라에의 통합과 임상 직원 재교육이라는 운영 현실과 씨름하며 개념 검증 단계에 머물러 있습니다. McKinsey의 2025년 기술 트렌드 전망에서 인용된 Edelman의 Trust Barometer 데이터에 따르면, AI 공급업체에 대한 대중의 신뢰는 2019년 61%에서 2024년 53%로 하락했습니다. 이는 환자 동의와 임상가의 신뢰가 의미 있는 도입의 전제 조건인 의료 분야에서 특히 중요한 의미를 지닙니다.

상호운용성 문제는 특히 심각합니다. 미국 급성기 병원 시장의 37.7%에서 39.1%를 점유하는 Epic과 같은 EHR 시스템은 임상 운영에 깊이 통합되어 있지만, 서드파티 AI 에이전트로 확장하기에는 악명 높을 정도로 복잡합니다. FHIR 기반 통합을 지원하는 환경에서도 AI 에이전트는 기관마다 다른 일관성 없는 데이터 구조, 독점적 API, 거버넌스 제약을 탐색해야 합니다. IBM의 2025년 데이터 침해 비용 보고서에 따르면 헬스케어 부문의 평균 데이터 침해 비용은 742만 달러로 14년 연속 전 산업 중 최고 수준을 기록하고 있으며, 이는 의료 기관들이 AI 헬스케어 시스템의 라이브 임상 시스템 접근 확대에 신중할 수밖에 없는 이유를 설명합니다.

조직적 차원 또한 동등하게 중요합니다. Journal of Medical Internet Research에 게재된 임상 AI 워크플로우에 관한 2025년 검토 연구는 알고리즘 편향, 설명 가능성 부족, 이해관계자 참여 미흡, 규제적 모호성을 상호 연결된 장벽으로 지목했습니다. 이는 고립된 기술적 문제가 아니라 복합적인 구조 문제입니다. 이 중 하나만 해결하는 것으로는 헬스케어 분야의 AI 에이전트의 신뢰할 수 있는 배포가 이루어지지 않습니다.

그러나 특정 영역에서는 측정 가능한 진전이 이루어지고 있습니다. McKinsey는 Kaiser Permanente의 앰비언트 AI 스크라이브가 15개월에 걸쳐 약 1만 6,000시간의 문서화 시간을 절약했음을 기록했습니다. 일정 관리, 청구 처리, 임상 노트 요약 등의 행정 사례는 사람이 감독하는 루프가 유지되는 환경에서 일관된 ROI를 보여주고 있습니다. 헬스케어 AI가 가치 없다는 것이 아닙니다. 점별 성공 사례에서 체계적인 임상 워크플로우 통합으로 나아가는 길에는 대부분의 의료 시스템이 아직 구축하지 못한 인프라가 필요하다는 것입니다.

맥킨지: AI가 만드는 새로운 헬스케어 소비자 경험. 여기에서 기업들이 어떻게 변화하고 있는지 확인해 보세요! 

헬스케어 AI 에이전트가 실제로 작동하는 곳

MedAgentBench가 드러낸 불균등한 성과 환경은 비관의 이유가 아닙니다. 이는 어디에서 작업이 이루어져야 하는지를 보여주는 지도입니다. 그리고 벤치마크의 현재 제약 내에서도 결과는 의료 AI 에이전트가 이미 의미 있는 임상 과제의 하위 집합에서 신뢰할 수 있는 성과를 내고 있음을 보여줍니다.

구조화된 환자 기록 조회, 검사 결과 확인, 처방 약물 목록 검토 등의 행정 과제는 통제된 조건에서 최상위 모델이 60% 이상의 성공률을 달성한 영역입니다. 이는 또한 일상적인 임상 운영에서 가장 큰 마찰을 일으키는 과제이기도 합니다. 의사들은 평균적으로 직접 환자 진료 1시간에 대해 2시간을 문서화와 EHR 탐색에 소비합니다. 사람의 검토 하에 조회와 문서화 과제를 안정적으로 처리할 수 있는 AI 에이전트는 이 부담을 의미 있게 줄일 수 있습니다.

이것이 Stanford 연구자들이 명시적으로 표현한 버전입니다. MedAgentBench 연구의 공동 저자이자 Stanford Health Care의 임상 정보학 펠로우인 Kameron Black은 이 문제에 대해 직접적으로 말했습니다. "AI가 의사를 곧 대체하지는 않을 것입니다. AI는 임상 인력을 보강할 가능성이 더 높습니다." 2030년까지 전 세계적으로 1,000만 명 이상의 의료 인력 부족이 예상되는 상황에서, 복잡도가 낮은 임상 과제에 대한 확장 가능한 보강은 선택 사항이 아닌 운영상의 필수 사항입니다.

업계의 프레임도 그에 맞게 변화하고 있습니다. McKinsey의 2025년 분석은 독립형 AI 도구에서 워크플로우 플랫폼으로의 전략적 전환을 설명합니다. 임상 운영 옆에 놓이는 것이 아니라 그 속에 통합되도록 설계된 시스템으로의 이동입니다. 이 전환의 핵심은 AI 기반 임상 워크플로우를 단순한 보조 기능이 아닌 운영의 중심축으로 재정의하는 데 있습니다. 2025년 가장 큰 헬스케어 AI 펀딩 라운드는 이 방향을 반영합니다. 의료 시스템들이 실제 임상 배포의 현실에 맞게 구축된 근거 기반 AI를 찾는 가운데, OpenEvidence 같은 임상 AI 의사결정 지원 플랫폼이 두 차례의 투자 라운드에서 4억 1,000만 달러를 조달했습니다.

RAG 기반 임상 의사결정 지원 시스템으로 진단 오류 줄이기. 여기에서 업계 리더들이 어떻게 적응하고 있는지 알아보세요! 

MedAgentBench가 헬스케어 AI 벤치마킹의 미래에 갖는 의미

NEJM AI에 MedAgentBench가 게재된 것은 새로운 연구 기여 그 이상을 의미합니다. 이는 업계가 헬스케어 AI 평가 방식에 접근하는 방식이 성숙해지고 있음을 나타냅니다. 구체적으로는 헬스케어 AI의 신뢰성을 어떻게 평가하는지에 있어서, 지식 기반 벤치마크에서 실제 임상 조건을 반영하는 행동 기반 평가로의 전환입니다.

이는 헬스케어 조직과 AI 개발자 모두에게 몇 가지 중요한 시사점을 제공합니다.

의료 시스템 리더에게, MedAgentBench는 이전에 없던 평가 언어를 제공합니다. 학술 테스트 성능이나 데모 환경을 기반으로 AI 벤더를 평가하는 대신, 조달 팀은 이제 더 정밀한 질문을 할 수 있습니다. 이 에이전트는 FHIR 기반 워크플로우에서 테스트되었는가? 현실적인 제약 하에서 다단계 임상 과제의 성공률은 얼마인가? 문서화된 실패 패턴은 무엇인가?

AI 개발자에게, 이 벤치마크는 Stanford ML Group의 GitHub에서 공개 호스팅되는 재현 가능한 오픈소스 프레임워크를 제공합니다. 이 환경은 라이브 EHR 시스템으로 직접 마이그레이션 가능하도록 설계되어 있으며, 이는 MedAgentBench에서 추정된 개선 사항이 임상적 관련성으로 이어지는 명확한 경로를 가지고 있음을 의미합니다. 이 벤치마크는 또한 의도적으로 포화되지 않은 상태—즉 현재 모델들이 개선될 여지가 충분하며, 모델 역량이 발전함에 따라 프레임워크가 지속적으로 진전을 이끌 수 있음—로 설계되어 있습니다.

규제 기관과 거버넌스 팀에게, MedAgentBench의 안전 우선 설계 철학은 임상 AI가 배포 전에 어떻게 평가되어야 하는지에 대한 모델을 제시합니다. FDA가 AI 기반 의료 기기의 실세계 성능에 대한 초점을 높이고 의료 시스템이 책임 있는 AI 프레임워크를 개발함에 따라, 지식 회상이 아닌 과제 실행을 측정하는 벤치마크가 환자 안전이 요구하는 감독 기준에 더 가깝게 부합합니다.

만성질환 관리를 위한 원격 환자 모니터링과 대화형 AI의 결합. 여기에서 데이터와 조사 결과를 살펴보세요! 

어떤 벤치마크도 단독으로 해결할 수 없는 핵심 과제

MedAgentBench가 다루지 못하는 것에 대해 명확히 할 필요가 있습니다. 그 한계 역시 기여만큼이나 시사하는 바가 크기 때문입니다.

MedAgentBench는 단일 기관인 Stanford Health Care의 데이터로 개발되었으며, 이는 환자 프로파일과 임상 과제 분포가 한 시스템의 워크플로우, 인구 통계, 문서화 관행을 반영한다는 것을 의미합니다. 한 의료 시스템에서 좋은 성과를 보이는 임상 AI가 다른 기관에서는 상당히 다른 데이터 품질, 워크플로우 구조, EHR 구성에 직면할 수 있습니다. 기관 간 일반화 가능성은 여전히 해결되지 않은 과제로 남아 있습니다.

이 벤치마크는 또한 EHR 기반 과제에 집중하고 있어, 실시간 진단 지원, 수술 의사결정 보조, 정신 건강 개입 맥락 등 임상 워크플로우의 전체 스펙트럼을 아직 다루지 못합니다. 헬스케어 분야의 생성형 AI가 이러한 영역으로 확장됨에 따라, 함께 새로운 평가 프레임워크가 개발될 필요가 있습니다.

마지막으로, 아무리 완벽한 벤치마크도 임상 환경에서 AI 에이전트를 안전하게 배포하는 데 필요한 조직적 변화 관리를 대체할 수 없습니다. 임상가 교육, 거버넌스 구조, 감사 메커니즘, HIPAA 컴플라이언스 프레임워크, 지속적인 성과 모니터링은 모두 벤치마크 성공에서 실제 환자 혜택으로 나아가기 위한 전제 조건입니다. MedAgentBench 점수를 이러한 주변 구조를 구축하지 않은 상태에서 배포 신호로 취급하는 의료 시스템은 지금까지 많은 헬스케어 AI 파일럿을 특징지어 온 동일한 "라스트 마일" 실패를 겪게 될 것입니다.

한국의 AI 혁신을 세계에 알리다: 이탈리아 SIGIR 2025에서 공개된 메이크봇의 HybridRAG 프레임워크. 여기서 더 읽어보세요!

결론

MedAgentBench는 임상 AI 워크플로우 발전의 중대한 전환점에 등장했습니다. 헬스케어 산업은 AI 도입 여부를 더 이상 논의하지 않습니다. McKinsey의 데이터는 미국 헬스케어 기관의 50%가 이미 도입했음을 보여줍니다. 논쟁은 더 어려운 질문으로 이동했습니다. 실제 환자와 실제 결과가 걸린 라이브 임상 환경에서 신뢰할 수 있는 성과를 낼 수 있는 AI 배포는 어느 것인가?

Stanford의 답변은 신뢰는 벤치마크 점수에서 가정되는 것이 아니라 증거를 통해 얻어져야 한다는 것입니다. MedAgentBench는 새로운 기준을 수립합니다. "이 모델이 의학을 이해하는가?"가 아니라 "이 모델이 의료의 운영적 제약 내에서 행동할 수 있는가?"라는 질문입니다. 업계 최고의 모델들조차 약 10건 중 3건의 과제에서 이 기준에 미치지 못합니다. 의학적 지식이 부족해서가 아니라, 복잡한 시스템 내에서의 신뢰할 수 있는 행동이 언어적 유창성을 넘어서는 무언가를 요구하기 때문입니다.

장기적 시사점은 상당합니다. 의료 시스템에게 이 벤치마크는 마침내 임상 현실과 부합하는 평가 프레임워크를 제공합니다. AI 개발자에게는 FHIR API 준수, 구조화된 출력 신뢰성, 다단계 과제 조율이라는 명확한 역량 격차를 식별하여 헬스케어 분야의 에이전틱 AI 다음 세대를 위한 로드맵을 정의합니다. 환자와 임상가에게는 업계가 오랫동안 필요로 해온 헬스케어 AI에 대한 측정 가능한 책임으로의 전환을 신호합니다.

현재 모델 성능과 안전한 임상 배포에 필요한 신뢰성 기준 사이의 간극은 비관의 이유가 아닙니다. 이는 정밀함의 이유입니다. MedAgentBench는 목표를 명확하게 설정했습니다. 이제 그 목표에 도달할 수 있는 시스템을 구축하는 것이 과제입니다.

벤치마크를 넘어 실제 임상 현장으로: 실제 임상 시스템에서 작동하는 AI를 구축하십시오

MedAgentBench는 목표를 명확히 설정했습니다. 차세대 헬스케어 AI는 단순히 의학을 이해하는 것을 넘어, 의료의 운영적 제약 내에서 신뢰할 수 있게 행동할 수 있어야 합니다. 메이크봇(Makebot)은 헬스케어, 공공기관, 금융 등 다양한 산업에 걸쳐 1,000개 이상의 기업 고객이 신뢰하는 대한민국 대표 생성형 AI 및 LLM 솔루션 전문 기업입니다. 독자적인 멀티 LLM 플랫폼, 할루시네이션과 출력 오류를 최소화하도록 설계된 하이브리드 RAG 아키텍처, 그리고 임상 AI 워크플로우 옆이 아닌 그 내부에서 직접 작동하는 AI를 구현하는 깊은 전문성을 바탕으로, 메이크봇은 의료 기관이 유망한 파일럿 단계를 넘어 환자와 임상의가 실제로 요구하는 신뢰성 기준에 부합하는 임상 시스템을 구축하는 데 필요한 체계적이고 거버넌스 기반의 AI 인프라를 제공합니다.

메이크봇과 함께 실제 워크플로우 내부에서 작동하는 헬스케어 AI를 구축하십시오.