서론

이제 거의 모든 기업이 AI 전략을 표방하고 있습니다. 이사회 보고서에는 생성형 AI, AI 챗봇 도입 사례와 파일럿 대시보드가 빠지지 않고 등장합니다. 그러나 이러한 전방위적 열기 이면에는, 기업 AI를 추적하는 주요 리서치 기관들이 공통적으로 발견한 불편한 패턴이 자리하고 있습니다. 바로 AI 도입은 이제 보편화되었지만 측정 가능한 가치는 아직 그렇지 않다는 사실입니다. McKinsey, BCG, MIT는 각각 독립적인 조사를 통해서도 놀라울 만큼 유사한 수치에 도달했습니다. 조사 대상 기업 중 10% 미만에 불과한 소수 그룹이 압도적인 성과를 거두는 반면, 나머지 대다수는 손익에 전혀 영향을 미치지 못하는 파일럿 단계에 머물러 있습니다. 이 글에서는 실제 데이터가 이러한 격차를 어떻게 보여주는지, 왜 이 격차가 지속되는지, 그리고 AI 투자로부터 복리 효과를 누리는 기업과 단순히 비용만 지출하는 기업을 가르는 요인이 무엇인지 살펴보겠습니다.

AI 파일럿이 POC에서 멈추는 이유와 해결책. 여기에서 최신 인사이트를 살펴보세요! 

도입 붐이 가치 창출 속도를 앞지르다

이제 헤드라인 수치 자체는 더 이상 논쟁의 여지가 없습니다. 엔터프라이즈 AI 도입은 사실상 보편화 단계에 이르렀습니다. McKinsey의 2025 State of AI 설문조사 - 2025년 6월 25일부터 7월 29일까지 105개국 1,993명의 응답자를 대상으로 진행 - 에 따르면, 전체 기업의 88%가 최소 한 개 이상의 비즈니스 기능에서 AI를 활용하고 있으며, 이는 1년 전 78%에서 상승한 수치입니다. Stanford HAI의 2025 AI Index도 다른 각도에서 이러한 흐름을 뒷받침합니다. 2024년 기준 조직의 78%가 AI를 활용했으며, 이는 2023년의 55%에서 크게 증가한 수치입니다. 아울러 전 세계 기업의 AI 투자 규모는 44.5% 증가하여 2,523억 달러에 달했습니다.

그러나 도입과 실제 성과는 서로 분리되어 있습니다. McKinsey의 동일한 설문조사에 따르면, 기업 차원에서 EBIT에 대한 AI의 영향을 보고한 조직은 39%에 불과했으며, 이 중 대다수도 그 영향이 EBIT의 5% 미만이라고 답했습니다. 'AI 고성과 기업(AI high performers)'으로 분류된 조직 - EBIT의 5% 이상이 AI에 기인하며 그 영향이 유의미하다고 답한 조직 - 은 전체의 6%에 불과했습니다. 19개국 1,803명의 C-레벨 임원을 대상으로 진행된 BCG AI Radar에서도 리더십 차원에서 거의 동일한 패턴이 확인되었습니다. 75%가 AI를 3대 전략 우선순위로 꼽았지만, 실제로 유의미한 가치를 실현하고 있다고 답한 비율은 25%에 그쳤습니다. 1,250개 글로벌 기업을 대상으로 한 별도의 더 큰 규모의 BCG 성숙도 조사(Build for the Future 2025)에서는, 최상위 "future-built" 등급에 속하는 기업이 전체의 5%에 불과했으며, 약 4%만이 AI로부터 실질적인 가치를 창출하고 있다고 자체 응답했습니다.

• 88% - 최소 한 개 이상의 기능에서 AI를 활용하는 조직의 비율 (McKinsey, 2025)
• 6% - EBIT의 5% 이상 영향을 보고한 AI 고성과 기업의 비율 (McKinsey, 2025)
• 25% - 유의미한 가치 실현을 보고한 임원의 비율 (BCG AI Radar, 2025)
• 2,523억 달러 - 2024년 전 세계 기업 AI 투자 규모, 전년 대비 44.5% 증가 (Stanford HAI)

서로 다른 세 가지 방법론 - 설문조사, 임원 인터뷰, 성숙도 평가 - 전반에 걸쳐 나타나는 이러한 일관성이야말로 이 격차가 단순한 일화가 아니라 신뢰할 수 있는 사실임을 보여줍니다. 이는 어느 한 컨설팅펌만의 주장이 아니라, 여러 기관이 독립적으로 도달한 수렴된 결론입니다.

바이브 코딩으로 만든 5분짜리 데모, 왜 대기업 POC에서 멈추는가. 여기에서 전문가 분석을 읽어보세요! 

대다수의 AI 파일럿이 손익에 도달하지 못하는 이유

MIT Project NANDA는 2025년 보고서 The GenAI Divide: State of AI in Business에서 이 문제를 가장 직설적으로 짚어냈습니다. 300건이 넘는 공개된 엔터프라이즈 AI 이니셔티브에 대한 체계적인 검토와 52개 조직을 대상으로 한 구조화된 인터뷰, 153명의 고위 리더를 대상으로 한 설문조사를 바탕으로, 연구진은 누적 300억~400억 달러에 달하는 기업 투자에도 불구하고 엔터프라이즈 생성형 AI 파일럿의 약 95%가 손익(P&L)에 측정 가능한 영향을 미치지 못했다는 사실을 발견했습니다. 의미 있는 가치를 창출하고 있는 파일럿은 전체의 약 5%에 그쳤습니다. 이는 동료 심사를 거친 학술 연구가 아니라 MIT Media Lab의 NANDA 이니셔티브가 발표한 예비 성격의 산업 보고서이며, 일부 결과는 자기 보고(self-reported) 방식에 기반하고 있습니다. 다만 95%/5%라는 핵심 수치는 이 보고서를 다룬 모든 매체에서 일관되게 인용되고 있습니다.

보고서 저자들은 이 실패가 모델 품질의 문제가 아니라는 점을 분명히 밝혔습니다. 반복적으로 나타나는 구조적 문제는 다음 두 가지입니다.

• 예산 배분의 오류. 설문에 응한 생성형 AI 예산의 절반가량이 영업 및 마케팅과 같이 눈에 띄는 고가시성 기능에 집중된 반면, 가장 뚜렷하고 지속 가능한 성과는 상대적으로 주목받지 못하는 백오피스 자동화 영역에서 나타났습니다.
• 자체 구축 대 파트너십의 불일치. 워크플로우 피드백을 학습할 수 있도록 외부와 파트너십을 맺어 맞춤 개발한 파일럿은, MIT의 인터뷰 표본 기준으로 내부에서 독자적으로 구축한 정적인 도구에 비해 배포 성공률이 약 2배 더 높았습니다.

Deloitte의 자체 추적 데이터 역시 이와 일맥상통하는 결과를 보여주며, 서로 다른 두 차례의 설문조사에서 도출되었습니다. 약 2,800명의 리더를 대상으로 한 분기별 State of Generative AI in the Enterprise 조사에서는, 조직의 74%가 가장 고도화된 생성형 AI 이니셔티브가 ROI 기대치에 부합하거나 이를 초과했다고 답했으며, 약 20%는 30%를 넘는 수익률을 보고했습니다. 그러나 24개국 3,235명의 비즈니스 및 IT 리더를 대상으로 2025년 8~9월에 진행된 Deloitte의 더 광범위한 State of AI in the Enterprise 조사에서는, 실제로 AI를 중심으로 비즈니스를 근본적으로 재구상하고 있는 조직은 34%에 불과했으며, 자율 AI 에이전트에 대한 성숙한 거버넌스 체계를 갖춘 기업은 5곳 중 1곳에 그쳤습니다. 다시 말해, 기업이 규율을 갖추고 투자할 때는 가장 고도화된 이니셔티브에서 ROI가 실제로 나타나지만, 그러한 규율과 그 이면의 조직 재설계는 여전히 예외적인 사례일 뿐 일반적인 규칙은 아닙니다.

AI 기반 고객 여정 맵핑이 기업 성장의 핵심 전략이 되는 이유. 여기에서 향후 동향을 확인해 보세요! 

고성과 기업이 실제로 다르게 하는 것들

McKinsey, BCG, MIT의 조사 전반에 걸쳐 동일한 행동 지표들이 AI 리더십과 AI 팔로워십을 갈랐습니다. 이 중 어느 것도 기업이 어떤 대형언어모델(LLM)을 라이선스하는지와는 큰 관련이 없습니다.

1. 효율성이 아닌 전환을 목표로 삼습니다. McKinsey의 조사에 따르면, 고성과 기업은 향후 3년간 점진적 효율화가 아닌 AI를 통한 근본적 변화를 추구할 의향이 있다고 답할 확률이 3.6배 더 높았습니다. 전체 응답자의 80%가 효율성을 목표로 꼽은 반면, 고성과 기업은 매출 성장과 AI 혁신을 명시적인 목표로 함께 설정했으며, 이들 중 55%는 AI를 기존 프로세스에 단순히 덧붙이는 대신 워크플로우 자체를 근본적으로 재구축하고 있다고 답했습니다.

2. 알고리즘보다 인력과 프로세스에 자원을 투입합니다. BCG의 조사는 이를 하나의 단순한 비율로 정리합니다. AI Radar와 Build for the Future 두 연구 전반에서 반복적으로 나타나는 이 비율에 따르면, 성공적인 조직은 알고리즘과 모델에 약 10%, 데이터 및 기술 인프라에 20%, 인력·프로세스 재설계·변화 관리에 70%의 자원을 투입합니다. 이 비율을 거꾸로 뒤집어 AI를 단순한 기술 조달 프로젝트로 취급하는 기업은 예외 없이 저조한 성과를 보였습니다.

3. 재무적 규율을 바탕으로 가치를 측정합니다. BCG의 조사에 따르면, 기업의 60%는 AI 가치 창출과 연계된 명확한 재무 KPI를 아예 갖추고 있지 않습니다. 고성과 기업은 이러한 격차를 초기 단계부터 메우며, 도입 건수나 라이선스 수와 같은 채택 지표 대신 유스케이스 단위의 비용 및 매출 영향을 추적합니다.

4. 초기 신호가 나타나면 과감하게 투자를 확대합니다. BCG의 "future-built" 그룹 - 최상위 성숙도 등급에 속하는 기업 - 은 2025년 전체 IT 지출을 평균 대비 약 26% 더 늘리고, 그중 AI에 투입하는 예산 비중도 최대 64%까지 더 확대할 계획입니다. 보고서에 따르면 이 그룹은 AI를 적용하는 영역에서 후발주자 대비 2028년까지 매출 성장률은 약 2배, 비용 절감 효과는 40% 더 클 것으로 전망됩니다.

5. 에이전틱 AI를 사후 대응이 아닌 계획적으로 관리합니다. 에이전틱 AI(Agentic AI) - 여러 단계를 스스로 계획하고 실행할 수 있는 시스템 - 는 고성과 기업을 중심으로 파일럿에서 실제 운영 단계로 가장 빠르게 이동하고 있습니다. McKinsey의 조사에 따르면, 기업의 23%가 이미 최소 한 개 기능에서 AI 에이전트를 확장 적용하고 있으며, IT, 지식 관리, 엔지니어링 영역에 집중되어 있습니다. BCG의 추산에 따르면, 에이전트는 2025년 기준 전체 AI 창출 가치의 약 17%를 차지하며 2028년에는 29%까지 늘어날 것으로 전망됩니다. 또한 future-built 기업은 AI 예산의 약 15%를 에이전트에만 별도로 배정하는 반면, 후발 기업은 거의 배정하지 않는 것으로 나타났습니다.

생성형 AI가 브랜드 전략과 디지털 광고를 재현하는 방식. 여기에서 AI의 미래를 살펴보세요! 

출처: McKinsey, The State of AI: Global Survey 2025; BCG, Are You Generating Value from AI? The Widening Gap; MIT NANDA, The GenAI Divide 2025.

엔터프라이즈 AI 확장 시 흔히 발생하는 실패 지점

확고한 의지를 가진 조직이라 해도, AI 확장 과정에서 흔히 나타나는 특정 지점에서 정체되는 경우가 많습니다.

• 파일럿 답보 상태: McKinsey의 조사에 따르면, 조직의 약 3분의 2는 아직 엔터프라이즈 전반으로 AI를 확장하는 단계에 이르지 못했으며, 개별 실험 단계를 넘어선 조직은 약 3분의 1에 불과하고, AI를 완전히 확장했다고 답한 조직은 7%에 그쳤습니다.
• 데이터 준비 부족: 사일로화되고 일관성이 떨어지거나 거버넌스가 미흡한 기업 데이터는, 실제 운영 환경을 반영하지 못하는 정제된 데이터셋 위에 구축된 파일럿의 성과를 지속적으로 저해합니다.
• 역량 격차: Deloitte는 예산이나 기술적 제약보다도 AI 역량 격차를 AI 통합 확산의 가장 큰 걸림돌로 지목합니다.
• 섀도우 AI 사용: MIT의 조사에 따르면, 조사 대상 기업 대다수에서 공식 파일럿의 성과가 저조할 때조차 직원들이 개인적으로 승인받지 않은 AI 도구를 사용하고 있는 것으로 나타났습니다. 이는 공식적으로 도입된 도구가 실제 업무 워크플로우의 필요를 충족하지 못하고 있다는 신호입니다.
• 에이전트 거버넌스 지연: 전체 기업의 5곳 중 1곳만이 자율 AI 에이전트에 대한 성숙한 거버넌스 체계를 갖추고 있다고 답했으며, 이는 에이전틱 AI 도입 속도가 빨라지는 상황에서도 마찬가지입니다.

이러한 문제들은 엄밀히 말해 기술적 실패가 아닙니다. 기술이라는 이름표를 달고 있을 뿐, 실제로는 조직적·운영적 실패에 가깝습니다. 바로 이 때문에 단순히 더 새로운 LLM으로 교체하거나 RAG(검색 증강 생성) 기반 검색 기능을 추가하는 것만으로는 이 격차를 좀처럼 좁힐 수 없습니다.

2026년 AI ROI를 이끄는 7가지 검증된 요인 - 1,000명 이상의 임원 대상 설문 결과. 여기에서 기업들이 어떻게 변화하고 있는지 확인해 보세요! 

지금 이 문제를 제대로 해결해야 하는 전략적 이유

이러한 격차가 시간이 지날수록 누적되어 커진다는 점은 이사회가 흔히 과소평가하는 부분입니다. BCG의 모델링에 따르면, future-built 기업은 단순히 현재 앞서 있는 것이 아니라 그 격차를 더욱 벌리고 있으며, AI를 적용한 사업 영역에서 2028년까지 후발주자 대비 매출 성장률은 약 2배, 비용 절감 효과는 40% 더 클 것으로 전망됩니다. 이는 고정된 격차가 아니라 계속 벌어지는 격차입니다. Stanford HAI의 조사 결과 전 세계 기업의 AI 투자 규모가 이미 연간 2,500억 달러를 넘어섰고 계속 복리로 증가하고 있다는 점을 함께 고려하면, 94%에 달하는 '팔로워' 그룹에 머무는 데 따르는 대가는 단순한 정체가 아니라, 동일한 기술을 구조적 경쟁 우위로 전환하고 있는 경쟁사 대비 상대적 퇴보를 의미합니다.

기업 의사결정자들에게 실질적인 시사점은 명확합니다. AI 전환 관련 의사결정은 어떤 모델을 선택할지보다, 데이터 인프라·워크플로우 재설계 역량·거버넌스 성숙도·그리고 파일럿을 시작하기 전에 재무 KPI가 이미 마련되어 있는지 여부와 같은 조직의 준비도를 기준으로 평가되어야 하며, 도입 지표만으로 '성공'을 판단한 이후에 뒤늦게 평가해서는 안 됩니다.

한국의 AI 혁신을 세계에 알리다: 이탈리아 SIGIR 2025에서 공개된 메이크봇의 HybridRAG 프레임워크. 여기서 더 읽어보세요!

결론

McKinsey, BCG, Deloitte, MIT, Stanford HAI의 데이터는 모두 하나의 불편하지만 명확한 진실로 수렴됩니다. 거의 보편화된 AI 도입이 아직 보편적인 가치로 이어지지는 못했다는 것입니다. 앞서가는 기업들이 앞서는 이유는 더 우수한 모델에 접근할 수 있어서가 아닙니다. 최첨단 LLM 성능은 이제 누구나 접근할 수 있을 만큼 상품화되었습니다. 이들이 앞서는 이유는 AI를 체크리스트 상의 기술 도입 항목이 아니라, 엄격한 자원 배분과 워크플로우 재설계, 재무적 책임을 갖춘 조직적 전환 프로그램으로 다루기 때문입니다. 에이전틱 AI, RAG 아키텍처, AI 네이티브 워크플로우가 더욱 성숙해질수록, 규율을 갖춘 5~6%의 기업과 나머지 기업 간의 격차는 좁혀지기보다 더 벌어질 가능성이 큽니다. 지금 이 사실을 내재화하는 기업들 - AI 리더십을 단순한 조달 결정이 아니라 운영 모델 차원의 선택으로 다루는 기업들 - 이야말로 다음 설문조사 주기가 돌아올 때에도 여전히 리더로 불릴 가능성이 가장 높은 기업입니다.

‍