서론 (Introduction)

2020년대 중반의 AI 투자 서사는 한마디로 '높아지는 헌신, 엇갈리는 성과'라고 요약할 수 있습니다. 전 세계 기업들은 AI 투자 전략 (AI investment strategy)에 더욱 적극적으로 베팅하고 있습니다. Deloitte의 2025년 설문에 따르면 1,854명의 고위 임원 중 85%가 지난 12개월간 AI 투자를 늘렸으며, 91%는 올해도 투자를 확대할 계획이라고 응답했습니다. 그러나 이러한 모멘텀에도 불구하고, 실질적인 AI 투자 수익률 (return on AI investments)를 달성하는 기업의 비율은 놀랍도록 낮은 수준에 머물러 있습니다.

이제 'AI가 가치를 창출할 수 있는가'라는 질문은 논의의 대상이 아닙니다. 대부분의 임원들은 그 가능성을 믿습니다. 더 어렵고 더 시급한 질문은 바로 이것입니다. '무엇이 실제 성과를 결정하는가?'

Babson College 및 MIT 소속의 Thomas H. Davenport와 Return on AI Institute CEO인 Laks Srinivasan이 공동으로 수행한 신규 설문이 이에 대한 가장 명확한 답을 제시합니다. 전 세계 1,000명 이상의 임원을 대상으로 한 설문 응답과 12명의 AI 리더와의 심층 인터뷰를 기반으로, 이 연구는 AI로부터 경제적 가치를 이끌어내는 7가지 구체적인 요인을 밝혀냈습니다. 그 중 일부는 기존의 통념과 상반되는 결과입니다.

딜로이트 인사이트: AI 활용 역량이 가장 가치 있는 인재 역량이 됩니다. 전체 보고서를 보려면 여기를 클릭하세요! 

AI ROI의 역설: 높은 투자, 엇갈리는 성과

7가지 요인을 살펴보기 전에, 성과 격차가 얼마나 커졌는지를 먼저 이해할 필요가 있습니다. 1,993개 기업의 응답을 기반으로 한 McKinsey의 2025 State of AI 보고서는 AI 투자로 EBIT의 5% 이상의 효과를 거두고 있는 조직이 전체의 5.5%에 불과하다는 사실을 밝혔습니다. 한편, MIT Media Lab의 "The GenAI Divide: State of AI in Business 2025" 보고서는 300건의 공개 AI 배포 사례, 52건의 임원 인터뷰, 153명의 리더 설문을 바탕으로, 기업 generative AI에 300억~400억 달러가 투입되었음에도 generative AI 파일럿의 95%가 측정 가능한 손익(P&L) 효과를 창출하지 못하고 있다고 결론지었습니다.

이는 투자 규모와 뚜렷한 대조를 이룹니다. 생성형 AI ROI (generative AI ROI)는 기업 리더들이 직면한 핵심 압박 지점으로 부상했습니다. 미국 기업들은 2025년 generative AI에만 370억 달러를 지출했지만, 대다수는 재무적으로 보여줄 성과가 거의 없는 실정입니다. Deloitte의 별도 2025년 기술 가치 조사에서는 AI와 generative AI가 20개 기술 역량 카테고리 중 압도적인 1위를 차지했으며, 조사 대상 조직의 74%가 해당 분야에 투자했다고 응답해 2위 분야보다 약 20%포인트 높은 수치를 기록했습니다. 이러한 AI 도입 트렌드 (AI adoption trends)는 배포의 보편화를 의미하지만, 성과의 보편화를 의미하지는 않습니다.

PwC의 2026 Global CEO Survey는 95개국 4,454명의 CEO를 대상으로 실시되었으며, 또 다른 우려를 더합니다. 응답자의 56%는 AI 투자에서 '아무것도 얻지 못하고 있다'고 응답했으며, AI가 매출 성장과 비용 절감 두 가지를 동시에 실현했다고 답한 비율은 12%에 불과했습니다.

이것이 바로 Return on AI Institute 설문이 풀어내고자 한 역설입니다. 진정한 AI 비즈니스 가치 (AI business value)를 실현하고 있는 조직과 여전히 이를 찾아 헤매는 대다수 기업을 가르는 요인은 무엇일까요?

딜로이트: AI가 비즈니스 전략을 개편하는 가운데, 리더의 70%가 ‘민첩성’을 최우선으로 삼고 있습니다. 전체 분석을 보려면 여기를 클릭하세요! 

Factor 1: 추구하는 가치 유형의 명확화

첫 번째이자 가장 근본적인 요인은 조직적 명확성입니다. 구체적으로는, AI 이니셔티브를 시작하기 전에 조직이 달성하고자 하는 경제적 가치의 유형을 명시적으로 정의하는 것을 의미합니다.

설문 결과, 명확한 성과 중심의 AI 투자 전략 (AI investment strategy)를 보유한 조직은 '효율성 개선' 또는 '경쟁력 유지'와 같은 일반적인 목표 아래 AI를 도입한 기업들에 비해 현저히 높은 성과를 거두었습니다. 이는 McKinsey의 연구 결과와도 일치합니다. McKinsey는 명확하게 정의된 KPI 추적을 AI 성공을 위한 가장 중요한 단일 조직 실천 요소로 꼽았으며, 고성과 기업들은 배포 이후가 아닌 배포 이전에 측정 체계를 수립한다는 점을 강조했습니다.

이 구분이 중요한 이유는 'AI 가치'가 단일하지 않기 때문입니다. 조직이 추구할 수 있는 가치 유형은 다음과 같습니다.

• 비용 절감 (Cost reduction) - 자동화 및 프로세스 효율화를 통한 비용 감소
• 매출 성장 (Revenue growth) - 새로운 제품 역량 또는 고객 경험을 통한 수익 창출
• 리스크 완화 (Risk mitigation) - 이상 거래 탐지, 컴플라이언스 모니터링, 예측 유지보수를 통한 위험 관리
• 전략적 민첩성 (Strategic agility) - 더 빠른 의사결정과 경쟁 인텔리전스를 통한 유연한 대응

각각의 가치 유형은 서로 다른 유스케이스, 다른 지표, 다른 실현 타임라인을 요구합니다. 이를 혼동하는 기업은 어느 하나에서도 성과를 내지 못하는 경향이 있습니다. 명확성은 단순한 소프트 스킬이 아닙니다. 그것은 모든 것이 세워지는 토대입니다.

검색을 넘어: LLM·RAG가 개편하는 B2B 마케팅의 새로운 룰. 최신 인사이트를 확인하려면 여기를 클릭하세요!

Factor 2: 제품과 프로세스 양쪽에서 가치 추구

설문의 다소 직관에 반하는 발견 중 하나는, AI 가치를 오직 내부 프로세스-운영, 코스트 센터, 백오피스 자동화-에서만 추구하는 조직이 고객 대면 제품 및 서비스에 동시에 AI를 내재화하는 조직에 비해 현저히 낮은 성과를 거둔다는 것입니다.

Deloitte의 AI ROI Leader 분석이 이를 뒷받침합니다. AI 성과 상위 20% 기업들은 AI의 핵심 성과를 전략적 측면에서 정의하는 경향이 훨씬 강했습니다. 이들 중 50%는 '수익 성장 기회 창출'을, 43%는 '비즈니스 모델 재창조(business model reimagination)'를 주요 가치 동인으로 꼽았으며, 운영 비용 절감을 우선시한 비율은 상대적으로 낮았습니다.

실질적 시사점은 기업 AI 도입 (enterprise AI adoption) 전략이 이중 트랙으로 설계되어야 한다는 것입니다. 프로세스 효율화 성과는 실재하고 측정 가능하지만, 한 번으로 끝나는 유한한 개선에 그치는 경향이 있습니다. 반면 제품 및 서비스 혁신은 새로운 수익원, 고객 충성도 향상, 경쟁사가 쉽게 모방할 수 없는 차별화 등 복합적인 이점을 만들어냅니다.

McKinsey의 데이터도 이를 뒷받침합니다. AI 고성과 기업들은 IT 및 운영 부문뿐만 아니라 마케팅 및 영업, 전략 및 기업 금융, 제품 및 서비스 개발 분야에서도 AI를 적극 활용하고 있을 가능성이 동종 기업 대비 높은 것으로 나타났습니다.

맥킨지(McKinsey) : 57% 자동화가 가능한데도 일자리는 왜 사라지지 않는가. 전문가 분석을 읽으려면 여기를 클릭하세요! 

Factor 3: AI 툴박스 전체의 활용

많은 조직이 'AI 전략'을 'generative AI 전략'과 동일시하는 실수를 범합니다. 2023년 이후 generative AI가 받아온 폭발적인 관심을 감안하면 이해할 수 있는 오류입니다. 그러나 Return on AI Institute 설문에 따르면, 가장 높은 성과를 거두는 기업들은 generative AI와 함께 예측 분석(predictive analytics), 머신러닝 분류기(machine learning classifiers), 컴퓨터 비전(computer vision), NLP, 최적화 모델, 에이전틱 AI(agentic AI) 시스템 등 더 폭넓은 AI 역량을 의도적으로 활용하고 있습니다.

이것이 중요한 이유는 비즈니스 문제마다 최적의 접근 방식이 다르기 때문입니다. 이상 거래 탐지는 대형 언어 모델보다 지도 학습 기반 머신러닝이 더 적합합니다. 수요 예측은 시계열 모델에 잘 반응합니다. 고객 서비스 지원은 대화형 AI와 검색 증강 생성(retrieval-augmented generation)의 조합으로 효과를 높일 수 있습니다. generative AI를 범용 솔루션으로 취급하는 조직은 상당한 생성형 AI ROI (generative AI ROI)를 포기하는 셈이며, 전체 AI 도구 스펙트럼을 활용하는 경쟁사에게 뒤처지게 됩니다.

현재의 AI 도입 트렌드 (AI adoption trends)는 이 격차가 더욱 벌어지고 있음을 확인해줍니다. McKinsey의 2025 State of AI 보고서에 따르면 다단계 워크플로우를 계획하고 실행할 수 있는 에이전틱 AI 시스템이 빠르게 차세대 핵심 기술로 부상하고 있으며, 응답자의 23%는 이미 에이전틱 시스템을 확장 배포하고 있고 39%는 실험 단계에 있습니다. 기업 수준의 AI 도입 성공 (AI implementation success)는 AI를 얼마나 광범위하게 배포하느냐가 아니라, 다양한 역량을 얼마나 지능적으로 조합하느냐에 점점 더 크게 좌우되고 있습니다.

왜 85%의 AI 프로젝트는 실패하는가 메이크봇은 어떻게 AI 프로젝트를 성공으로 이끄는가. 향후 전망을 알아보려면 여기를 클릭하세요! 

Factor 4: 구조화된 AI 경제적 프레임워크 채택

네 번째 요인은 고성과 기업과 후발 기업 사이에서 가장 날카로운 격차가 나타나는 지점입니다. 강력한 AI 투자 ROI (AI investment ROI)를 달성하는 조직은 결코 즉흥적으로 가치를 만들어내지 않습니다. 이들은 AI 이니셔티브와 재무 성과를 연결하는 구조화된 프레임워크를 통해 의도적으로 가치를 창출합니다.

이 프레임워크는 다음을 포함합니다.

• 배포 전 비즈니스 케이스 모델링 (Pre-deployment business case modeling) - 각 유스케이스를 특정 매출, 비용 또는 리스크 지표에 연결
• 기준선 측정 (Baseline measurement) - AI 배포 이전에 수립 (이 단계를 건너뛴 조직은 사후에 ROI를 증명할 수 없음)
• 스테이지 게이트 검토 (Stage-gate reviews) - 열정이나 진행 마일스톤이 아닌 실현된 지표를 기반으로 예산 확대
• 포트폴리오 거버넌스 (Portfolio governance) - 성과가 부진한 이니셔티브에서 자원을 주기적으로 재배분

Deloitte의 설문에 따르면 조직의 25%가 인프라 및 데이터 부족을 AI 투자 ROI (AI investment ROI)의 장애물로 꼽았지만, 더 만연한 장벽은 책임을 이론이 아닌 실제 운영으로 만드는 거버넌스 프레임워크의 부재입니다. AI를 가치 창출 프로그램이 아닌 기술 실험으로 바라보는 조직은 엔터프라이즈 수준의 AI 비즈니스 가치 (AI business value)를 달성하는 데 일관되게 실패합니다.

AI 파일럿은 성공하지만 전사 확장은 실패하는 이유. AI의 미래를 살펴보세요! 

Factor 5: 올바른 조직 역량 구축

기술적 역량만으로는 왜 어떤 조직이 다른 조직보다 훨씬 높은 AI 투자 수익률 (return on AI investments)를 창출하는지 설명할 수 없습니다. Return on AI Institute 설문은 McKinsey가 2025 State of AI 연구의 핵심 통찰로 제시한 내용을 확인해줍니다. AI 고성과 기업들은 기술 선택이 아닌 조직적 실행 방식으로 차별화됩니다.

구체적으로, 고성과 기업들은 동종 기업 대비 거의 3배에 달하는 비율로 기존 프로세스에 AI를 덧붙이는 대신 AI 역량을 중심으로 워크플로우를 근본적으로 재설계했습니다. McKinsey가 31개 조직 변수를 분석한 상대적 가중치(relative weights) 분석에서도 워크플로우 재설계가 EBIT 효과 달성에 가장 강력하게 기여하는 요소 중 하나로 확인되었습니다.

조직 역량 측면에는 인재도 포함됩니다. 숙련된 AI 실무자는 전 세계적으로 여전히 부족합니다. 그러나 설문 결과가 시사하는 더 중요한 희소 자원은 기술 인재가 아닙니다. AI의 산출물을 운영상의 의사결정으로 전환하는 역량, 그리고 워크플로우가 근본적으로 재구성될 때 필요한 변화 관리(change management)를 이끄는 능력이 더욱 결정적입니다.

Deloitte의 연구에 따르면 대부분의 조직이 generative AI로부터 주요 가치를 실현하기 전에 기업 AI 도입 (enterprise AI adoption)의 과제-인력 교육, 거버넌스, 시스템 통합 등-를 해결하는 데 최소 12개월이 필요합니다. 기술 배포와 함께 인재 개발에 충분히 투자하지 않는 기업은 일관되게 이 곡선에서 뒤처지게 됩니다.

AI 시대의 인재 재정의: 도구 숙련에서 운영 역량으로. 기업들이 어떻게 변화하고 있는지 확인하세요!

Factor 6: 유스케이스 선택에서 넓이보다 깊이 추구

AI 도입 성공 (AI implementation success)에 어려움을 겪는 조직에서 반복적으로 나타나는 패턴은, 엔터프라이즈 전반에 걸친 헌신을 증명하기 위해 여러 기능, 지역, 사업 부문에 걸쳐 AI를 동시에 광범위하게 배포하려는 유혹입니다. 설문 데이터는 이 접근 방식이 역효과를 낳는다는 것을 보여줍니다.

가장 강력한 AI 투자 수익률 (return on AI investments)를 달성하는 조직들은 확장 전에 검증된 영역의 소수 고영향력 유즈케이스에 집중적으로 투자합니다. Deloitte의 연구는 너무 많은 영역에 AI 이니셔티브를 동시에 분산시킬 경우 어느 분야에서도 의미 있는 성과를 내지 못한다고 명시적으로 지적합니다.

초기 단계에서 가장 일관되게 ROI가 입증된 기능은 다음과 같습니다.

• 고객 운영 및 케어 (Customer operations and care) - 여러 독립적인 연구에 따르면 generative AI 적용 시 30~45%의 생산성 향상이 가능
• 마케팅 및 영업 (Marketing and sales) - 개인화, 리드 스코어링, 콘텐츠 생성 분야에서 검증된 ROI 경로 존재
• IT 및 소프트웨어 개발 (IT and software development) - AI 지원 코딩 및 서비스 데스크 자동화를 통한 측정 가능한 효율성 개선
• 이상 거래 탐지 및 리스크 관리 (Fraud detection and risk management) - 예측 모델의 오랜 성과 기록 보유

검증된 유즈케이스를 기반으로 확장하면 조직 학습이 축적되고, 재무 팀의 신뢰가 구축되며, 이후 배포를 개선하는 데 필요한 운영 데이터가 생성됩니다. 깊이보다 넓이를 먼저 추구하는 기업은 지속적인 AI 전환 (AI transformation)에 필요한 내부 전문성을 좀처럼 쌓지 못합니다.

AI는 어디까지 왔는가: 스탠퍼드 AI 연구진이 바라본 2026년. 업계 리더들이 어떻게 적응하고 있는지 알아보세요! 

Factor 7: 전통적 재무 지표를 넘어선 가치 측정

마지막 요인은 장기적인 AI 비즈니스 가치 (AI business value) 실현에 있어 전략적으로 가장 중요한 요소입니다. Return on AI Institute 설문과 Deloitte의 병행 연구 모두, AI 성과가 가장 높은 조직들이 가치의 정의를 즉각적인 재무 지표 이상으로 확장했음을 보여줍니다.

이것은 책임에서 벗어나도 된다는 의미가 아닙니다. 오히려 정반대입니다. AI가 동시에 여러 차원에서 가치를 창출한다는 구조적 현실을 반영합니다.

• 생산성 및 처리량 향상 (Productivity and throughput gains) - 즉각적인 매출로 이어지지 않더라도 성과당 비용을 절감
• 전략적 선택 가능성 (Strategic optionality) - 경쟁사보다 빠르게 신시장 진출, 신제품 출시, 위협 대응이 가능한 역량
• 조직 학습 및 지식 자본 (Organizational learning and knowledge capital) - AI를 대규모로 운영함으로써 구축되는 역량. McKinsey의 State of AI 연구에 따르면 고성과 기업들은 여러 비즈니스 기능에서 동시에 AI를 활용할 가능성이 현저히 높으며, 이를 통해 조직 차원의 이점이 복리로 축적된
• 데이터 인프라 성숙도 (Data infrastructure maturity) - 각 AI 배포가 미래 배포를 위한 기반 데이터 시스템을 개선하는 선순환 구조

Deloitte의 2025년 설문에서 응답자의 65%가 AI를 기업 전략의 일부로 인식하고 있다고 밝혔으며, 이는 모든 성과가 즉각적이거나 재무적인 것이 아님을 인정하는 것입니다. 이는 의미 있는 전환 신호입니다. 기업들이 AI의 단기적 효율성 이득뿐만 아니라 장기적인 변환 가치를 측정하기 시작하고 있다는 것을 보여줍니다.

가치 측정 프레임워크를 확장하는 것은 책임 회피를 의미하지 않습니다. 비즈니스 성과와 모델 품질을 함께 추적하는 대시보드를 구축하고, 모든 AI 지출이 재무적, 운영적, 전략적 성과에 연결되도록 보장하는 것을 의미합니다.

디지털 커머스의 분기점: AI 챗봇은 왜 매출 엔진이 되는가. 데이터와 조사 결과를 살펴보세요! 

AI Economic Maturity Model: 성장을 위한 로드맵

7가지 요인과 함께, Davenport와 Srinivasan은 6단계 AI Economic Maturity Model을 개발했습니다. 이는 조직이 초기 파일럿에서 고부가가치의 엔터프라이즈 전반 성과로 발전해 나가는 과정을 체계적으로 매핑한 연구 기반 로드맵입니다.

이 모델은 고성과 기업들에서 일관되게 관찰되는 패턴을 반영합니다. 가치 실현은 투자 규모의 선형 함수가 아닙니다. 역량, 거버넌스, 전략적 통합의 뚜렷한 단계를 거쳐 조직이 얼마나 성숙하게 발전하는가의 함수입니다. 거버넌스, 데이터 인프라, 인력 준비 태세를 구축하지 않은 채 파일럿에서 엔터프라이즈 배포로 단계를 건너뛰는 조직은 일관되게 저성과를 보입니다.

현재의 AI 도입 트렌드 (AI adoption trends)를 살펴보면 이 격차가 좁혀지지 않고 오히려 벌어지고 있음을 알 수 있습니다. McKinsey의 2025 State of AI에 따르면 현재 조직의 88%가 최소 하나의 비즈니스 기능에서 AI를 정기적으로 사용하고 있지만, AI 프로그램의 확장 단계에 진입한 조직은 전체의 3분의 1에 불과합니다. 대다수는 여전히 실험 또는 파일럿 단계에 머물러 있습니다. 이러한 조직들에게 기업 AI 도입 (enterprise AI adoption)에서 실질적 성과로 나아가는 경로는 이 모델의 중간 단계-거버넌스, 데이터 준비 태세, 워크플로우 재설계-를 반드시 통과합니다.

AI 리더와 나머지 기업의 차이

Return on AI Institute 설문, McKinsey의 State of AI 연구, Deloitte의 2025년 조사 결과에서 나타나는 전반적인 그림은 일관성 있고 시사하는 바가 큽니다.

강력한 AI ROI를 창출하는 조직들의 공통된 특징:

• AI를 기술 실험이 아닌 재무적 책임이 수반된 전략 프로그램으로 접근
• 기존 프로세스에 AI를 끼워 맞추는 대신 AI 역량을 중심으로 워크플로우를 재설계
• 배포 전후 성과를 측정함으로써 검증 가능한 AI 투자 ROI (AI investment ROI) 근거를 확보
• 모델 배포와 함께 인재, 거버넌스, 데이터 인프라에 균형 있게 투자
• 검증된 유스케이스 에서 빠르게 성과를 내고, 그 성과를 바탕으로 심층적 역량 구축에 재투자

AI ROI에 어려움을 겪는 조직들의 공통된 특징:

• AI 도입 트렌드 (AI adoption trends)가 파일럿 단계에서 정체 - 여러 기능에 이니셔티브가 분산되어 있으나 어느 분야에서도 깊이 없음
• 배포 이후에 구축된 측정 프레임워크로 인해 성과 귀인(attribution)이 불가능
• CFO, CIO, CTO 간의 리더십 정렬 실패
• 기업 AI 도입 (enterprise AI adoption) 과제가 예상보다 오래 걸려 인력 준비 태세 과소평가
• AI 비즈니스 가치 (AI business value)를 비용 절감으로만 좁게 정의해 매출 및 전략적 이득을 놓침

이 격차의 본질은 기술적인 것이 아닙니다. 조직적이고, 전략적이며, 관리적인 문제입니다.

한국의 AI 혁신을 세계에 알리다: 이탈리아 SIGIR 2025에서 공개된 메이크봇의 HybridRAG 프레임워크. 여기서 더 읽어보세요!

결론: AI ROI는 설계되는 것이지, 발견되는 것이 아니다

Return on AI Institute 설문과 이 설문이 종합하는 방대한 연구들은 하나의 명확한 결론을 도출합니다. 앞으로 10년간 AI로부터 불균형적인 가치를 얻는 기업은 반드시 가장 큰 예산을 가진 기업, 가장 첨단 모델을 보유한 기업, 가장 열의 있는 이사회를 가진 기업이 아닙니다. 다른 주요 자본 프로그램에 적용하는 것과 동일한 규율로 AI 투자 전략 (AI investment strategy)에 접근하는 기업이 바로 그 주인공입니다.

전 세계 CIO의 71%가 2년 이내에 AI 투자 ROI (AI investment ROI)를 증명하지 못할 경우 예산 동결에 직면해 있는 상황에서, 정의되지 않은 성과에 대한 업계의 관용은 빠르게 좁아지고 있습니다. 생성형 AI ROI (generative AI ROI)와 보다 광범위한 AI 비즈니스 가치 (AI business value)는 앞으로 더욱 자주 실적 발표(earnings calls)와 이사회 프레젠테이션에서 열망적인 프레임워크가 아닌 문서화된 결과로 제시되어야 합니다.

이 연구에서 밝혀진 7가지 요인은 실용적이고 근거 기반의 출발점을 제공합니다. 목적의 명확성, 이중 트랙 가치 창출, 전체 스펙트럼 도구 활용, 구조화된 거버넌스, 조직 역량 구축, 집중적 유스케이스 선택, 그리고 확장된 가치 측정. 이 중 어느 것도 기술적으로 복잡하지 않습니다. 그러나 이들이 함께 작동할 때, 실질적으로 성과를 내는 AI 전환 (AI transformation)의 운영 체계가 완성됩니다.

AI 시대는 기술 경쟁이 아닙니다. 경영의 도전입니다. 이 구분을 가장 먼저 내면화하는 조직이 바로 다른 모든 기업이 모방하려는 AI 투자 수익률 (return on AI investments) 사례를 써 내려가게 될 것입니다.

AI 투자를 실질적인 비즈니스 성과로 전환할 준비가 되셨습니까?