핵심 요약

• LLM 가격은 계속 하락하고 있지만, Gartner는 에이전틱 워크플로 1건당 AI 추론 비용이 2028년까지 5배 이상 증가할 것으로 전망합니다.
• 에이전틱 AI는 작업 하나를 처리할 때 일반 챗봇보다 5~30배 많은 토큰을 사용할 수 있어, 토큰 단가 하락 효과를 빠르게 상쇄합니다.
• McKinsey 조사 응답자의 93%가 AI 예산을 초과했다고 답했으며, AI 지출의 20~30%는 추적되지 않는 경우가 많습니다.
• McKinsey 조사에서 AI가 이익(EBIT)에 기여했다고 답한 응답자는 37%에 불과합니다. 소수의 AI 고성과 기업은 더 저렴한 모델을 찾는 대신 업무 방식 자체를 재설계해 성과를 냅니다.
• 엔터프라이즈 AI 투자수익률은 토큰당 비용이 아니라 완료된 비즈니스 성과 1건당 비용으로 판단해야 합니다.

들어가며

LLM 가격은 계속 하락하고 있습니다. South China Morning Post가 보도한 Jefferies의 분석에 따르면, 미국 리서치 기업 Silicon Data의 데이터 기준으로 토큰 100만 개를 처리하는 평균 가격은 2026년 5월 31일 2.04달러에서 8월 6~8일 1.16~1.18달러로 떨어졌습니다. 토큰이란 AI 모델이 읽거나 생성하는 약 4자 분량의 작은 텍스트 단위이며, 기업은 이 토큰 사용량에 따라 AI 비용을 지불합니다.

그런데도 엔터프라이즈 AI 에이전트를 운영하는 기업들의 청구 금액은 오히려 늘고 있습니다. Gartner는 이를 추론 역설(Inference Paradox)이라고 부릅니다. 토큰 하나하나는 저렴해지지만 AI의 전체 비용은 계속 늘어나는 현상입니다. AI 에이전트는 한 번 답하고 끝나지 않습니다. 계획을 세우고, 도구를 사용하고, 스스로 결과를 점검하며, 실패하면 다시 시도합니다. 이 모든 단계가 토큰을 소비합니다.

이 글에서는 AI 에이전트 비용이 계속 오르는 이유와, 생성형 AI로 실제 수익을 내는 소수 기업이 무엇을 다르게 하는지 살펴봅니다.

토큰은 저렴해지는데 청구서는 커지는 이유

Gartner는 2030년이 되면 1조 개 파라미터 규모 모델의 추론 비용이 AI 제공업체 입장에서 2025년 대비 90% 이상 줄어들 것으로 예측합니다. 다만 두 가지 경고도 함께 내놓았습니다. 제공업체의 비용 절감분이 기업 고객에게 모두 전달되지는 않으며, 기업의 토큰 사용량은 가격 하락 속도보다 더 빠르게 늘고 있다는 것입니다. 이에 따라 Gartner는 전체 AI 추론 비용(AI 모델을 실제로 실행하는 데 드는 비용)이 오히려 증가할 것으로 전망합니다.

2026년 8월, Gartner는 이를 구체적인 수치로 제시했습니다. 에이전틱 워크플로 1건당 추론 비용은 2028년까지 5배 이상 증가할 것이라는 전망입니다. Gartner의 Will Sommer 시니어 디렉터 애널리스트(Sr. Director Analyst)는 "프로덕트 리더는 더 효율적인 토큰 경제성에 기대어 AI 비용을 정당화할 수 없습니다"라고 분명히 말했습니다.

간단한 예시로 보기

작업 1건당 비용은 작업당 토큰 수에 토큰당 가격을 곱한 값입니다. 토큰 가격이 약 40% 하락했다고 가정해 보겠습니다. 이는 2026년 5월부터 8월 사이 Silicon Data 지수의 하락폭과 비슷한 수준입니다. 같은 시기에 한 기업이 기존 챗봇 대신 토큰을 10배 더 쓰는 AI 에이전트를 도입했다고 해 보겠습니다. 이는 Gartner가 제시한 5~30배 범위 안에 있는 수치입니다. 토큰 가격이 내려갔는데도 작업 1건당 비용은 약 6배로 늘어납니다. 에이전틱 AI에서는 토큰 하나의 가격보다 작업에 필요한 토큰의 양이 훨씬 중요합니다.

엔터프라이즈 AI 에이전트가 훨씬 많은 토큰을 쓰는 이유

챗봇은 질문을 읽고 답을 내놓습니다. 반면 Gartner에 따르면 에이전트는 작업이 끝날 때까지 계속 추론하고, 조율하고, 스스로 검증해야 합니다. 늘어난 토큰은 주로 세 곳에서 쓰입니다.

• 같은 정보를 반복해서 읽기: 에이전트는 프롬프트, 이전 대화, 도구 실행 결과를 계속해서 모델에 다시 입력합니다. AI 코딩 에이전트를 분석한 Stanford Digital Economy Lab 연구에 따르면 비용의 대부분은 이러한 입력에서 발생했습니다.
• 점검과 재시도: McKinsey는 재시도와 에이전트 루프를 AI 지출을 키우는 숨은 요인으로 꼽습니다.
• 요청 하나에 여러 단계: 에이전틱 워크플로는 상호작용 1건당 모델 호출 횟수를 크게 늘립니다. 다른 다단계 AI 에이전트 워크플로에서도 마찬가지입니다.

비용을 예측하기도 어렵습니다. Stanford 연구에서는 같은 코딩 작업이라도 실행할 때마다 토큰 사용량이 최대 30배까지 차이가 났습니다. McKinsey에 따르면 사용량 기반 과금이 자리 잡으면서 LLM 토큰 비용은 매일 발생하는 운영비가 되었습니다.

LLM 토큰 비용 너머의 숨은 비용

토큰은 가장 눈에 잘 띄는 비용일 뿐입니다. McKinsey가 2026년 5월 실시한 Enterprise AI FinOps 조사에 따르면, 기업이 몇몇 개별 프로젝트에서 전사적 AI 활용으로 넘어갈 때 AI 지출은 약 4배로 늘어납니다. 이처럼 LLM 시스템에 숨은 비용은 상당 부분 잘 보이지 않으며, AI 지출의 20~30%는 추적되지 않는 경우가 많습니다.

다음 세 가지 문제도 엔터프라이즈 AI 프로젝트의 속도를 늦춥니다.

• 필요하지 않은 곳에 에이전트 도입: Gartner는 '에이전틱'을 내세운 활용 사례 상당수가 실제로는 에이전트가 필요하지 않다고 지적합니다.
• 역량 부족: Deloitte 조사에 참여한 리더들은 가장 큰 걸림돌로 직원의 AI 활용 역량 부족을 꼽았습니다.
• 취약한 통제: Deloitte에 따르면 자율형 AI 에이전트를 관리·통제할 수 있는 성숙한 거버넌스 모델을 갖춘 기업은 5곳 중 1곳에 불과합니다.

그 결과 Gartner는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 중단될 것으로 예측합니다. 비용 증가, 불분명한 비즈니스 가치, 미흡한 리스크 관리가 주요 원인으로 꼽힙니다.

엔터프라이즈 AI 투자수익률 격차: AI는 늘었지만 이익은 그대로

이익은 비용 증가를 따라가지 못하고 있습니다. 1,719명을 대상으로 한 McKinsey의 State of AI 2026 조사에서 AI가 회사의 EBIT(이자 및 법인세 차감 전 이익)에 기여했다고 답한 비율은 37%에 그쳤으며, 이는 1년 전과 거의 같은 수준입니다.

• Deloitte: 2025년 8~9월 리더 3,235명을 대상으로 실시한 조사에서 66%는 생산성 향상을 경험했다고 답했지만, AI로 매출을 늘리고 있는 곳은 20%에 불과했습니다.
• PwC: 2026 Global CEO Survey에 참여한 CEO 4,454명 가운데 비용과 매출 두 측면에서 모두 효과를 봤다고 답한 비율은 12%에 그쳤고, 56%는 의미 있는 재무적 효과를 보지 못했다고 답했습니다.

절약한 시간은 업무 방식 자체가 바뀌어야 비로소 이익으로 이어지며, AI 기반 프로세스를 도입한 기업이 앞서 나가는 것도 그 때문입니다. 그러나 Deloitte에 따르면 조직의 37%는 AI를 표면적인 수준에서만 활용하고 있으며, 업무 방식은 거의 바뀌지 않았습니다.

AI 고성과 기업은 무엇이 다른가

McKinsey는 응답자 중 약 6%를 AI 고성과 기업(AI high performers)으로 분류합니다. 이들 조직에서는 EBIT의 5% 이상이 AI에서 나옵니다.

출처: McKinsey, The State of AI in 2026

고성과 기업은 기존 워크플로에 AI를 덧붙이는 대신 워크플로 자체를 다시 설계합니다. 이들은 AI 에이전트 비용도 가장 먼저 체감합니다. AI 코딩 에이전트 사용에서 비용 제약을 겪는다고 답한 비율이 다른 기업보다 약 3배 높았는데, 이는 그만큼 더 많이 사용하고 있음을 보여 줍니다.

AI 비용 최적화를 위한 실전 가이드

AI 비용 최적화는 AI에 돈을 덜 쓰는 것을 의미하지 않습니다. 모든 토큰이 제값을 하도록 만드는 것입니다. McKinsey에 따르면 AI를 신중하게 활용하는 기업은 AI 비용을 20~30% 절감할 수 있습니다. 가장 효과적인 방법은 다음 다섯 가지입니다.

1. 토큰당 비용이 아닌 성과당 비용을 추적합니다. 보험금 청구 1건 처리처럼 완료된 작업 하나하나의 비용을 측정합니다.
2. 작업에 맞는 모델을 선택합니다. Gartner는 단순하고 빈번한 작업은 소형 특화 모델에 맡기고, 가장 강력한 모델은 복잡하고 가치가 높은 업무에만 사용할 것을 권고합니다.
3. 요청마다 보내는 정보를 줄입니다. 프롬프트 캐싱을 활용하면 RAG 시스템(사내 문서를 불러와 질문에 답하는 도구)의 반복 입력 토큰 비용을 최대 약 90%까지 줄일 수 있습니다.
4. 에이전트에 한도를 설정합니다. 재시도, 도구 호출, 루프 횟수에 상한을 두고, 잘못 설계된 워크플로 자체를 고칩니다.
5. AI 지출을 한곳에서 관리합니다. AI FinOps 컨트롤 플레인은 사용량을 추적하고, 비용을 부서별로 배분하며, 예산을 통제하고, 요청마다 적합한 모델로 연결합니다.