2028년까지 생성형 AI 애플리케이션의 80%는 기존 인프라 위에 구축될 것 – Gartner
2028년까지 80%의 GenAI 앱이 기존 플랫폼 위에서 개발돼 복잡성과 납기 50% 절감.


전 세계적으로 생성형 AI(Generative AI)의 활용 방식이 급격히 진화하고 있습니다. Gartner의 최신 보고서에 따르면, 기업들은 더 이상 막대한 비용을 들여 GenAI 애플리케이션을 처음부터 개발하지 않을 전망입니다.
2028년까지는 전체 생성형 AI 비즈니스 애플리케이션의 80%가 기존 데이터 관리 플랫폼 위에서 구축되며, 이는 복잡성과 납기 시간을 절반으로 줄이는 전환점이 될 것입니다.
이 변화는 단순한 기술 선택을 넘어, AI 도입에 대한 기업 전략의 근본적인 전환을 의미합니다. 비용 절감 이상의 파급력을 가지며, AI 거버넌스부터 AI 기반 시장 경쟁력 확보까지 전방위적인 영향을 미칠 것입니다.
AI가 만드는 새로운 시대: 2025년 온라인 콘텐츠 90%가 AI 생성될 것이라는 전문가들의 전망. 여기에서 자세히 알아보세요!

현재의 과제: 기술보다 중요한 건 ‘통합’
오늘날의 GenAI 개발 환경은 흩어진 퍼즐과도 같습니다. LLM(대규모 언어 모델)을 내부 데이터와 연결하고, 벡터 검색, 메타데이터 관리, 프롬프트 설계, 임베딩 기술 등 빠르게 변화하는 요소들을 종합적으로 통합해야 합니다.
문제는 기술적 역량이 아니라 조정 능력에 있습니다. 통합된 관리 접근 방식 없이 기술을 개별적으로 도입하면, 오히려 전달 시간이 길어지고 조직에 매몰 비용이 발생할 수 있다고 Gartner의 수석 디렉터 애널리스트 Prasad Pore는 설명합니다.
이러한 단절된 환경이 야기하는 주요 문제는 다음과 같습니다:
- 통합의 복잡성: LLM을 사내 데이터 시스템과 연결하기 어려움
- 기술 확산: 다양한 벤더와 플랫폼으로 인한 관리 부담
- 기술 격차: 빠르게 변화하는 기술에 대응할 전문 인력 부족
- 거버넌스 이슈: 보안 및 규제 준수 문제
미래 GenAI 아키텍처의 핵심: RAG AI
이러한 흐름 속에서 Gartner는 ‘RAG AI’를 차세대 GenAI 배포의 핵심 구조로 주목하고 있습니다. RAG는 LLM의 한계를 보완하며 유연성, 해석 가능성, 확장성을 제공합니다.
대부분의 LLM은 공개 데이터를 기반으로 훈련되었기에 특정 비즈니스 과제를 해결하는 데는 한계가 있습니다. 그러나 RAG 아키텍처를 통해 기업의 자체 데이터를 LLM과 결합하면 정확도와 활용도가 크게 향상됩니다.
RAG AI의 기술적 장점은 다음과 같습니다:
- 강화된 맥락 인식: 최신 내부 데이터를 실시간 반영함으로써, 보다 정확한 응답 가능
- 추적 가능성 향상: 데이터 카탈로그를 통해 의미 기반 정보 축적 및 맥락 유지 가능
- 환각(hallucination) 현상 감소: 검증된 데이터를 기반으로 생성함으로써 잘못된 정보 생산 방지
2025년 LLM 워크플로우를 향상시키는 최고의 RAG 도구 총정리. 여기에서 읽어보세요!
Gartner가 제시하는 3가지 전략적 전환 과제
Gartner는 GenAI 인프라 전환을 준비하는 조직에 세 가지 전략을 제안합니다:
1. 플랫폼 진화 전략 수립
기존 데이터 관리 플랫폼을 ‘RAG-as-a-Service’ 기반으로 전환 가능한지 평가해야 합니다. 단순한 기술 업그레이드를 넘어서, 벡터 데이터베이스, 시맨틱 검색, 실시간 데이터 통합 등을 지원하는 근본적인 아키텍처 혁신이 요구됩니다.
2. 핵심 기술 통합 우선순위 설정
벡터 검색, 그래프, 청킹(chunking) 등 핵심 RAG 기술을 기존 플랫폼 또는 파트너 생태계를 통해 통합해야 합니다. 이는 기술 변화에 유연하게 대응할 수 있는 안정적인 기반이 됩니다.
3. 고도화된 메타데이터 전략 구축
운영 중 생성되는 런타임 메타데이터까지 활용하는 전략이 필요합니다. 이는 개인정보 보호, 지적 재산 보호, 악의적 사용 방지 등 GenAI의 보안성과 투명성을 크게 향상시킵니다.

핵심 성공 요인: AI 거버넌스
기존 플랫폼 기반의 GenAI 개발이 보편화됨에 따라, AI 거버넌스는 더 이상 선택이 아닌 필수가 됩니다. LLM이 기업의 핵심 데이터와 결합되면 전통적 IT 거버넌스로는 감당하기 어려운 리스크가 발생할 수 있습니다.
따라서 다음과 같은 요소를 포함한 철저한 거버넌스 체계가 필요합니다:
- 데이터 계보 추적: 데이터 흐름과 사용 이력 확인으로 정확성 및 규제 준수 보장
- 접근 제어: 세분화된 권한 설정으로 민감 정보 보호
- 감사 기능: 모델 판단 및 데이터 활용 내역에 대한 기록 보관
- 품질 관리: 모델 편향, 성능 저하, 드리프트 감지 등을 위한 지속 모니터링
딜로이트 보고서: APAC 지역 AI 거버넌스 개선의 기회. 더 보기!
선제적 대응이 곧 경쟁력
이 전환 흐름에 효과적으로 대응하는 기업은 분명한 경쟁 우위를 확보하게 됩니다. Gartner는 2028년까지 대부분의 생성형 AI 비즈니스 애플리케이션이 기존 데이터 인프라를 기반으로 구축될 것으로 예측하며, 이에 따라 개발 소요 시간과 복잡도는 각각 50%씩 줄어들 것이라고 전망합니다.
개발 시간의 단축은 출시 속도를 높이고 비용을 절감하며, 빠른 반복 개선이 가능한 환경을 마련합니다. AI가 기업 경쟁력을 결정짓는 시장에서 이 속도는 매우 결정적인 요소가 될 수 있습니다.
실행을 위한 로드맵: 전략에서 실현까지
이러한 플랫폼 중심 전략을 실현하기 위해서는 다음과 같은 단계적 접근이 필요합니다:
- 현황 평가: 기존 데이터 인프라 분석 및 RAG 적용에 필요한 요소 점검
- 아키텍처 설계: 벡터 DB, 시맨틱 검색, 메타데이터 시스템 통합 계획 수립
- 파일럿 개발: 저위험 사례부터 테스트해 조직 내 확신 확보
- 확장 전략 수립: 검증된 플랫폼을 바탕으로 GenAI 적용 사례 확대
- 거버넌스 통합: 개발 전 과정에 AI 거버넌스를 내재화
이제 선택이 아닌 필수인 전환
GenAI를 기존 데이터 인프라 위에 구축하는 흐름은 단순한 기술 트렌드가 아닌, AI를 대규모로 확장하고자 하는 조직의 전략적 필수 요소입니다.
RAG 아키텍처 수용, AI 거버넌스 강화, 기존 인프라 활용을 통해 기업은 파편화된 개발 구조의 비효율에서 벗어나 진정한 AI 경쟁력을 확보할 수 있습니다.
이제 중요한 것은 변화가 오는가?가 아니라, 우리는 얼마나 빠르게 이 변화에 적응할 수 있는가?입니다.
Gartner의 인사이트에 기반해 발 빠르게 움직이는 기업은 2028년 이후 AI 중심 경제에서 리더가 될 것입니다.
기존 인프라에서 차세대 GenAI 애플리케이션을 구축할 준비가 되셨나요?
가트너(Gartner)가 GenAI 개발의 미래가 기존 데이터 플랫폼 중심으로 이동할 것이라고 예측하는 가운데, 미래를 내다보는 조직들은 이러한 변화를 성공적으로 이끌어갈 검증된 파트너가 필요합니다. 메이크봇은 현재 운영 중인 인프라와 완벽하게 통합되는 엔터프라이즈급 LLM 및 RAG AI 솔루션 구축에 특화되어 있습니다.
2028년까지 경쟁 우위를 확보하기 위해 기다리지 마세요. 멀티 LLM 통합, 파인튜닝, 그리고 엔터프라이즈 데이터 통합을 위한 메이크봇의 올인원 솔루션으로 RAG AI 기반 애플리케이션 구축을 지금 시작하세요.
GenAI 혁신을 주도할 준비가 되셨나요?
메이크봇 문의: b2b@makebot.ai
자세히 알아보기: makebot.ai