오픈소스 LLM과 폐쇄형 LLM은 기업들이 대규모 언어 모델을 실제 업무와 서비스에 활용하기 시작한 이후, 기업의 LLM 전략에서 서로 다른 선택 기준을 요구하는 두 가지 접근 방식으로 공존해 왔습니다.  이 과정에서 많은 기업들은 오픈소스 LLM을 경량화·목적 특화된 sLLM 형태로 운영하며, 비용과 통제력을 동시에 확보하려는 전략을 취해 왔습니다.

그러나 올해 이 논의가 특별한 이유는, 이 선택이 더 이상 기술 취향이나 철학의 문제가 아니라 기업의 비용 구조와 거버넌스 현실에 직접적인 영향을 미치는 전략적 판단으로 바뀌었기 때문입니다.

이 글은 메이크봇이 GPT, Gemini 계열과 같은 다양한 폐쇄형 LLM을 지원하는 동시에, 공공기관과 금융·엔터프라이즈 환경에 sLLM을 동시에 설계·운영해 온 경험과, 글로벌 리서치 기관의 분석을 종합해 정리한 시각을 담고 있습니다.

여러 산업 조사에 따르면 2023~2024년까지 GPT 계열과 같은 폐쇄형 LLM은 전체 사용의 약 80~90%를 차지하며 절대적 우위를 유지했습니다. 하지만 올해 들어 이러한 지배력은 점차 약화되고 있습니다. 이는 생성형 AI 워크로드가 단순한 파일럿 단계를 넘어 지속적·대규모 운영 시스템으로 확장되기 시작했기 때문입니다.

이러한 변화는 기업으로 하여금 모델 성능뿐 아니라 비용 예측 가능성, 데이터 주권, 규제 리스크, 장기적 락인(lock-in)까지 함께 재검토하도록 요구합니다. 그리고 이러한 재평가는 기능이나 사용자 인터페이스가 아니라, 아키텍처 레이어에서부터 시작되고 있습니다.

📌 핵심 용어 정리(Key Terms for Enterprise LLM Strategy)

오픈소스 LLM(Open-source LLM)
모델 가중치가 공개되어 기업이 직접 배포·운영·튜닝할 수 있는 대규모 언어 모델 

오픈 웨이트 LLM(Open-weight LLM)
모델 가중치가 공개되어 기업이 직접 배포·운영할 수 있는 LLM 계열로, 학습 데이터나 전체 파이프라인은 공개되지 않을 수 있습니다. 완전한 오픈소스는 아니지만, 엔터프라이즈 환경에서 통제·커스터마이징이 가능해 현재 가장 널리 활용되는 형태입니다.(예: Meta의 LLaMA 계열, Alibaba의 Qwen, DeepSeek R1 등)

sLLM(Small / Specialized LLM):
오픈 웨이트 LLM을 기반으로 특정 업무나 도메인에 맞게 경량화·튜닝한 모델로, 금융·공공·엔터프라이즈 환경에서 온프레미스 또는 프라이빗 클라우드 형태로 운영됩니다.

폐쇄형 LLM(Closed-source LLM)
상용 API 형태로 제공되며, 내부 구조와 가중치가 공개되지 않은 독점 모델 (예: OpenAI의 GPT-4 계열, Anthropic의 Claude, Google의 Gemini 등)

엔터프라이즈 LLM 구축의 함정: 겉으로 보이지 않는 비용들. 여기서 더 읽어보세요!

성능 경쟁의 종점: 최고 성능에서 ‘충분한 성능’으로

여전히 폐쇄형 모델은 종합 벤치마크에서 우위를 유지하고 있습니다. 특히 범용 추론이나 다단계 작업 영역에서는 그 차이가 분명하게 나타납니다.

• GPT-4 계열 모델은 HumanEval 계열 코딩 벤치마크에서 90% 이상의 정답율을 기록합니다.
• 상용 독점 모델들은 추론과 지시 수행을 종합 평가하는 ELO 방식 테스트에서도 상위권을 유지합니다.

그러나 중요한 변화는 격차의 축소 속도입니다. 

• 이제 성능 수렴 속도는 수치로 확인 가능한 단계에 이르렀습니다. 전문가 설문에 따르면 오픈소스 LLM과 폐쇄형 LLM 간의 성능 격차는 약 12~16개월 수준으로 줄어들었으며, 이는 2023년 초 약 24개월 이상이었던 시점과 비교해 크게 감소한 수치입니다.
• LLaMA-3-70B, Qwen-72B, DeepSeek R1과 같은 오픈소스 모델들은 코딩, 수학, RAG(검색 결합 생성) 영역에서 폐쇄형 모델과 대등하거나 일부 과제에서는 이를 능가하는 결과를 보여주고 있습니다.

중요한 점은 이러한 변화가 범용화(commoditization)가 아니라 전문화(specialization)와 동시에 진행되고 있다는 사실입니다. LLM 생태계는 더 이상  “가장 좋은 대규모 언어 모델은 무엇입니까?” 라는 질문을 중심에 두지 않습니다.

대신 질문은 다음과 같이 변화하고 있습니다. “우리의 목적에 충분한 성능은 무엇이며, 그 비용은 얼마입니까?”

이 질문은 곧바로 경제성 논의로 이어집니다.

경제성: 가장 결정적인 변수로 떠오른 비용 곡선

올해 LLM 전략에서 가장 결정적인 변수는 단연 비용입니다.

• 폐쇄형 API는 평균적으로 입력 토큰 100만 개당 약 10달러, 출력 토큰은 약 30달러 수준입니다.
• 이에 비해 유사한 성능의 오픈소스 LLM은 토큰 100만 개당 약 0.60~0.70달러 수준으로, 약 10배에 가까운 비용 차이를 보입니다.

실험 단계에서는 이러한 차이가 크게 체감되지 않을 수 있습니다. 그러나 엔터프라이즈 규모로 확장될 경우 상황은 근본적으로 달라집니다.

• Salesforce는 단 한 번의 연말 시즌 동안 AI 기반 커머스 규모가 2,630억 달러에 이를 것으로 전망합니다.
• McKinsey는 2030년까지 에이전트 기반 커머스가 연간 3~5조 달러 규모로 성장할 것으로 추정합니다.

이는 기업당 연간 수십억 개 이상의 토큰 사용을 의미하며, API 의존형 전략만으로는 구조적으로 비용 안정성을 유지하기 어렵다는 계산으로 이어집니다.

실제 기업들의 인식 역시 이러한 수치를 반영하고 있습니다.

• 전체 기업의 41%는 오픈소스 LLM 사용을 확대할 계획입니다
• 또 다른 41%는 성능 격차가 해소될 경우 폐쇄형에서 오픈소스로 전환할 의향이 있다고 응답했습니다
• 오픈소스 도입 계획이 전혀 없다고 답한 기업은 18%에 불과합니다

시장에서는 향후 안정적인 사용 비중이 오픈소스 50% / 폐쇄형 50% 수준으로 수렴할 것으로 보고 있습니다. 이는 2023년 약 90%가 폐쇄형 모델에 집중되었던 구조와 비교하면 매우 큰 변화입니다.

다만 토큰 단가가 낮다고 해서 총소유비용(TCO)이 자동으로 감소하는 것은 아닙니다. 비용 절감의 중심은 점차 인프라, 오케스트레이션, 거버넌스로 이동하고 있으며, 이 지점에서 논의의 핵심은 다시 통제력과 운영 역량으로 돌아오고 있습니다.

거버넌스·주권·규제: 이제 ‘통제력’이 전략이 됩니다

오늘날 기업의 AI 전략에서 중요한 질문은 “가장 성능이 좋은 모델은 무엇인가”가 아니라 “이 모델을 얼마나 통제 가능한 방식으로 운영할 수 있는가”로 이동하고 있습니다. 규제 환경의 변화로 인해, AI 거버넌스는 더 이상 정책 부서의 문제가 아니라 시스템 아키텍처 차원의 핵심 설계 요소가 되었습니다.

• EU AI 법(AI Act)은 오픈소스 기반 파운데이션 모델을 경제적 공공재로 명시적으로 인정하고 있으나, 위험 등급에 따른 의무는 엄격하게 적용하고 있습니다.
• 미국은 혁신을 우선하는 ‘라이트 터치(light-touch)’ 규제 기조로 방향을 전환하고 있으며, 이에 따라 기업 스스로의 자율 거버넌스 책임이 더욱 커지고 있습니다.
• 중국은 고임팩트 AI 연구 논문 생산에서 세계 최대 규모로 부상하고 있으며, 오픈 웨이트(open-weight) 모델 공개에 높은 비중을 두고 있습니다.

이러한 흐름 속에서 AI 주권은 선언적인 개념이 아니라, 데이터·모델·인프라를 누가 통제하는가에 대한 실질적인 경영 이슈가 되었습니다.

• 각국 정부는 국가 단위 데이터센터에 수십억 달러를 투자하여 자국 내에서 모델을 운영하려는 전략을 취하고 있습니다.
• 기업들 역시 데이터 레지던시 규정을 충족하기 위해 온프레미스 또는 프라이빗 클라우드 기반 LLM 배포를 요구하는 사례가 빠르게 증가하고 있습니다.
• 오픈 웨이트 모델은 이러한 요구를 직접적으로 충족할 수 있으나, 폐쇄형 API는 구조적으로 한계를 가질 수밖에 없습니다.

폐쇄형 API 기반 LLM은 빠른 도입과 높은 초기 생산성을 제공합니다. 그러나 이러한 편의성의 이면에는 구조적인 제약이 존재합니다. 내부 추론 과정에 대한 검증이 어렵고, 모델 업데이트에 따른 성능 변화 역시 기업이 직접 추적·통제하기 어렵습니다. 데이터가 실제로 처리되는 위치에 대한 완전한 통제나, 중장기 규제 변화에 대응하기 위한 설계 유연성 또한 제한적일 수밖에 없습니다.

반면 오픈 웨이트 및 sLLM 기반 아키텍처는 이러한 요구를 시스템 차원에서 설계 가능하게 만듭니다. 로그 수집, 모델 버전 관리, 접근 제어, 감사 추적과 같은 거버넌스 요소를 애플리케이션 외부가 아닌 아키텍처 내부에 내재화할 수 있기 때문입니다. 이로 인해 기업은 AI를 단순히 “사용”하는 단계를 넘어, 통제 가능한 운영 시스템으로 관리할 수 있게 됩니다.

실행 단계에서 선택되는 대안: 하이브리드 아키텍처

현장에서 형성되고 있는 명확한 합의는 하나입니다. 대부분의 기업은 오픈소스냐 폐쇄형이냐 중 하나를 선택하지 않습니다. 대신 두 접근 방식을 함께 조율합니다.

이를 뒷받침하는 근거는 분명합니다.

• 스탠퍼드 HAI 연구진은 특정 도메인을 벗어날 경우 생산성 개선 효과가 제한적이라고 지적하며, 더 큰 모델을 추구하기보다 아키텍처 최적화가 핵심이라고 강조하고 있습니다.
• MIT 테크놀로지 리뷰는 거대한 단일 모델이 아니라, 추론 시스템과 검증 레이어의 결합이 다음 단계라고 분석하고 있습니다.
• 실제 운영 환경에서는 고위험 추론에는 폐쇄형 모델, 대규모 처리와 커스터마이징에는 오픈소스 모델을 적용하는 하이브리드 배포 방식이 빠르게 확산되고 있습니다.

이러한 맥락에서 메이크봇(Makebot)과 같은 플랫폼이 논의의 중심에 등장하고 있습니다. 메이크봇은 시장을 정의하는 존재라기보다, 전략적 트레이드오프를 실제로 구현한 사례에 가깝습니다. SIGIR 2025에서 발표된 메이크봇의 HybridRAG 프레임워크는 무차별적인 실시간 추론에서 벗어나, 아키텍처 효율성으로 이동하는 산업 전반의 흐름을 명확히 보여줍니다. 복잡한 질의응답을 사전에 오프라인으로 생성하고, 실시간 LLM 추론은 예외적인 상황에만 활용함으로써 HybridRAG는 오픈형 및 폐쇄형 모델 모두에서 비용 변동성과 환각(hallucination) 리스크를 동시에 낮춥니다.

이러한 하이브리드 전략이 실제 운영 환경에서 작동하기 위해서는, 모델 선택을 사람의 판단이나 고정 규칙이 아니라 시스템 차원에서 자동화할 수 있는 아키텍처가 필요합니다.

메이크봇은 이를 위해 프롬프트의 특성, 보안 요구, 시스템 부하, 비용 소진율을 종합적으로 고려해 폐쇄형 LLM과 sLLM을 동적으로 라우팅하는 하이브리드 LLM 최적화 라우팅 기술을 설계하고, 이를 특허로 보호하고 있습니다. 이 구조는 단순한 모델 병렬 구성이 아니라, 엔터프라이즈 환경에서 성능·비용·거버넌스를 동시에 만족시키기 위한 실행 가능한 아키텍처라는 점에서 차별화됩니다.

한국의 AI 혁신을 세계에 알리다: 이탈리아 SIGIR 2025에서 공개된 메이크봇의 HybridRAG 프레임워크. 더 보기!

결론: 선택 가능한 LLM 아키텍처의 시대

올해를 거치며 한 가지 결론은 더 이상 피할 수 없게 되었습니다. 오픈소스 LLM과 폐쇄형 LLM은 경쟁하는 종착점이 아니라, 서로 다른 방식으로 전략적 레버리지를 만들어내는 선택지입니다.

• 오픈소스 LLM은 비용 효율성, 주권, 투명성을 제공합니다. 
• 폐쇄형 LLM은 완성도, 중앙집중식 안전성, 그리고 예측 가능한 지원 체계를 제공합니다.
• 그리고 오늘날의 엔터프라이즈는 이념이 아니라, 아키텍처를 통해 이 둘을 조합하기를 원합니다.

생성형 AI 도입이 가속화될수록 경쟁 우위는  “어떤 모델을 선택했는가”가 아니라, 대규모 언어 모델을 얼마나 잘 설계된 시스템의 구성 요소로 다루는가에 달려 있습니다. 승자는 편을 가른 기업이 아니라, 처음부터 유연성·경제성·거버넌스를 고려해 설계한 기업입니다. 오픈소스 LLM과 폐쇄형 LLM 사이의 현실적인 선택지를 탐색하는 과정에서, 결국 차이를 만드는 요소는 실행력입니다. 메이크봇은 이미 이러한 방향에 맞추어 설계된 몇 안 되는 플랫폼 중 하나로, 비용 통제, 거버넌스 인식, 그리고 프로덕션 환경에 적합한 신뢰성을 갖춘 하이브리드 LLM 전략의 실제 구현 사례를 제시하고 있습니다.

👉 www.makebot.ai | 📩 b2b@makebot.ai