오픈소스로 가능한 풀스택 생성형 AI 서비스 아키텍처 구축

- 카카오 AI네이티브전략 리더 황민호(robin.hwang) -

1. 생성형 AI의 오픈소스 패러다임 전환

생성형 인공지능 환경은 근본적인 변화를 겪고 있습니다. 과거 소수의 기술 대기업이 독점하던 폐쇄적인 독점 모델에 대한 의존에서 벗어나, 이제는 완전히 오픈소스 기반 위에 강력하고 맞춤화 가능한 AI 플랫폼을 구축하는 시대로 나아가고 있습니다. 이러한 변화는 단순히 비용을 절감하기 위한 전술적 선택이 아니라, 혁신을 주도하고, 공급업체 종속을 피하며, AI의 미래에 대한 통제권을 확보하고자 하는 조직에게 있어 전략적 필수 과제가 되었습니다.

AI, 오픈소스의 전략적 조력자로서의 부상

AI 분야에서 오픈소스의 역사는 TensorFlow나 PyTorch와 같은 프레임워크의 등장으로 거슬러 올라가며, 이는 AI 개발의 기반을 다지는 데 결정적인 역할을 했습니다. 그러나 현재의 패러다임은 과거와는 질적으로 다릅니다. 이제는 단순히 개발 도구를 넘어, 모델 가중치에서부터 최종 사용자 인터페이스에 이르기까지 전체 기술 스택이 오픈소스로 구성되고 있습니다. 이러한 거대한 전환을 이끄는 핵심 동력은 다음과 같이 분석할 수 있습니다.

누구나 접근 가능한 오픈소스

오픈소스는 최첨단 AI 기술에 대한 진입 장벽을 극적으로 낮춥니다. 과거에는 막대한 자본과 연구 인력을 보유한 소수의 기업만이 접근할 수 있었던 고성능 모델과 도구들을 이제는 소규모 조직, 독립 연구자, 스타트업 등 누구나 활용하여 혁신을 꾀할 수 있게 되었습니다. 이는 특정 문화적, 경제적 맥락에 맞는 지역화된 AI 솔루션의 등장을 촉진하며 기술 발전의 혜택을 전 세계적으로 분산시키는 효과를 낳습니다.

혁신의 가속화

오픈소스의 가장 큰 힘은 협업에 있습니다. 전 세계의 개발자와 연구자들이 코드, 데이터, 연구 결과를 공유하며 집단적으로 문제를 해결하고 새로운 아이디어를 창출합니다. 이러한 개방적인 협력은 단일 기업이 내부적으로 달성할 수 있는 혁신의 속도를 압도합니다. 버그 수정, 성능 개선, 새로운 기능 추가가 전 세계 커뮤니티에 의해 동시다발적으로 이루어지기 때문에 기술은 훨씬 더 빠르고 견고하게 발전합니다. Linux Foundation의 보고서에 따르면, 82%의 전문가들이 긍정적인 AI의 미래를 위해 오픈소스가 필수적이라는 데 동의하며 이러한 경향을 뒷받침합니다.

투명성, 신뢰, 그리고 안전성

내부 작동 방식을 알 수 없는 '블랙박스' 형태의 독점 모델과 달리, 오픈소스 AI는 코드, 알고리즘, 그리고 때로는 학습 데이터까지 공개적으로 검증할 수 있는 기회를 제공합니다. 이러한 투명성은 모델에 내재된 편향을 식별하고 완화하며, 윤리적 규제를 준수하고, 최종 사용자의 신뢰를 구축하는 데 매우 중요합니다. 특히 의료, 금융, 법률과 같이 AI의 결정이 개인의 삶에 중대한 영향을 미치는 규제 산업에서는 투명성과 설명 가능성이 필수적인 요건이 되고 있습니다.

맞춤화와 통제권 확보

오픈소스 모델은 독점 모델보다 훨씬 유연하여, 기업의 고유한 데이터로 미세 조정(fine-tuning)함으로써 특정 비즈니스 요구에 완벽하게 부합하는 솔루션을 만들 수 있습니다. 이는 시장에서 독보적인 경쟁 우위를 창출하는 원동력이 됩니다. 또한, 통제권은 데이터 프라이버시 측면에서도 중요합니다. 모델을 자체 인프라(on-premise)나 신뢰할 수 있는 클라우드 환경 내에서 직접 운영함으로써, 민감한 데이터를 외부 공급업체에 전송할 필요 없이 완벽하게 통제할 수 있습니다.

경제적 실행 가능성

오픈소스 AI를 운영하는 데는 인프라 및 전문 인력 비용이 발생하므로 '무료'는 아니지만, 값비싼 라이선스 비용이 없다는 점은 총소유비용(TCO)을 크게 절감시킵니다. 이로 인해 과거에는 경제적 부담 때문에 시도조차 할 수 없었던 정교한 AI 애플리케이션 개발이 이제는 많은 조직에게 현실적인 선택지가 되었습니다.

이러한 변화의 본질을 더 깊이 들여다보면, 두 가지 중요한 전략적 전환이 관찰됩니다.

첫째, 오픈소스는 더 이상 AI 시스템의 일부 '구성요소'가 아니라, 전체 AI 가치 사슬을 아우르는 '플랫폼' 그 자체가 되고 있습니다. 과거에는 TensorFlow와 같은 오픈소스 라이브러리를 사용해 독점적인 모델을 개발하는 것이 일반적이었습니다. 하지만 Llama 모델과 그 주변 생태계가 보여주듯이, 이제는 모델 자체(오픈 가중치), 추론 엔진(vLLM), 데이터 계층(벡터 데이터베이스), 오케스트레이션 프레임워크(LangChain)에 이르기까지 모든 것이 개방되어 있습니다. 이는 기업의 경쟁 우위가 더 이상 특정 모델을 '소유'하는 것에서 비롯되는 것이 아니라, 이러한 개방된 구성요소들을 어떻게 독창적으로 조합하고 맞춤화하여 특정 비즈니스 문제를 해결하느냐에 따라 결정된다는 것을 의미합니다.

둘째, 기업이 오픈소스 스택을 채택하는 주된 동인은 비용 절감을 넘어 '전략적 리스크 관리'에 있습니다. 가장 큰 우려는 단일 독점 공급업체의 로드맵, 가격 정책 변화, 갑작스러운 API 중단 등에 비즈니스가 종속되는 것입니다. 오픈소스 스택은 구축과 유지보수에 복잡성이 따르지만, 조직이 기술적 운명을 스스로 통제할 수 있게 해줍니다. 이는 소수의 거대 LLM 공급업체로 시장 권력이 집중되는 현상에 대한 강력한 전략적 방어 수단이 됩니다. 따라서 오픈소스 전환 결정은 단기적인 예산 절감 문제라기보다는, 장기적인 기술 자율성과 비즈니스 회복탄력성을 확보하기 위한 중대한 전략적 판단이라고 할 수 있습니다.

2. 오픈소스 생성형 AI 풀스택의 구조

생성형 AI 애플리케이션을 성공적으로 구축하고 운영하기 위해서는 그 구성 요소를 체계적으로 이해하는 것이 필수적입니다. 여러 기술 자료에서 묘사된 AI 스택의 구성 요소들을 종합하여, 우리는 현대 생성형 AI 서비스를 구성하는 4개의 논리적 계층 모델을 제시합니다. 각 오픈소스 프로젝트가 전체 시스템 내에서 어떤 위치를 차지하고 어떤 기능을 수행하는지 명확히 이해하는 데 도움을 줄 것입니다.

풀스택 아키텍처의 정의

파운데이션 계층 (모델 및 추론)

이 계층은 애플리케이션의 '엔진'에 해당합니다. 핵심적인 생성 능력을 제공하는 파운데이션 모델(LLM, 확산 모델 등)과 이 모델들을 효율적으로 서비스하기 위한 고성능 추론 엔진(inference engine)으로 구성됩니다. 이 계층의 성능이 전체 애플리케이션의 응답 속도와 품질을 결정합니다.

인텔리전스 계층 (데이터, 오케스트레이션 및 증강)

이 계층은 애플리케이션에 컨텍스트와 추론 능력을 부여하는 '두뇌' 역할을 합니다. 외부 데이터를 관리하고 접근하기 위한 시스템(벡터 데이터베이스), 검색 증강 생성(RAG)이나 에이전트와 같은 복잡한 워크플로우를 조율하는 프레임워크(오케스트레이션 프레임워크), 그리고 데이터를 처리하고 임베딩하는 도구들이 여기에 포함됩니다.

인터랙션 계층 (애플리케이션 및 배포)

이 계층은 사용자와 직접 상호작용하는 애플리케이션의 '얼굴과 몸'입니다. 사용자 인터페이스(UI)를 구축하기 위한 프레임워크, AI의 기능을 외부에 노출하는 API, 그리고 전체 애플리케이션을 확장 가능하고 안정적인 서비스로 패키징하고 배포하는 도구들이 이 계층을 구성합니다.

거버넌스 계층 (MLOps, 보안 및 유지보수)

이 계층은 애플리케이션이 시간이 지나도 안정적이고 안전하게 운영되도록 보장하는 '면역 및 신경계'입니다. 애플리케이션의 성능 모니터링, 모델 및 코드 테스트, 보안 위협 관리, 그리고 AI 모델과 애플리케이션의 지속적인 수명주기를 관리하는 도구들이 포함됩니다.

이러한 계층적 구조를 통해 우리는 현대 생성형 AI 스택의 두 가지 핵심적인 특징을 발견할 수 있습니다.

첫째, 현대 AI 스택은 본질적으로 모듈식이며 조합 가능합니다. 이는 과거의 모델과 애플리케이션 로직이 긴밀하게 결합된 단일 AI 시스템에서 벗어난 중요한 변화입니다. AI 스택에 대한 설명들은 각기 다른 모델, 벡터 데이터베이스, 오케스트레이션 프레임워크를 선택하여 조합할 수 있음을 강조합니다. 이러한 모듈성은 오픈소스 스택의 핵심적인 경쟁 우위로 작용하며, 조직이 특정 요구사항에 최적화된 구성요소들을 조합하여 맞춤형 솔루션을 구축할 수 있게 합니다. 이는 또한 특정 구성요소에 대한 종속성을 줄여, 더 나은 대안이 나타났을 때 유연하게 교체할 수 있는 아키텍처적 안정성을 제공합니다.

둘째, AI 애플리케이션의 가치 중심이 '모델 자체'에서 '오케스트레이션과 데이터 계층'으로 이동하고 있습니다. Llama와 같은 고성능 오픈 가중치 모델이 널리 보급되면서, 모델 자체의 중요성은 점차 낮아지고 있으며, 대부분의 애플리케이션에서 진정한 차별점은 인텔리전스 계층에서 나옵니다. 즉, 해당 모델을 벡터 데이터베이스를 통해 기업의 고유한 데이터 소스와 어떻게 연결하고, LangChain과 같은 프레임워크를 사용해 복잡하고 다단계적인 추론 과정을 어떻게 설계하느냐가 애플리케이션의 핵심 가치를 결정합니다. 따라서 "어떤 모델이 최고인가?"라는 질문을 넘어, "충분히 좋은 모델을 우리의 고유한 데이터와 비즈니스 로직으로 증강시키기 위한 가장 효과적인 아키텍처는 무엇인가?"라는 질문에 집중해야 합니다.

3. 스택 심층 분석: 핵심 프로젝트와 동향

앞서 정의한 4계층 아키텍처 모델을 기반으로, 각 계층을 구성하는 가장 영향력 있고 주목받는 오픈소스 프로젝트들을 심층적으로 분석합니다. GitHub 활동, 커뮤니티 채택률, 기술적 혁신 등을 기준으로 핵심 프로젝트를 선정하고, 각 프로젝트의 역할, 주요 특징, 그리고 스택 내에서의 전략적 중요성을 설명합니다.

▶ 파운데이션 계층: 모델과 추론 엔진

이 계층은 생성형 AI의 심장부로, 지능의 원천인 모델과 이를 효율적으로 구동하는 엔진으로 구성됩니다. 최근 오픈소스 생태계는 이 두 영역 모두에서 괄목할 만한 발전을 이루었습니다.

[오픈 가중치 LLM 환경]

과거 대규모 언어 모델(LLM)은 소수 기업의 전유물이었지만, 이제는 누구나 접근하고 활용할 수 있는 고성능 '오픈 가중치' 모델들이 등장하며 생태계의 지형을 바꾸고 있습니다.

2025년 10월 현재, 오픈소스 LLM 환경은 그 어느 때보다 역동적입니다. Meta의 Llama 4 시리즈(Scout, Maverick, Behemoth)는 이전 모델을 뛰어넘는 코딩 및 추론 능력으로 생태계를 계속 선도하고 있습니다. 중국의 DeepSeek는 GPT-4o 수준의 성능을 보이는 DeepSeek-V3를 오픈소스로 공개하며 강력한 경쟁자로 부상했습니다. 또한, OpenAI는 GPT-oss-120b와 GPT-oss-20b를 Apache 2.0 라이선스로 출시하며 오픈소스 커뮤니티에 처음으로 진출했습니다. 이 외에도 Alibaba의 Qwen3, Google의 Gemma 3 등이 치열하게 경쟁하며 성능의 한계를 넓혀가고 있습니다. 이러한 모델들의 인기는 GitHub 트렌드 및 각종 LLM 리더보드를 통해 지속적으로 확인되고 있습니다.

이 프로젝트들의 등장은 단순한 기술 공개 이상의 전략적 의미를 가집니다. 특히 Meta의 Llama 시리즈와 OpenAI의 GPT-oss 모델은 상업적 이용을 허용하는 라이선스 정책을 통해, 기업들이 독점 API에 대한 대안으로 자체 AI 솔루션을 구축할 수 있는 길을 열었습니다. 모델을 선택할 때 단순히 성능 벤치마크뿐만 아니라, 모델의 크기(파라미터 수), 그에 따른 운영 비용, 그리고 상업적 활용에 제약이 없는 허용적인 라이선스(permissive license) 여부를 종합적으로 고려해야 합니다. 예를 들어, DeepSeek-V3가 채택한 MIT 라이선스는 상업적 활용에 있어 매우 유연한 조건을 제공합니다.

이 계층에서 가장 중요한 전략적 고려사항은 라이선스입니다. Llama 계열의 "커뮤니티 라이선스"는 OSI(Open Source Initiative)가 정의하는 엄격한 '오픈소스'와는 다릅니다. 특정 사용자 수(MAU) 제한이나 상업적 재배포 조건이 포함될 수 있으므로, 오픈 웨이트 모델 도입 시 법무 검토는 선택이 아닌 필수입니다. 이는 OSI의 'Open Source AI Definition(OSAID)' 논의와 맞물려 생태계의 핵심 거버넌스 이슈로 자리 잡고 있습니다.

[추론의 혁명]

거대한 모델을 빠르고 비용 효율적으로 서비스하는 것은 오픈소스 스택의 성패를 좌우하는 핵심 과제입니다. 최근 등장한 추론 최적화 도구들은 이 문제를 해결하며 자체 호스팅의 경제성을 획기적으로 개선했습니다.

서빙 및 최적화 레이어는 두 가지 시나리오로 분화되었습니다.

대규모, 고성능 서빙 분야에서 가장 주목받는 프로젝트는 vLLM입니다. vLLM의 핵심 혁신은 PagedAttention이라는 기술에 있습니다. 이는 운영체제의 가상 메모리 및 페이징 기법에서 영감을 얻은 어텐션 알고리즘으로, GPU 메모리를 훨씬 효율적으로 관리하여 기존 방식 대비 처리량(throughput)을 극적으로 높이고 메모리 사용량은 줄입니다. 이 기술 덕분에 과거에는 막대한 비용 때문에 불가능했던 대규모 모델의 자체 호스팅이 이제는 많은 기업에게 현실적인 선택지가 되었습니다. vLLM은 값비싼 독점 모델 API의 가치 제안에 직접적으로 도전하는, 전체 오픈소스 스택을 가능하게 하는 매우 중요한 기반 기술이라고 할 수 있습니다. 엔비디아 GPU 환경에서 극한의 성능을 추구할 때 선택하는 TensorRT-LLM + Triton 조합도 고려해 볼 수 있습니다.

온디바이스 및 엣지 영역에서는 Ollama, llama.cpp를 통해 데이터 프라이버시가 중요하거나 오프라인 환경에서 필요한 엣지 디바이스, 랩탑 배포에 특화되어 있습니다. 특히 Ollama는 로컬 모델 런처이자 API 서버로서, 개발자들이 복잡한 설정 없이 LLM을 활용할 수 있게 하여 대중화를 이끌고 있습니다.

▶ 인텔리전스 계층: 데이터, 오케스트레이션 및 증강

파운데이션 모델이 강력한 '엔진'이라면, 인텔리전스 계층은 이 엔진에 연료와 방향을 제시하는 '두뇌'입니다. 이 계층의 구성요소들은 모델이 기업의 고유한 지식과 비즈니스 로직을 이해하고 활용하도록 만들어, 진정한 차별점을 창출합니다.

[벡터 데이터베이스]

이 시장은 성숙기에 접어들며 다양한 선택지를 제공하고 있습니다. 대표적인 프로젝트로는 대규모 프로덕션 환경에 적합한 Milvus, Rust 기반의 고성능을 자랑하는 Qdrant, 개발자 친화적인 Chroma, 운영 단순성을 무기로 한 PostgreSQL의 pgvector, 그리고 지식 그래프 통합이 특징인 Weaviate 등이 있습니다. 이들의 인기는 GitHub의 관련 토픽 페이지에서도 확인할 수 있습니다.

프로젝트의 성숙도와 특정 요구사항에 따라 적합한 벡터 데이터베이스를 선택해야 합니다. 아래 표는 주요 오픈소스 벡터 데이터베이스의 특징을 비교하여 전략적 의사결정을 돕습니다. 예를 들어, 1백만 벡터 미만의 빠른 프로토타이핑이 목표라면 운영 복잡성이 낮은 Chroma나 pgvector로 시작하고, 서비스가 1억 벡터 이상의 대규모 프로덕션 단계로 확장됨에 따라 수평적 확장이 용이한 Milvus로 마이그레이션하는 전략을 고려할 수 있습니다. 이는 생태계가 개발의 전체 수명주기를 지원할 만큼 성숙했음을 보여줍니다.

[주요 벡터 데이터베이스 프로젝트 비교]

[오케스트레이션 프레임워크]

오케스트레이션 프레임워크는 LLM을 데이터 소스, API, 외부 도구 등과 연결하여 복잡하고 지능적인 행동(agentic behavior)을 구현하는 '접착제' 역할을 합니다.

이 분야는 LangChain, LlamaIndex 가 많이 채택되어 사용됩니다.
2025년에 들어서면서 두 프레임워크의 차이점과 상호 보완적인 역할이 더욱 명확해졌습니다. 핵심은 그들의 철학에 있습니다. LangChain은 LLM에 도구를 제공하고, 메모리를 관리하며, 여러 단계를 거쳐 추론하는 '에이전트' 애플리케이션을 구축하기 위한 광범위하고 범용적인 프레임워크입니다. 특히 LangGraph의 도입으로 복잡한 순환 및 조건부 워크플로우를 더욱 정교하게 제어할 수 있게 되었습니다. 반면, LlamaIndex는 정교한 'RAG' 파이프라인 구축에 초점을 맞춘 데이터 중심 프레임워크로, 데이터 수집, 인덱싱, 고급 검색 전략에 깊이 특화되어 있으며, 2025년에는 검색 정확도를 35% 향상시키는 등 이 분야에서 뚜렷한 강점을 보이고 있습니다.

따라서 해결하려는 문제의 핵심이 복잡한 워크플로우와 에이전트 기반 추론에 있다면 LangChain이, 방대한 지식의 검색과 합성에 있다면 LlamaIndex가 더 적합한 선택이 될 것입니다. 많은 경우, LlamaIndex로 데이터 검색을 최적화하고 LangChain으로 전체 워크플로우를 조율하는 하이브리드 접근 방식이 최상의 결과를 낳습니다.

단순한 챗봇을 넘어, 구체적인 작업을 수행하는 에이전트 프레임워크가 급성장하고 있습니다. CrewAI는 여러 에이전트가 협업하는 워크플로우에 강점을 보이며, MSR의 AutoGen은 v0.4 업데이트로 스트리밍, 상태 관리 등 실전 기능을 강화했습니다. 특히 OpenHands(구 OpenDevin)는 실제 파일 시스템, 쉘, 브라우저와 상호작용하며 코딩 및 개발 태스크 자동화를 지향합니다.

스탠포드의 DSPy는 "프롬프트가 아닌 프로그램으로 모델을 구성한다"는 혁신적인 접근법을 제시합니다. 이는 RAG나 에이전트의 데이터와 프롬프트를 자동으로 최적화하여, 수동 튜닝의 한계를 극복하고 성능을 극대화합니다.

▶ 인터랙션 및 거버넌스 계층: 애플리케이션 프레임워크와 배포

이 계층은 AI 서비스의 최종 결과물을 사용자에게 전달하고, 이를 안정적으로 운영하기 위한 도구들로 구성됩니다. 프로토타입 제작부터 프로덕션 배포까지 개발의 전 과정을 지원합니다. 그리고 거버넌스는 이를 안정적으로 운영 및 평가하기 위한 도구들로 구성됩니다.

[UI/앱 빌더]

UI/앱 빌더 영역에서는 Open WebUI와 Dify가 GitHub 스타 10만 개를 돌파하며 폭발적인 인기를 얻고 있습니다. 이들은 모델 종류에 구애받지 않는 유연성과 RAG, 에이전트, 협업 기능 등을 내장하여 빠른 PoC 및 사내 툴 구축의 표준이 되고 있습니다. 거버넌스(관측/평가) 영역에서는 Langfuse와 Arize Phoenix가 트레이싱, 평가, 프롬프트 관리를 일원화하며 AI 애플리케이션의 운영 품질을 관리하는 기본 장비로 자리 잡고 있습니다.

2025년 GitHub 트렌드는 명확한 방향을 보여줍니다. 바로 '모델 불가지론'과 '운영 및 협업' 기능의 부상입니다. Open WebUI와 Dify의 성공은 개발자들이 특정 모델에 종속되기보다, 다양한 모델을 쉽게 교체하며 사용할 수 있는 통합 플랫폼을 선호함을 의미합니다. 또한, Langfuse와 Phoenix의 채택 증가는 AI 애플리케이션이 실험 단계를 넘어, 비용, 지연 시간, 품질을 체계적으로 관리해야 하는 프로덕션 단계로 진입했음을 방증합니다. 이는 성공적인 AI 스택이 단순히 좋은 모델을 서빙하는 것을 넘어, 전체 개발 및 운영 수명주기를 지원해야 함을 시사합니다.

[관측 및 평가: 프로덕션 AI의 품질 관리]

AI 애플리케이션이 "작동한다"는 것을 넘어 "잘 작동한다"고 보장하기 위해, 관측 (Observability)과 평가(Evals)는 필수입니다.

Langfuse와 Arize Phoenix는 이 관측 분야를 주도하는 오픈소스입니다. 이들은 LLM 호출 트레이싱, 비용 추적, 사용자 피드백 관리, 자동 평가 기능을 일원화하여 제공합니다. Langfuse는 자체 호스팅과 팀 협업에 강하며 LLM-as-a-Judge 기반 평가도 내장합니다. 이러한 툴의 급부상은 운영 품질 자체가 핵심 경쟁력이 되었음을 방증합니다.

관측이 '운영 중인' 시스템의 품질을 본다면, 평가 스택은 '개발/릴리스 전' 모델과 프롬프트의 품질을 검증합니다. EleutherAI lm-evaluation-harness는 가장 널리 쓰이는 표준화된 LLM벤치마크 실행 프레임워크입니다. VLM(텍스트+이미지) 지원, 추론 토큰 처리 등 현대 모델에 맞춘 기능을 갖췄습니다. Stanford HELM는 스탠퍼드 CRFM의 홀리스틱(Holistic)·재현가능한 평가 프레임워크로, LLM/멀티모달을 폭넓게 다룹니다. 그 외에 Ragas는 RAG 특화 평가(Faithfulness, Relevancy 등)와 프로덕션 정렬 테스트세트 생성을 지원하는 툴킷입니다.

4. 오픈소스 AI의 미래

오픈소스 AI 생태계를 형성할 주요 동향은 다음과 같이 예측됩니다.

• 추론 모델의 오픈이 가속화됩니다. DeepSeek-R1과 같은 추론 특화 모델 및 그 오픈소스 재현 프로젝트(예: Open-R1)가 생태계를 견인할 것입니다. 특히 7B~27B 파라미터의 중형 모델에서도 수학, 코드, 도구 사용 성능이 급상승하면서, 강력한 추론 능력을 온프레미스나 국지적 환경에 배포하는 것이 더욱 용이해질 것입니다.

• 프로토콜 통합을 위한 MCP(Model Context Protocol)와 같은 개방형 표준 프로토콜이 IDE, 브라우저, 백엔드 도구를 연결하는 표준 플러그인 레이어로 자리 잡을 것입니다. 이를 통해 서로 다른 프레임워크와 공급업체의 에이전트들이 원활하게 통신하고 협력하며, 기업 내 데이터 및 툴 연동 비용이 크게 감소하고 진정한 상호운용성이 확보될 것입니다.

• RAG의 진화가 진화하여 "검색 + 계획 + 도구": 단순 검색 증강 생성(RAG)에서 벗어나, DSPy와 같은 프레임워크를 통해 검색-생성 파이프라인을 자동 최적화하고, 하이브리드 검색, 지식 그래프, 코드 및 외부 도구 실행을 통합하는 고도화된 형태로 발전할 것입니다.

• 엣지/로컬 우선 전략의 부상이 부상하여, Ollama, llama.cpp, MLC-LLM의 꾸준한 최적화에 힘입어 개인용 컴퓨터, 스마트폰, IoT 기기와 같은 엣지 디바이스에서 직접 추론을 실행하는 것이 보편화될 것입니다. 이는 데이터 프라이버시, 비용, 지연 시간 우위의 오프라인 사용처 확대를 주도할 것입니다.

이러한 변화의 물결 속에서 성공적으로 오픈소스 AI 전략을 이끌기 위해 다음과 같은 다섯 가지 핵심 과제를 제안합니다.

• 단일 벤치마크 점수에 의존하지 말아야 합니다. LMSYS Chatbot Arena와 같은 인간 선호도 지표, 사내 핵심 과제를 반영한 '골든 데이터셋' 기반 평가, 그리고 실제 운영 환경에서의 비용 및 지연 시간(KPI)을 결합한 다면적 평가 체계를 구축해야 합니다.

• 관측 가능성을 기본으로 내재화해야 합니다. 개발 초기 단계부터 Langfuse나 Arize Phoenix와 같은 관측 도구를 연동하여 모든 상호작용의 트레이스, 세션, 평가 결과, 비용을 추적하는 것을 기본 원칙으로 삼아야 합니다. 이는 문제 해결 속도를 높이고 품질을 체계적으로 관리하는 기반이 됩니다.

• 프로토콜 기반 통합 아키텍처 설계가 이뤄져야 합니다. MCP와 같은 개방형 프로토콜을 활용하여 내부 데이터 소스와 툴을 표준화하고, Open WebUI나 Dify와 같은 UI/플랫폼과 에이전트가 이를 재사용할 수 있는 아키텍처를 설계하세요. 이는 향후 시스템 확장성과 상호운용성을 확보하는 핵심 전략이 될 것입니다.

• 유연한 서빙 전략을 채택합니다. 모든 모델을 동일한 방식으로 서빙할 필요는 없습니다. vLLM을 통해 대부분의 워크로드를 비용 효율적으로 확장하고, TensorRT-LLM을 사용하여 비즈니스에 가장 중요한 소수의 모델에 대해서는 극한의 성능 최적화를 적용하는 이원화 전략으로 비용과 성능의 균형을 맞추는 것이 좋습니다.

• 라이선스 거버넌스 확립을 해야 합니다. 라이선스 검토 프로세스를 수립하여 모든 오픈소스 구성요소 도입 전 법무팀의 검토를 의무화하십시오. 특히 OSI OSD 기준을 충족하는 진정한 오픈소스 라이선스와 Llama 계열과 같은 '커뮤니티 라이선스'의 차이점을 명확히 문서화하고, 상업적 배포에 따르는 제약 조건을 철저히 관리해야 합니다.

황민호(robin.hwang) - 카카오 AI네이티브전략 리더 - 전) 다음 검색, 광고, 오픈소스 플랫폼 개발 - 전) KISTI - 전) 인도 WIPRO