2025.04.28
국내외 AI 스타트업으로 본 오픈소스 AI 기술 트렌드 및 전략 변화
- Open UP -
2024년 글로벌 생성형 AI 시장은 256억 달러 규모로 폭발적으로 성장, 전 세계에는 약 70,000여 개의 AI 기업이 존재하며, 이 중 약 10,000개는 AI 스타트업으로 분류됨(2025, IoT Analytics & Ascendix Tech)
글로벌 오픈소스 스타트업은 생성형 AI의 실행·제작·배포를 직접 지원하는 ‘생성형 AI 중심 플랫폼’과 개발자 워크플로우를 고도화하는 'AI+개발자 도구’ 중심의 오픈소스 스타트업이 급부상(2024, ROSS Index)
ROSS Index 2024의 상위 20개의 스타트업 중 11개가 생성형 AI 또는 LLM, AI 에이전트, 음성 복제 등 AI 중심 기술을 기반으로 하고 있음
AI 관련 스타트업을 살펴보면, 2023년에는 초기 LLM 프레임워크 및 AI 활용 도구가 중심이었다면, 2024년은 LLM 로컬 실행, 앱 개발, 시각 기반 생성형 AI 등 보다 실용적인 생성형 AI 플랫폼이 부상
국내 AI 스타트업들은 B2C(기업-소비자) 기반 서비스 중심에서 B2B(기업-기업) 엔터프라이즈 솔루션으로 확장되는 추세로 LLM을 활용한 서비스형 AI를 통해 생태계를 확장하고, 산업 전반의 AI 전환을 가속화(2025 생성형 AI 스타트업 맵)
국내 AI 스타트업들은 오픈소스 모델을 활용해 자체 서비스에 통합하거나, 오픈소스 생태계를 기반으로 자체 보유한 이용자 데이터를 추가 학습하여 검색증강생성(RAG), 문서 검색 서비스 등을 구현
글로벌 생성형 AI 생태계는 2022~2024년 사이 폭발적으로 확장, 2025년 기준 전 세계에는 약 70,000여 개의 AI 기업이 존재
2024년 산업 전반에 걸친 AI 기능의 빠른 도입과 통합의 증가로 전세계 생성형 AI 시장은 2022년 1억 9,100만 달러에서 2024년 256억 달러 규모로 폭발적으로 성장(2025, Generative AI Market Report 2025-2030, IoT Analytics)
시장은 인프라(데이터센터 GPU 중심), 모델·플랫폼(OpenAI, AWS, Google 등의 LLM 기반 생태계), 서비스(Accenture, Deloitte 등 컨설팅 중심 생성형 AI 적용 확대)의 3가지 축으로 구성
전 세계에는 약 7만여 개의 AI 기업이 존재하며, 전 세계 기업(2억 6,600만 개)의 82%가 AI를 활용하거나 활용 방안을 검토(2025, Ascendix Tech)
글로벌 AI 스타트업은 약 10,095개가 존재, 그 중 미국은 전체 AI 스타트업의 55%에 해당하는 약 5,500개 기업을 보유하며 글로벌 시장을 주도(2024, Stanford’s 2024 AI Index Report)
2위는 중국이 1,446개, 영국이 727개로 3위를 차지
글로벌 오픈소스 스타트업, LLM, AI 에이전트, 음성 복제 등 AI 중심 기술 기반으로 급부상
美 Runa Capital이 발표한 ROSS(Runa Open Source Startup) Index 2024에 따르면, AI 중심의 스타트업들이 대거 상위권에 포진하고 있으며 대부분 AI 모델과 이를 실행하기 위한 도구 개발에 집중
미국 Runa Capital이 매년 발표하는 Runa Open Source Startup(ROSS) Index는 GitHub 저장소 star수 연평균 성장률을 기준으로 상위 20개의 오픈소스 스타트업을 발표
ROSS Index 2024의 20개의 스타트업 중 11개가 생성형 AI 또는 LLM, AI 에이전트, 음성 복제 등 AI 중심 기술을 기반으로 하고 있음
20개 스타트업 중 6곳은 미국 샌프란시스코에, 3곳은 캐나다에 위치했으며, 나머지는 유럽 (영국, 스위스, 헝가리, 체코), 싱가포르, 중국에 분포
[2024년 ROSS Index 상위 10개 스타트업]
| 순위 | 스타트업 명 (깃허브 저장소) | 설명 | 국가 | 설립 연도 | GitHub Stars 증가량 (총 Stars) |
|---|---|---|---|---|---|
| 1 | Ollama (ollama/ollama) | 로컬에서 LLM 실행을 쉽게 만들어주는 추론 플랫폼 | 캐나다 | 2021 | ▲76.1K (총 105.1K) |
| 2 | Zed Industries (zed-industries/zed) | 협업 중심의 AI 기반 코드 에디터 | 미국 | 2021 | ▲52.1K (총 52.1K) |
| 3 | LangGenius (langgenius/dify) | 에이전트부터 복잡한 워크플로우까지 구성 가능한 LLM 앱 개발 플랫폼 | 미국 | 2023 | ▲43.4K (총 56.7K) |
| 4 | ComfyUI (comfyanonymous/comfyui) | 생성형 AI 기반 이미지, 비디오, 오디오를 생성하는 노드 기반 애플리케이션 | 미국 | 2024 | ▲40.9K (총 61.9K) |
| 5 | All Hands (all-hands-ai/openhands) | 소프트웨어 개발 AI 에이전트 | 미국 | 2024 | ▲39.6K (총 39.6K) |
| 6 | LobeHub (lobehub/lobe-chat) | LLM 기반 멀티모달 챗 프레임워크 | 중국 | 2023 | ▲36.0K (총 50.5K) |
| 7 | Stirling PDF (stirling-tools/stirling-pdf) | 로컬 PDF 편집/변환 웹앱 | 영국 | 2024 | ▲34.7K (총 48.2K) |
| 8 | Maybe Finance (maybe-finance/maybe) | 투자 인사이트 제공 금융 도구 | 미국 | 2021 | ▲34.7K (총 34.7K) |
| 9 | Astral (astral-sh/uv) | 초고속 Python 패키지/환경 관리자 | 미국 | 2023 | ▲34.1K (총 34.1K) |
| 10 | Screenshot to Code (abi/screenshot-to-code) | AI 기반 디자인 스크린샷을 코드로 변환하는 프론트엔드 자동화 도구 | 미국 | 2023 | ▲33.7K (총 66.3K) |
이 스타트업들은 2021년 이후 설립된 신생 기업으로, 오픈소스 기술을 기반으로 커뮤니티 중심의 기술 확산, 제품화, 투자유치로 이어진 기업들임
Ollama, Zed Industries, ComfyUI, All Hands등 신생 스타트업들이 상위권에 진입
이들 프로젝트는 기술 오픈과 커뮤니티를 통한 사용자 기반 확대, 상용화를 동시에 달성, ’오픈소스 비즈니스 모델‘로 주목
2023년에는 LLM 프레임워크나 생산성 도구 중심의 스타트업이 상위권을 차지했지만, 2024년은 생성형 AI의 실행·제작·배포를 직접 지원하는 ‘생성형 AI 중심 플랫폼’과 개발자 워크플로우를 고도화하는 'AI + 개발자 도구’ 중심의 오픈소스 스타트업이 급부상
2023년 ROSS Index의 상위 5개 스타트업은 LangChain(LLM 프레임워크), Reflex(웹앱 개발 프레임워크), AITable(AI 챗봇 빌더), Sismo.io(신원 인증·프라이버시 도구), HPC-AI(AI 연산 최적화 플랫폼) 등임
2023년 1위였던 LangChain의 증가는 +5.1K였으나, 2024년 1위인 Ollama는 +76.1K가 증가하는 등 상위 스타트업들의 GitHub 스타 증가 수치가 전년도 대비 크게 상승
2024년 AI 관련 오픈소스 스타트업을 분석해보면, Ollama, Dify, ComfyUI 등 LLM 로컬 실행, 앱 개발, 시각 기반 생성형 AI 등 실용적인 생성형 AI 플랫폼 중심
2023년에는 LangChain, HPC-AI, AITable 등 LLM 프레임워크 및 AI 활용 도구가 중심
2024년 비AI 오픈소스 스타트업을 살펴보면, 문서 처리, 협업툴, DevOps, 개발자 도구, 원격 접속 등 생산성 향상 기술과 블록체인 인프라, 웹기반 운영체제 등 인프라 기반 기술을 중심으로 분포
2023년에는 개발 생산성을 높이는 프레임워크, DevOps, 인증·보안 인프라, 경량 유틸리티 도구가 중심
생산성 향상 기술에서는 Astral, Screenshot to Code 같은 경량화 도구와, Excalidraw, RustDesk, Coolify 같은 셀프호스팅 기반 툴이, 인프라 기술에서는 Fuel, Shardeum 등의 블록체인 인프라 등이 오픈소스 커뮤니티와 시장에서 주목받으며 실사용 중심으로 확장 가능성을 보여줌
셀프 호스팅은 관리자가 직접 제어할 수 없는 서비스를 사용하는 대신, 개인 웹 서버를 사용하여 웹사이트나 서비스를 운영하고 유지 관리하는 방식
국내 AI 스타트업, LLM을 기반으로 서비스형 AI 중심의 생태계를 확장하며 산업의 AI 전환 촉진
2025 생성형 AI 스타트업 맵에 따르면, 국내 생성형 AI 스타트업들은 차별화된 기술력과 서비스를 기반으로 독자적인 시장 개척을 모색
생성형 AI 스타트업 맵은 스타트업얼라이언스가 발표한 리포트로 국내 생성형 AI 생태계 현황과 주요 흐름을 정리하고 생성형 AI 산업을 3개의 대분류로 나누어 분석하고, 각 분야에서 활약하는 151개 스타트업을 총 23개 세부 분야로 분류하고 시각화하여 스타트업의 현황을 한눈에 파악가능하도록 구성
인프라 영역(반도체, 클라우드 등)에는 리벨리온, 퓨리오사AI, 딥엑스, 하이퍼엑셀, 망고부스트 등의 AI 반도체 스타트업이 등장하여 자체 칩 설계 및 상용화를 추진하고 있으며, 엘리스 그룹과 같은 스타트업이 AI 클라우드를 구축하여 차별화 시도
AI반도체 시장은 엔비디아가 주도하고 있으나 최적화된 AI 전용 반도체의 필요성이 대두되며 구글, 아마존, MS, 애플 등의 빅테크 기업들도 자체 AI칩 개발에 나서고 있음
또한, 생성형 AI모델 운영을 위한 고성능 인프라 수요가 급증하면서 클라우드 시장도 주목
모델 영역(파운데이션 모델, 특정 도메인에 맞춘 파인튜닝 모델 등)에서 업스테이지, 트릴리온랩스 등의 스타트업이 생성형AI모델 개발하며 글로벌 시장에 도전하고 있음
생성형 AI의 핵심이 되는 파운데이션 모델의 경우 미국기업(오픈AI, 구글, 퍼플렉시티 등)이 주도하는 가운데 중국 기업들(딥시크, 알리바바 등)도 급부상 중
한국어 특화 대형 언어 모델(LLM) 개발에 주력하며, 캐글(Kaggle) 대회에서 금메달을 획득하는 등 기술력을 인정받고 있음
서비스/솔루션 영역은 B2C(기업-소비자) 서비스 중심에서 B2B(기업-기업) 엔터프라이즈 솔루션으로 확장되는 추세로 많은 스타트업들이 LLM을 활용하여 기업별 맞춤형 및 특정 영역에 특화된 솔루션을 제공하는 등 실질적인 적용과 운영 중심으로 대응
가장 많은 기업이 포진한 분야는 ‘Ops(운영 관리) & 솔루션’으로, 생성형 AI 확산으로 촉발된 AI 전환(AI Transformation)에 국내 스타트업들이 핵심적인 역할을 할 것으로 기대

[2025 국내 생성형 AI 스타트업 맵]
* 출처 : 스타트업얼라이언스 ' 2025 생성형 AI 스타트업맵'
글로벌 스타트업이 오픈소스 프로젝트를 중심으로 LLM 실행 및 제작 플랫폼 자체를 구축하는 반면, 국내는 기존 오픈소스 모델 및 AI 기술을 도입·응용하여 산업 맞춤형 과제를 해결하는 솔루션 구현에 주력하고 있음
2025년 1분기 국내 벤처캐피탈(VC)들은 ‘서비스형 AI’(AI-as-a-Service)와 산업 연계형 AI 솔루션에 관심을 보이며, 클라우드, 반도체, 검색엔진, 챗봇 등 다양한 분야에서 AI 스타트업이 확대되고 있음
국내 AI 스타트업의 오픈소스 활용 방식을 살펴보면, 대부분 Llama, Mistral 등 오픈소스 모델을 활용해 자체 서비스에 통합하거나, 오픈소스 생태계를 기반으로 자체 보유한 이용자 데이터를 추가 학습하여 검색증강생성(RAG), 문서 검색 서비스 등을 구현하고 있음
개인정보보호위원회가 간담회에서 실시한 간이 설문조사에 따르면, 국내 AI 스타트업 10곳 중 6곳이 오픈소스 모델을 기반으로 한 응용 서비스를 출시
모레(MOREH)는 메타의 '라마 3'를 활용해 한국어 답변 성능 강화에 초점을 맞춰 대화형 AI와 의료 상담 AI 서비스를 제공 중이며, 엘리스그룹은 AI 클라우드 인프라 제공 과정에서 오픈소스 모델을 활용
일부 기업은 자사 LLM 또는 플랫폼을 오픈소스로 공개하고 커뮤니티 확산 유도하며 글로벌 진출을 시도하고 있음
업스테이지는 자체 개발한 대규모 언어 모델(LLM)인 SOLAR Mini 시리즈를 오픈소스로 공개하였으며, RAG(Retrieval-Augmented Generation) 구조를 중심으로 LLaMA, Mistral 등 다양한 오픈소스 LLM과의 호환성을 기반으로 기업 데이터 활용을 극대화하고자 LangChain, LamaIndex 등 주요 오픈소스 도구와 통합
마음AI(구. 마인즈랩)는 세계 최초로 음성 분리·필터(Voice Filter)기술을 구현하여 오픈소스로 공개한 바 있으며 Meta의 Llama3 기반 한국어 특화 LLM인 Llama3 MAAL-hummingbird(라마 MAAL-허밍버드)를 오픈소스 공개
뤼튼테크놀로지스는 AI 활용을 넘어 개발 환경까지 확장하는 전략으로, AI 개발 프레임워크 ‘Agentica’와 프론트/UI 자동화 개발 도구 ‘AutoView’를 오픈소스 기반으로 제공할 예정
래블업은 오픈소스 AI 리소스 운영관리 플랫폼 ‘Backend.AI’와 MLOps 플랫폼 ‘FastTrack’을 오픈소스 기반으로 제공함으로써, AI 개발 인프라의 민주화와 서비스 자동화를 선도
시사점
글로벌 오픈소스 AI 스타트업은 모델 실행, 자동화, 플랫폼화, 사용자 경험 등의 영역에서 커뮤니티 기반 성장을 핵심으로 하여 단순한 AI 응용을 넘어 AI의 제품화와 개발 생태계 주도권 확보를 추구
국내 AI 스타트업들은 LLM 자체 개발이나 글로벌 모델 경쟁보다는 오픈소스 LLM 모델을 활용한 서비스형 AI를 통해 산업 전반에 AI를 빠르게 적용하여 현장 문제를 해결하는 실용 전략으로 AI 전환(AI Transformation)을 가속화할 것으로 기대
※ 참고 Reference
How Many AI Companies Are There in the World? [2025], Ascendix Tech, 2025.04.02.
https://ascendixtech.com/how-many-ai-companies-are-there/#How%20Many%20AI%20Companies%20Are%20There?
The leading generative AI companies, IoT Analytics, 2025.03.04.
https://iot-analytics.com/leading-generative-ai-companies/
Top trending open-source startups in 2024, 2025.04.14. 확인.
https://runacap.com/ross-index/annual-2024/
Top trending open-source startups in 2023, 2025.04.14. 확인.
https://runacap.com/ross-index/annual-2023/
[급성장하는 오픈소스 스타트업 20곳 발표… 절반 이상이 AI 기반] 2024년 ROSS 지수 1위는 Y Combinator 출신인 Ollama가 차지, AINet, 2025.03.23.
https://www.ainet.link/19492
The 20 hottest open source startups of 2024, TechCrunch, 2025.03.22.
https://techcrunch.com/2025/03/22/the-20-hottest-open-source-startups-of-2024/
세계가 주목하는 '한국 AI 스타트업 7개사' 어디?, 머니투데이, 2024.12.21.
https://news.mt.co.kr/mtview.php?no=2024121815152811264&type=2&sec=tech&pDepth2=Ttotal
2025 생성형 AI 스타트업맵, 스타트업얼라이언스, 2025.03.27.
https://www.startupall.kr/resource/data/2025-생성형-ai-스타트업맵
AIaaS가 이끈 1분기 벤처투자…초기투자 비중 늘었다, 유니콘팩토리, 2025.04.02.
https://www.unicornfactory.co.kr/article/2025040110210062411
개인정보위 만난 AI 스타트업들 "오픈소스 활용 가이드라인 필요해"(종합), 디지털데일리, 2025.03.24.
https://www.ddaily.co.kr/page/view/2025032417422149100
마음AI, 한국어 한계 극복한 라마기반 LLM 오픈소스 공개, 머니투데이, 2024.04.30.
https://news.mt.co.kr/mtview.php?no=2024043014014418962
Introducing Solar Mini: Compact yet Powerful, Upstage, 2024.01.25.
https://www.upstage.ai/blog/en/introducing-solar-mini-compact-yet-powerful
Building end-to-end RAG system using Solar LLM and MongoDB Atlas, Upstage, 2024.07.01.
https://www.upstage.ai/blog/en/building-rag-system-using-solar-llm-and-mongodb-atlas
댓글 0
댓글 작성
댓글을 작성하려면 게시글 작성 시 입력한 이메일과 패스워드를 입력해주세요.