[글로벌 오픈소스 기업] 오픈소스 AI 생태계의 거인, 메타의 영향력
오픈소스 AI 생태계의 거인, 메타의 영향력
이지현 IT전문기자(j.lee.reporter@gmail.com)
웹과 모바일 시대에서 ‘오픈소스’하면 떠오르는 기업은 구글이었다. 하지만 AI 시대, 오픈소스 왕좌의 자리는 메타로 넘어오는 듯하다. 메타는 AI 모델 ‘라마’를 오픈소스로 공개함으로써, 빅테크 기업 중 오픈소스 AI 영역에서 독보적인 리더십을 보여주고 있다.
![메타 AI 로고](https://www.oss.kr/storage/app/public/oss/images/2024_446/1_metaAI_logo.jpg)
[사진1] 메타 AI 로고
* 출처: 메타 AI 블로그
웹, 하드웨어, AI까지 확장되는 메타의 오픈소스 전략
2023년 2월에 첫 공개된 AI 모델 ‘라마(LLaMA)’는 ‘대규모 언어 모델 메타 AI(Large Language Model Meta AI)’의 약자다. 챗GPT로 AI 경쟁이 본격화되는 가운데, 메타가 핵심 AI 모델을 오픈소스로 공개한다는 소식은 큰 화제였다. 일례로 라마 초기 모델은 당시 일부 학계 및 공공 기관에만 공개됐는데, 모델 정보가 무단으로 토렌트로 유출되기도 했다. 그만큼 업계에서 라마에 대한 관심이 많았다는 뜻이기도 하다.
메타는 공식 블로그를 통해1) “대규모 언어 모델(LLM)에서 편향성, 유해한 댓글, 환각의 위험을 해결하기 위해서는 아직 더 많은 연구가 필요하다”라며 “라마를 외부에 공유함으로써 LLM의 문제를 줄이고 테스트하는 새로운 접근 방식을 찾을 수 있을 것”이라고 라마를 오픈소스로 공개한 이유를 밝혔다.
메타는 라마의 새 버전을 비롯한 오디오 생성, 코드 생성 등 AI 관련 오픈소스 기술을 꾸준히 공개하고 있다. 메타가 이렇게 오픈소스 AI 프로젝트를 활발히 공개하는 데에는 CEO 마크 주커버그의 철학이 한몫했다. 주커버그는 오픈소스 AI가 메타 내부 전략은 물론 전체 기술 생태계에 긍정적 영향을 미칠 것이라 보고 있으며, 최근 이런 그의 생각을 외부 인터뷰와 강연에서 적극 밝히고 있다. 지난 7월 말 진행된 엔비디아 CEO 젠슨 황과의 대담2) 에서 그의 견해를 구체적으로 확인할 수 있었다.
일단 주커버그는 메타의 오픈소스 기술이 업계에 확산돼 관련 생태계가 구축되면 메타에게도 직간접적으로 이익이 된다고 밝혔다. 리액트(React), 파이토치(PyTorch), 오픈 컴퓨트 프로젝트(Open Compute Project)등 기존 오픈소스 프로젝트의 성공 경험을 바탕으로 AI 프로젝트에서도 유사한 효과를 기대한다는 것이다.
주커버그는 “오픈 컴퓨트 프로젝트를 예로 들자면, 메타는 서버, 네트워크, 데이터센터 설계를 모두 오픈소스 형태로 공개했고, 이는 업계 표준이 되었다. 전체 공급망은 새로운 표준 중심으로 재편되어 메타는 수십억 달러의 비용 절감할 수 있었다. AI에서도 비슷한 효과를 누릴 수 있을 것이라고 생각한다”라고 설명했다. 또한 그는 “이기적으로 들릴 수 있겠지만 앞으로 10년 또는 15년 동안 소셜 경험을 구축하기 위한 기본 기술을 메타가 구축했으면 좋겠고, 그 중심에 개방형 기술을 놓고 싶다”라고 설명했다.
두 번째로 그는 모바일 시대 폐쇄된 플랫폼이 가진 우위에서 벗어나기 위해 오픈소스 기반 AI 기술을 지원하고 있다고 설명했다. 그는 “지난 20년 동안 메타에서 어려웠던 일 중 하나는 (iOS 같은) 경쟁사의 모바일 플랫폼을 통해 우리 앱을 출시한다는 부분이었다. 스마트폰은 많은 우리 삶에 여러 장점을 주었다. 하지만 메타와 같이 모바일 앱으로 서비스를 제공하는 기업들은 모바일 플랫폼에 의해 역량이 제한되고 있다. 폐쇄형 기술과 개방형 기술은 각각 장단점이 있기에 앞으로 계속 공존할 것이다. 그러나 차세대 컴퓨팅 산업에서는 다시 개방형 생태계가 승리하고 주도하는 영역으로 갔으면 한다”라고 설명했다.
많은 기업이 AI 모델 자체를 서비스로 내놓고 수익화 수단으로 쓰는 것에 비해 메타는 자체 서비스의 기능을 강화하는 용도로 AI 기술을 쓰고 있다. 가령 페이스북, 인스타그램, 페이스북 메신저 등에서 일종의 챗봇을 통합해 필요한 사진이나 콘텐츠를 바로 생성하고, 챗GPT처럼 다양한 질문을 묻고 답변을 얻을 수 있게 지원했다. 이런 서비스를 모두 ‘메타 AI’라고 부르고 있다. 메타 AI의 장점은 무료라는 부분이다. 또한, 메타 AI를 기존 메타 서비스 내에서 활용할 수 있도록 설계하여 기존 사용자의 이탈을 방지한 점도 주목할 만하다. 메타는 “VR 기기인 메타 퀘스트나 레이밴 메타 스마트 안경에도 메타 AI를 통합할 계획”이라고 밝혔다.3) 여기에 메타는 AWS, 애저, 구글 클라우드 플랫폼 등과 제휴하여 라마 모델을 실제 기술 업계에서 간편하게 활용할 수 있도록 지원하고 있다.
일반적인 기술 프로젝트 외에도 메타는 독특한 AI 프로젝트도 시작했다. 바로 ‘AI 숲지도’라는 프로젝트다. 세계자원연구소(World Resources Institute)와 공동으로 진행하는 이 프로젝트에선 위성 사진을 활용해 나무의 높이와 숲의 전체 밀도를 분석하게 돕고, 기술을 이용해 산림 현황을 파악할 수 있게 지원하고 있다. 궁극적으로 숲의 구조를 분석하고, 생물 다양성을 평가하며, 산림 복원 및 관리 전략 수립에 유용한 도구로 활용될 수 있다.
메타는 탄소 배출량 절감 전략의 하나로 AI 숲지도에 투자하고 있다. 메타는 “AI 숲지도로 탄소배출권 모니터링 및 검증을 체계적으로 지원하고, 탄소 배출량 측정을 보완하는 참고 도구로 사용할 수 있을 것”이라고 설명했다.4)
라마를 중심으로 확산되는 오픈소스 AI 모델
메타는 자사의 AI 모델이 코드 및 이미지 생성, 다국어 이해 등 여러 분야에서 타 기업의 모델보다 우수한 성능을 보인다고 주장하고 있다. 5) 다만 AI 성능 평가는 각 기업이 자체적인 기준과 수치를 근거로 제시하기 때문에, 실제 상황에서의 상대적 우위를 세부적으로 판단하기는 어려운 실정이다.
최근 오픈소스 AI 모델은 기업이 내부 애플리케이션에 맞게 데이터를 미세 조정하는 과정에서 쓰이고 있다. 아예 라마를 기반으로 새로운 모델을 만드는 기업도 생겨나고 있다. 라마에서 파생된 모델은 다음과 같다.
- [표1] 라마에서 파생된 주요 AI 모델
모델명 특징 알파카(Alpaca)6) 스탠퍼드 대학에서 개발한 프로젝트로 크기가 작고 재현이 쉽고 저렴한 AI 모델 개발에 집중하고 있다. 학술 연구용으로만 사용되며 상업적 사용은 금지됐다. 비쿠나(Vicuna)7) 라마 모델을 기반으로 대화형 AI 모델을 개발하는 데 중점을 두고 프로젝트다. UC 버클리 대학에서 주도하고 있으며, 다양한 대화 응답을 생성하는데 특화돼있다. 훈련과 추론을 가속화하는 분산 시스템도 함께 개발되고 있다. 레드파자마(RedPajama) 라마와 같은 대형 언어 모델(LLM)을 훈련하기 위해 고품질 데이터셋과 모델을 생성하는 것을 추구하고 있다. 스타트업 투게더, 스탠포드 대학 등이 참여했으며, 데이터셋 제공뿐만 아니라 AI 학습 과정을 진행하는 데 필요한 스크립트와 구성 파일도 함께 제공하고 있다. 코알라(Koala)8) 버클리 대학에서 개발한 기술로 다양한 자연어 처리 작업에 특화돼있다. 대화, 요약, 번역 등의 작업에 사용될 수 있도록 기술이 설계돼있다. 오픈라마(OpenLLaMA)9) 라마 모델의 파생 프로젝트로, 학계 및 연구 커뮤니티에서 더욱 쉽게 접근할 수 있도록 개선된 것이 특징이다. 알파-인스트럭트(Alpha-Instruct)10) 국내 기업 올거나이즈가 개발한 모델로, 한국어 라마3를 개량한 모델과 지시사항을 따르는데 특화된 라마3의 인스트럭트 모델을 병합하는 방식으로 제작됐다. - * 출처: 녹색기술센터(2019), 녹색기후기술백서 2019
라마 이후 업계에선 오픈소스 AI 모델이 꾸준히 나오고 있는 추세다. 투명성과 편의성이라는 장점을 가진 것과 별개로 오픈소스 AI 모델도 전통적인 오픈소스 프로젝트와 마찬가지로 한계점을 가지고 있다. 핵심 문제로는 편향성과 보안성이 있는데, 이 부분은 엄밀히 말하면 모든 AI 모델의 공통 문제이기도 하다. 그러나 오픈소스 AI 모델의 경우, 상업용 모델과 달리 문제 발생 시 책임 소재가 불분명하다. 이러한 특성으로 인해 책임 소재에 대한 명확한 해결책 마련이 시급한 상황이다.
라마만의 문제로는 라이선스 이슈가 있다. 라마 이용 과정에서 월간 활성 사용자 수가 7억 명을 초과할 경우, 사용자는 메타에 별도의 라이선스11)를 요청해야 한다. 이 조항으로 인해 라마 모델을 진정한 오픈소스로 볼 수 있는지에 대한 업계 내 논란이 제기됐다.12)
※ 참고 Reference
- Introducing LLaMA: A foundational, 65-billion-parameter large language model, 2023년 2월,
https://ai.meta.com/blog/large-language-model-llama-meta-ai/ - AI and The Next Computing Platforms With Jensen Huang and Mark Zuckerberg,
2024년 7월, https://youtu.be/w-cmMcMZoZ4?si=ZbgKmbytB0RrwZT6&t=1424 - Meet Your New Assistant: Meta AI, Built With Llama 3 , 2024년 4월,
https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/ - Using Artificial Intelligence to Map the Earth’s Forests , 2024년 4월,
https://sustainability.atmeta.com/blog/2024/04/22/using-artificial-intelligence-to-map-the-earths-forests/ - Introducing Llama 3.1: Our most capable models to date, 2024년 7월,
https://ai.meta.com/blog/meta-llama-3-1/ - https://crfm.stanford.edu/2023/03/13/alpaca.html
- https://lmsys.org/blog/2023-03-30-vicuna/
- https://bair.berkeley.edu/blog/2023/04/03/koala/
- https://github.com/openlm-research/open_llama
- https://blog-ko.allganize.ai/alpha-instruct-llm/
- https://github.com/meta-llama/llama/blob/main/LICENSE
- Meta trots out Llama 2 AI models, invites devs to hop on, 2023년 7월,
https://www.theregister.com/2023/07/19/meta_llama_2/
번호 | 제목 | 조회수 | 작성 |
---|---|---|---|
359 | [글로벌 오픈소스 기업] 오픈소스 AI 생태계의 거인, 메타의 영향력 | 188 | 2024-08-26 |
358 | [글로벌 오픈소스 기업]허깅페이스, 오픈소스로 AI 생태계를 혁신하다 | 322 | 2024-07-29 |
357 | [개발자 인터뷰/엄재웅 개발자] 글로벌 IT기업 원격근무 비결은...'오픈소스' | 601 | 2024-06-24 |
356 | [개발자 인터뷰/오픈프런티어(멘토) 박정환 개발자] 오픈소스 기여로 함께 성장하는 여정 | 1359 | 2024-05-27 |
355 | [오픈소스 기업/가이아쓰리디 주식회사] 오픈소스GIS 전문기업에서 오픈소스 디지털트윈 전문기업으로, 가이아쓰리디 | 924 | 2024-04-23 |
354 | [오픈소스 기업/차라투 주식회사] 오픈소스 기반 의학연구지원 기업, 차라투 | 991 | 2024-03-26 |
353 | [오픈소스 기업/큐브리드] 공공 클라우드 시장 선점한 국내 주도형 오픈소스 DBMS 대표 벤더 | 944 | 2024-02-26 |
352 | [오픈소스 기업/넷록스 주식회사] 넷록스, 클라우드 네이티브 생태계 구축을 위해 필수적인 Load Balancer 오픈소스로 공개 | 1412 | 2024-01-29 |
351 | [오픈소스 기업/잼투인]오픈소스 기반 캐시 클러스터' ARCUS'를 통한 온라인몰 속도 개선 및 DB 부하 절감... '잼투인(주)' | 1167 | 2023-12-26 |
350 | [오픈소스 활용사례/한국도로공사] "급변하는 IT 대처할 기술역량, 오픈소스로 확보" | 1923 | 2023-11-27 |
0개 댓글