[주간 OSS 동향리포트]코히어, AI 모델 언어 격차 해소 위한 오픈소스 모델 출시

Open UP에서는 지난 한 주의 국내외 공개SW 관련 동향을 모아 정리합니다.
자세한 기사 내용은 아래 기사 내용 중 굵게 표시된 제목을 클릭하시면 보실 수 있습니다.

코히어가  AI 모델의 언어 격차를 해소한다는 취지로  한국어를 포함하여 23개 언어를 지원하는 대형언어모델 '아야 익스팬스(Aya Expanse)'를 오픈소스로 출시하였습니다. 아야 익스팬스 모델은 캐나다 스타트업 코히어가 소속 비영리 연구 기관 C4AI를 통해 출시한 오픈소스 다국어 LLM으로  '아야 프로젝트'를 바탕으로 한 지난 2월 출시한 '아야 101(Aya 101)'을 두차례 업그레이드한 것입니다.

매개변수 8B 및 32B 두가지로 한국어를 비롯해 중국어, 일본어, 아랍어, 힌디어, 인도네시아, 베트남어 등 아시아권과 영어, 독일어, 프랑스어, 이탈리아어, 스페인어, 포르투갈어, 네덜란드어, 체코어, 페르시아어, 터키어, 러시아어, 우크라이나어 등이 포함되었습니다.

코히어는 상업적 용도의 기업용 LLM 개발에 집중한 기업이지만 아야 프로젝트는 119개 국가에서 3000명 이상의 연구자가 지난해 1월부터 자발적으로 참여하여 상업적인 의도 없이 세계의 언어모델 개발 격차를 해소한다는 취지로 수천명의 연구자와 오픈소스 개발에 동참하고 있습니다. 이들은 5억1300만개의 프롬프트로 구성된 아야 데이터셋으로 101개 언어를 포괄하는 130억 매개변수의 LLM ‘아야 101’을 개발하여 공개했으며, 5억1300만개의 예제와 다국어 성능 및 안전성에 대한 평가 세트를 포함하는 다국어 데이터셋 아야 컬렉션도 출시했다. 오픈 소스 개발자를 위한 연구 보조 지원 프로그램도 운영하고 있습니다.

아야 익스팬스 8B 모델과 35B 모델은 허깅페이스를 통해 사용할 수 있습니다.

[참고기사]

□ 메타, '노트북라마' 오픈 소스 출시...구글 '노트북LM' 따라하기 나서(AI타임스)
메타가 업로드한 문서를 바탕으로 팟캐스트를 생성하는 오픈 소스 애플리케이션을 내놓았다. 이는 구글의 인기 인공지능(AI) 앱 '노트북LM'과 매우 유사하다. 메타는 27일(현지시간) PDF 문서를 팟캐스트로 만드는 앱 '노트북라마(NotebookLlama)’를 오픈 소스로 출시했다고 보도했다.

□ “AI의 오픈소스 시대 열리나” OSI, 오픈소스 AI 정의 1.0 발표(ITWORLD) 
오픈소스 이니셔티브(OSI)가 오픈소스 AI 시스템을 정확히 정의하는 표준을 만들기 위해 지난 1년간 진행한 글로벌 커뮤니티 이니셔티브의 결과를 발표했다. 
'올씽스 오픈 2024' 컨퍼런스에서 공개된 오픈소스 AI 정의(Open Source AI Definition, OSAID) 1.0 버전에 대해 OSI는 “오픈소스 정의가 소프트웨어 생태계를 위해 해온 것과 유사하게 AI 실무자를 위해 허가가 필요없는 실용적이고 단순화된 협업을 재창조할 수 있는 일련의 원칙을 수립하는 프로젝트의 첫 번째 안정 버전”이라고 설명했다.
 

 - OpenUP -