카카오, 딥러닝 형태소 분석기 '카이' 오픈소스 공개
2018년 11월 30일
ⓒ 지디넷코리아, 김민선 기자 / yoyoma@zdnet.co.kr
카카오가 인공지능(AI) 기술을 적용한 형태소 분석기술을 깃허브에 오픈소스로 공개한다고 30일 밝혔다.
카카오는 국내에선 처음으로 딥러닝(기계학습) 기술 기반 형태소 분석기 '카이'('khaiii,Kakao Hangul Analyzer III)'를 오픈소스로 제공한다.
형태소 분석기술은 2개 이상의 글자로 이루어진 단어 혹은 문장을 입력 시, 의미를 가진 언어 단위 중 가장 작은 단위인 형태소 단위로 자동으로 분리하는 기술이다. 예를 들면 '학교에 간다'라고 입력하면 '학교(명사)'+ 에(조사)+ 가(동사)+ ㄴ다(어미)' 로 형태소 단위와 품사를 파악해 분류해내는 기술이다.
형태소 분석기는 주로 자연어처리 응용 서비스의 기반 기술로 사용된다. 정보 검색, 기계 번역, 스마트 스피커나 챗봇 등 여러 서비스에서 사용할 수 있다.
카이는 딥러닝을 통해 학습한 데이터를 활용해 형태소를 분석하는 모델이다. 딥러닝 기술 중 하나인 합성곱신경망 기술을 이용해 음절기반으로 형태소를 분석하는 방법을 채택했다.
카카오는 국립국어원에서 배포한 데이터인 세종 코퍼스를 기반으로 데이터의 오류를 수정하고 카카오에서 자체 구축한 데이터를 추가해 85만 문장, 1천3만 어절의 데이터를 학습하여 정확도를 높였다. 또 딥러닝 과정에서 C++ 언어를 적용해, 일반적으로 딥러닝에 쓰이는 그래픽처리장치(GPU)를 사용하지 않고도 빠른 분석 속도를 구현했다.
카카오는 카이 오픈소스를 통해 한국어 연구, 챗봇/자연어 처리 응용기술 개발 등 한국어를 활용하는 다양한 분야에서 비용과 시간을 줄일 수 있게 될 것이라고 기대했다.
카이는 깃허브에서 확인할 수 있으며, 누구나 무료로 이용 가능하다. 카이에 대한 더 자세한 사항은 브런치에 게재된 카카오AI 리포트에서도 확인할 수 있다.
카카오 김응균 자연어처리파트장은 "한국어를 연구하는 분들에게 도움이 되고자 형태소 분석기를 공개하게 됐다"며 "앞으로도 다양한 분야에서 딥러닝 기반의 기술연구를 진행하고 공유해 나갈 예정이다"고 밝혔다.
※ 본 내용은 (주)메가뉴스(http://www.zdnet.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 지디넷코리아. 무단전재 및 재배포 금지
[원문출처 : http://www.zdnet.co.kr/news/news_view.asp?artice_id=20181130104100&type=det&re=zdk]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 406134 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 395939 | 2020-10-27 |
| 8211 | MS, 윈도머신러닝 AI추론엔진 오픈소스로 공개 | 5488 | 2018-12-05 |
| 8210 | 블록체인 플랫폼 비즈니스 고삐 당기는 SK㈜ C&C·삼성SDS | 5163 | 2018-12-05 |
| 8209 | ㈜다성테크, “AI를 기반으로 하는 스마트팜 시스템 개발해” | 5528 | 2018-12-05 |
| 8208 | [주간 OSS 동향 리포트] 카카오, AI 기술을 적용한 형태소 분석기 '카이' 오픈소스로 공개 | 15744 | 2018-12-04 |
| 8207 | 부활한 MS, '개인정보 정책'도 한몫했다 | 5389 | 2018-12-04 |
| 8206 | NFL 리그가 AWS 세이지메이커를 이용하는 방법 | 5314 | 2018-12-04 |
| 8205 | [포럼] SW정책, 오픈소스 생태계에 올라타자 | 5673 | 2018-12-03 |
| 8204 | 카카오, 딥러닝 형태소 분석기 '카이' 오픈소스 공개 | 5273 | 2018-12-03 |
| 8203 | AWS, 리인벤트 2018서 블록체인 솔루션 2종 발표 | 5785 | 2018-12-03 |
| 8202 | 기고 | 강화 학습, AI의 주류로 부상하다 | 6223 | 2018-12-03 |
0개 댓글