[주간 OSS 동향리포트]구글, 통계 데이터 응답 정확도 높인 오픈소스 모델 ‘데이터젬마’ 공개

Open UP에서는 지난 한 주의 국내외 공개SW 관련 동향을 모아 정리합니다.
자세한 기사 내용은 아래 기사 내용 중 굵게 표시된 제목을 클릭하시면 보실 수 있습니다.

대형언어모델(LLM)은 통계적 사실과 관련된 사용자 쿼리에는 다양한 논리, 산술 또는 비교 연산이 포함될 수 있기 때문에 수치나 통계 데이터 등을 포함하는 질문에 대해 부정확한 정보를 생성하는 경향이 있습니다.

구글이 논리나 산술, 비교 연산 등이 수반되는 통계 데이터 쿼리를 토대로 하는 쿼리에서 환각이나 오답을 줄이기 위한 오픈 소스 모델 ‘데이터젬마(DataGemma)’에 관한 논문을 발표했습니다. 이 모델은 수치 및 통계적 사실과 관련된 모델의 환각 문제를 해결을 통해 통계 데이터에 대한 응답 정확도를 높혔습니다.

구글은 공공 통계 저장소인 데이터 커먼스(Data Commons)의 실세계 데이터를 활용하였으며, 정확성을 높이기 위해 RIG(Retrieval Interleaved Generation, 검색 인터리브 생성), RAG(Retrieval-Augmented Generation, 검색 증강 생성)두가지 접근 방식으로 젬마 모델을 미세조정했습니다.
첫번째 RIG 방식은 모델의 초기 생성 결과와 데이터 커먼스에 저장된 관련 통계와 비교하는 방식입니다.
두번째 RAG 방식은 원래의 통계 질문을 사용해 관련 변수를 추출하고 데이터 커먼스에 자연어 쿼리를 실행해 관련 통계의 답변을 가져오는 방식입니다.

101개의 수작업 쿼리 세트를 사용한 테스트 결과, RIG로 미세조정된 데이터젬마 변형 모델은 기준 모델의 정답율을 5~17%에서 58%로 향상시켰습니다. RAG로 미세조정된 데이터젬마 변형 모델은 24~29%의 쿼리에 대해 데이터 커먼스에서 통계적 응답을 제공하여 조금 더 낮은 성능을 보였지만 숫자에서 올바른 추론을 도출하는 데 6~20%의 빈도로 어려움을 겪는 기존 LLM보다는 나은 결과를 보여주었습니다.

이처럼 RIG와 RAG 모두 통계 쿼리를 처리하는 모델 정확성을 향상하는 데 효과적일 수 있다는 것을 입증했습니다.

두 접근 방식 모두 각각의 강점과 약점이 있는데 RIG는 개별 통계를 검색하고 검증하기 때문에 빠르지만, 세부 사항이 부족하고 RAG는 포괄적인 데이터를 제공하지만, 데이터 가용성에 제약이 있으며 큰 컨텍스트를 처리할 필요가 생깁니다.

구글은 RIG 및 RAG와 함께 데이터젬마 공개를 통해 두 접근 방식에 대한 추가 연구가 추진되고 더 강력하고 기반이 잘 갖춰진 모델을 구축하는 방법이 열리기를 기대한다고 밝혔습니다.

현재 데이터젬마 모델은 허깅페이스에서 학술 및 연구 용도로 사용가능합니다.

[참고기사 1]
[참고기사 2]

□ 대형언어모델 및 AI 평가의 새로운 기준 제시!..., 마이크로소프트, 오픈소스 '유레카' AI 발전 가속화(인공지능신문)
마이크로소프트(Microsoft)가 개발한 오픈 소스 프레임워크 '유레카(Eureka)'를 기반으로 한 연구 보고서가 17일(현지시간) 발표되어 주목을 받고 있다. 이 모델은 최신 AI 모델 12개를 심층 분석하여 기존의 단순 점수 비교 방식을 넘어 각 모델의 강점과 약점을 다각적으로 파악하는 데 초점을 맞췄다. 흥미로운 점은 많은 모델들이 표준 벤치마크 테스트에서 비슷한 성적을 보이더라도, 실제로 사용되는 기술과 능력은 모델마다 다를 수 있다는 것이다.

- OpenUP -