이 누리집은 대한민국 공식 전자정부 누리집입니다.

[주간 OSS 동향리포트] 딥시크, LLM "코드 대신 자연어로 추론 훈련" 새로운 사후 훈련 방식 오픈소스로 공개

2025.02.25

2월 4주의 국내외 공개SW 관련 동향을 모아 정리하였습니다.

자세한 기사 내용은 아래 기사 내용 중 굵게 표시된 제목을 클릭하시면 보실 수 있습니다.

딥시크와 북경교통대학교, 홍콩과학기술대학교 연구진은 지난 11일 코드 기반 LLM 학습 과정을 자연어로 변환, 추론 능력을 강화하는 새로운 방식  ‘코드I/O(CODEI/O): 코드 입력-출력 예측을 통한 추론 패턴 응축’이라는 논문을 발표했습니다. 이 방식은 모델의 추론 과정이 실제로는 코드를 통해 진행된다는 데 착안하여 자연어 설명을 추가해 LLM이 논리적 흐름을 자연스럽게 강화할 수 있도록 했다고 밝혔습니다.

연구진은 LLM의 추론은 더 논리적이고 체계적이며 분석적으로 쿼리에 접근하는데 엄격한 규칙이 적용되는 코딩이나 수학 등에서는 성능 향상을 보이지만 일반적인 문제 해결에는 여전히 어려움을 겪기때문에 이를 해결하기 위해 추론을 진행하는 코드에 자연어로 된 설명을 추가하여 단순 계산이 아닌, 논리를 가지고 추론을 실시할 수 있다는 설명입니다.

코드I/O 방식으로 훈련한 모델은 실제로 다른 방식보다 벤치마크 전반에서 더 높은 성과를 기록했습니다.

이번 논문과 코드I/O도

깃허브

를 통해 오픈소스로 공개했습니다.

[참고기사]

자체 모델·오픈소스·MS 협력…KT, AI 3트랙 전략 가동

(전자신문 )

KT가 메타의 오픈소스 인공지능(AI) 모델 `라마(Llama)`를 기반으로 한 오픈소스 AI 모델을 개발한다. 자체모델인 `믿음`, 전략적 파트너십을 맺은 마이크로소프트(MS)와 개발하는 `협력 모델`과 함께 3트랙 전략을 편다.

16일 업계에 따르면, KT는 지난해 11월 `라마`를 기반으로 한 KT 맞춤형 모델인 `라마-3.1-K11B`를 개발했다. 이러한 개발 경험을 바탕으로 오는 4월에는 보다 규모가 큰 `라마-3.1-K74B`를 출시한다.

"미중 패권 경쟁, 오픈소스 AI로 확산…생태계 강화해야"

(연합뉴스)

18일 서울 여의도 국회도서관에서 열린 `트럼프 2기 행정부 이후 바람직한 인공지능 정책 대응 토론회`에서 하정우 네이버클라우드 AI이노베이션센터장은 중국산 생성형 AI `딥시크`가 일으킨 파장과 글로벌 AI 패권 경쟁 현황에 대해 발표했다. 하 센터장은 최근 프랑스 파리에서 열린 제3차 인공지능(AI) 행동 정상회의 폐막 후 `사람과 지구를 위한 지속 가능하고 포용적인 AI에 관한 선언문`에 미국과 영국이 서명하지 않은 점을 거론하며, 자국의 산업을 위한 강대국들의 AI 경쟁이 본격화하고 있다고 강조했다.

- Open UP -

댓글 0

첫 댓글을 작성해보세요!

댓글 작성

댓글을 작성하려면 게시글 작성 시 입력한 이메일과 패스워드를 입력해주세요.