ⓒ

데이터넷/강석오 기자

인공지능(AI) 및 반도체 통합 솔루션 전문기업 디노티시아(대표 정무경)는 한양대학교 AIHA 연구실(최정욱 교수팀)과 산학협력 연구를 통해 개발한 AI 양자화(Quantization) 알고리즘 평가 플랫폼 ‘QLLM-INFER’를 깃허브에 오픈소스로 공개했다. 이 플랫폼은 아파치 2.0 라이선스를 적용해 누구나 자유롭게 사용하고 기여할 수 있다.

최근 거대언어모델(LLM)이 주목받으면서 AI 기술의 활용 범위가 급격히 넓어지고 있다. 그러나 이러한 모델은 높은 연산량과 메모리 사용으로 인해 실제 서비스나 개인용 컴퓨터 및 스마트폰에 적용하기 어렵다.

이를 해결하기 위한 방법이 양자화 기술이다. 양자화는 AI 모델의 계산 정밀도를 낮춰 더 빠르게 만드는 기술로, 큰 숫자를 작은 숫자로 압축하는 방식이다.

(후략)

[원본기사 :

https://www.datanet.co.kr/news/articleView.html?idxno=201115

]