메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선"
support
게시글 작성 시각 2024-07-08 14:07:18
2024.07.05
ⓒAI타임스 /박찬 기자
메타가 '다중 토큰 예측(Multi-token Prediction)’ 아키텍처를 기반으로 하는 코드 생성 모델을 출시했다. 이 방식으로 모델 속도를 최대 3배 빠르게 하는 등 대형언어모델(LLM)의 새로운 돌파구를 만들었다고 주장했다.
벤처비트는 4일(현지시간) 메타가 지난 4월 논문을 통해 발표한 ‘다중 토큰 예측’ 아키텍처를 기반으로, 코드 데이터로 사전 훈련한 70억 매개변수의 ‘멀티-토큰-프리딕션’ 모델을 오픈 소스로 출시했다고 보도했다.
다중 토큰 예측은 전통적인 자동회귀 언어 모델이 한번에 토큰 하나씩 예측하는 것과 달리, 여러 토큰을 동시에 예측함으로써 모델의 속도와 정확도를 향상할 수 있는 방법이다.
(후략)
[원본기사 : https://www.aitimes.com/news/articleView.html?idxno=161325]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 406616 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 396425 | 2020-10-27 |
| 11001 | 프랑스 kyutai 'GPT-4o' 흡사한 AI 음성 비서 'Moshi' 공개 | 712 | 2024-07-10 |
| 11000 | 구글 차세대 OS 퓨시아 선보인다…안드로이드폰 탑재 예정 | 779 | 2024-07-10 |
| 10999 | “SW 공급망 피해, 2031년 1380억달러···공급망 전반서 리스크 낮춰야” | 624 | 2024-07-08 |
| 10998 | 메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선" | 623 | 2024-07-08 |
| 10997 | [주간 OSS 동향리포트]LG전자 – Qt그룹, ‘차량용 webOS 콘텐츠 플랫폼(ACP)’ 구축 협력 | 1265 | 2024-07-08 |
| 10996 | "애플이 AI 모델을 오픈소스로?"...멀티모달 파운데이션 모델 훈련 위한 프레임워크 '4M AI 모델' 오픈 소스로 첫 공개 | 733 | 2024-07-04 |
| 10995 | [ET톡]국산 DBMS 경쟁력, 생태계 육성에 달렸다 | 689 | 2024-07-03 |
| 10994 | LG전자 – Qt그룹, ‘차량용 webOS 콘텐츠 플랫폼’ 구축 협력 나선다 | 723 | 2024-07-02 |
| 10993 | 저커버그 한마디에 ‘오픈소스’ 논쟁 재점화 | 688 | 2024-07-02 |
| 10992 | KAIST "GPT-4V 뛰어넘는 오픈 소스 LMM 개발" | 907 | 2024-06-25 |
0개 댓글