ⓒCIO Korea By

Anirban Ghoshal

스노우플레이크(Snowflake)가 스위프트KV(SwiftKV) 최적화 기술을 vLLM에 통합하면 대규모 언어 모델(LLM) 추론 처리량을 최대 50%까지 향상시킬 수 있다고 밝혔다. 또한 코텍스 AI(Cortex AI)에서 메타 라마(Meta Llama) LLM 추론 비용을 최대 75%까지 절감할 수 있다고 설명했다.

클라우드 기반 데이터웨어하우스 기업 스노우플레이크가 생성형 AI 애플리케이션을 운영하는 기업의 추론 워크로드 비용을 절감하기 위해 설계된 독점 기술인 스위프트KV의

성능 수준

을 공개했다. 이는 지난해 12월 오픈소스로 공개됐다.

스노우플레이크는 생성형 AI 애플리케이션의 추론 비용이 여전히 높아 기업이 애플리케이션을 확장하거나 새로운 사용 사례에 생성형 AI를 도입하는 데 걸림돌이 되고 있다고 설명했다.

(후략)

[원본기사 :

https://www.cio.com/article/3804534/%EC%8A%A4%EB%85%B8%EC%9A%B0%ED%94%8C%EB%A0%88%EC%9D%B4%ED%81%AC-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%EC%8A%A4%EC%9C%84%ED%94%84%ED%8A%B8kv-llm-%EC%B6%94%EB%A1%A0-%EB%B9%84%EC%9A%A9.html

]