오픈소스 프로젝트

Monthly OpenSource Component

신규 프로젝트

VPUVirt

ㆍ비디오 스트리밍 서비스가 확산되면서 대규모 트랜스코딩 수요가 증가하고 있으며, 이를 위해 VPU(Video Processing Unit) 같은 하드웨어 가속기가 널리 활용되고 있음 ㆍ기존 방식에서는 호스트가 SSD와 VPU 사이의 데이터 이동을 중계하고 프레임 단위 완료 확인과 버퍼 관리를 반복함. 그 결과 CPU 코어가 지속적으로 점유되고 호스트 메모리 사용량이 증가함 ㆍ4K 트랜스코딩의 지연시간을 분석한 결과, VPU 연산을 제외한 데이터 이동과 제어 구간이 전체의 약 40%를 차지함 ㆍSSD와 VPU를 결합한 연산 저장장치(Computational Storage)는 비용과 접근성 문제로 일반 사용자가 이용하기 어려워, 이에 기반한 소프트웨어 스택 개발이 어려운 상황임 ㆍ본 연구진은 기개발된 가상 플랫폼인 NVMeVirt에 실물 VPU를 결합한 VPUVirt를 개발함. 이를 통해 VPU 기반 SmartSSD에 대한 접근성을 개선하고 소프트웨어 스택 개발의 용이성을 높임 ㆍVPUVirt는 SSD가 호스트를 거치지 않고 VPU와 직접 데이터를 주고받아 코덱 연산을 수행하는 In-Storage Offloading 구조를 제공함 ㆍSSD 내부에 3단계 파이프라인을 구성하여 프레임 단위로 중첩 실행함. 또한 파일 시스템 우회로 인한 메타데이터 불일치를 해결하는 동기화 기법을 제공함 ㆍ기존 호스트 중심 방식과 비교한 결과, 인코딩 처리량은 최대 1.72배 증가했고, 호스트 CPU 코어 사용량은 최대 약 98%, 호스트 메모리 사용량은 약 99% 감소함

zraid

ㆍZNS(Zoned Namespace) SSD는 저장 공간을 순차 쓰기만 허용하는 존(zone) 단위로 나누어, 기존 블록 인터페이스 SSD의 내부 오버헤드와 비용을 줄인 신개념 고성능 저장장치임 ㆍ데이터센터에서는 성능과 신뢰성 확보를 위해 여러 저장장치를 RAID로 묶어 사용하나, ZNS SSD는 덮어쓰기가 불가능하여 불완전한 스트라이프를 보호하기 위한 부분 패리티(Partial Parity) 관리가 큰 문제가 됨 ㆍ기존 ZNS RAID 연구(RAIZN)는 소수의 전용 존에 부분 패리티를 영구 기록하여 쓰기 처리량 병목, 쓰기 증폭 증가, 저장장치 수명 단축을 유발함. 본 연구진은 이를 부분 패리티 세금(Partial Parity Tax)으로 정의함 ㆍ본 연구진은 NVMe ZNS 명령어 세트에 새로 추가된 ZRWA(Zone Random Write Area) 기능을 활용한 소프트웨어 ZNS RAID 계층인 ZRAID를 개발함 ㆍZRAID는 부분 패리티를 각 데이터 존의 ZRWA에 임시로 기록하고, 이후 들어오는 데이터로 덮어써 불필요한 플래시 쓰기를 제거함 ㆍ부분 패리티 쓰기를 여러 데이터 존에 분산하여 처리량 병목을 해소하고, ZNS 전용 스케줄러의 큐 깊이 제약 없이 범용 스케줄러를 사용할 수 있음 ㆍ실물 ZNS SSD 기반 평가 결과, 기존 ZNS RAID 대비 쓰기 처리량이 fio에서 최대 48%, RocksDB db_bench에서 평균 14.5% 향상되었고, 플래시 쓰기 증폭은 최대 1.6배 감소함

PICTURE

방법론의 개발 배경 및 기존 방법의 한계 - 대규모 언어모델을 활용하여 인간과 같은 마음 이론 능력을 모사하는 것은 자연어처리 분야에서 오랜 문제였음 - 특히 이 문제를 해결하는 데 있어 가장 큰 병목은 대규모 언어모델이 이야기 속 인물의 잘못된 믿음(False belief)을 추론할 때 해당 인물이 모르는 사건에 대한 반응을 억제하지 못하는 것임 - 이로 인해 대규모 언어모델은 인물의 관점이 아닌 전지적 관점에 기반하여 잘못된 결론을 도출함 - 이러한 병목에 대응하기 위해, 기존 연구들은 관점수용(Perspective-taking)이라는 사전 추론 단계를 도입하였음 - 관점수용은 마음 이론 질문에 답하기에 앞서, 이야기 속 인물이 모르는 사건을 이야기에서 삭제하는 방식인 사건 숨기기를 통해 구현되었음 - 이를 통해 대규모 언어모델은 인물이 모르는 정보에 대한 반응을 억제할 필요가 없어짐 - 해당 방식은 관점수용을 구현하기 위한 표준적인 접근법이지만, JSON 배열이나 그래프 표현, 이야기의 부분집합과 같은 엄격한 출력 형식 제약을 요구함 - 이러한 출력 형식 제약은 대규모 언어모델의 추론 능력을 저하시킬 수 있는 것으로 알려짐. 이러한 문제를 완화하기 위해, 이야기 속 인물의 무지를 자유 형식의 연쇄사고 안에서 생성하도록 대규모 언어모델을 지도하는 프롬프팅 방법 PICTURE를 제안함 - 인물의 무지를 생성하는 과정을 통해 대규모 언어모델은 해당 인물이 모르는 사건에 대한 반응을 억제할 수 있음

spexis

ㆍ 대규모 언어모델(LLM)을 여러 GPU에서 효율적으로 서빙하기 위한 분산 추론 스케줄링 기술임 ㆍ 개발 배경 및 필요성 - LLM의 파라미터 규모와 KV 캐시 메모리 요구량이 크게 늘어 다중 GPU 추론이 필수가 되었으며, 주로 파이프라인 병렬화(PP)와 텐서 병렬화(TP)를 사용함 - PP는 마이크로배치마다 KV 캐시를 따로 두어야 해 메모리 압박으로 배치 크기가 줄어드는 한계가 있음 - TP는 레이어마다 GPU 간 동기화가 필요해 통신 오버헤드가 발생함 - 두 병목 모두 GPU 수가 늘수록 심해져, 병렬화 정도를 높여도 처리량이 오히려 떨어지는 경우가 있음 ㆍ 기술 개념 및 원리 - 추측 디코딩(speculative decoding)을 새로운 병렬화 축인 추측 병렬화(Speculative Parallelism, SP)로 확장함 - 모델 앞단 레이어를 초안(draft) 모델로 재사용하는 자기추측(self-speculative) 방식으로 다음 토큰을 미리 예측하고, 이 추측 실행을 일반 실행과 병렬로 처리함 - 추가 KV 캐시 메모리 없이 파이프라인 유휴 시간(bubble)을 채워 병렬성을 추가로 확보함 ㆍ 대표 기능 - 추측 성공 가능성과 요청별 남은 생성 길이를 예측하는 선행 스케줄링(lookahead scheduling)으로 불필요한 추측, KV 캐시 축출(eviction), 재계산 비용을 줄임 - PP·TP·SP 비용 모델을 바탕으로 최적 병렬화 조합과 신규 요청 투입 시점을 자동으로 결정함 ㆍ 성능 - vLLM 기반으로 구현했으며, A40, A100, H100, L40S, RTX PRO 6000 등 다양한 GPU 환경에서 최적 PP+TP 조합보다 성능이 최대 34% 높은 것으로 확인함 ㆍ 적용 분야 - 클라우드 기반 LLM 서비스, 기업용 AI 추론 서버, GPU 자원이 제한된 온프레미스 환경 등 높은 처리량과 메모리 효율이 필요한 LLM 서빙 분야

zwan

ㆍZNS(Zoned Namespace) SSD는 저장장치 내부 관리 오버헤드를 제거한 신개념 고성능 저장장치로, 순차 쓰기 제약을 가지며 다양한 응용 분야에서 도입이 확대되고 있음 ㆍLSM-tree 기반 키-값 저장소(RocksDB 등)는 대용량 순차 쓰기 패턴을 가져 ZNS SSD에 적합함. 그러나 데이터 내구성을 위해 모든 쓰기 요청을 WAL(Write-Ahead Log)에 먼저 기록해야 함 ㆍWAL 기록은 블록(4KB)보다 작은 레코드도 블록 단위로 기록하여 쓰기 증폭을 늘리고, 동시 쓰기가 하나의 쓰기 포인터(WP)에서 직렬화되어 병목이 됨. 본 연구진은 이를 WAL 세금(WAL Tax)으로 정의함 ㆍ기존 RocksDB의 그룹 커밋은 쓰기 증폭을 줄이지만 꼬리 지연시간을 늘리고, 최신 연구인 WALTZ는 지연시간을 줄이지만 쓰기 증폭이 크게 증가하는 상충 관계가 존재함 ㆍ본 연구진은 NVMe ZNS 명령어 세트의 ZRWA(Zone Random Write Area) 기능을 활용하여 이 상충 관계를 해소하는 LSM-tree 키-값 저장소인 ZWAN을 개발함 ㆍZWAN은 ZRWA의 제자리 덮어쓰기 기능을 이용해 여러 WAL 레코드를 하나의 블록에 채워 넣어, 일괄 처리 지연 없이 쓰기 증폭을 제거함 ㆍ또한 소유권 기반 버퍼 할당과 WP 인지 우선순위 기법을 적용한 전용 I/O 엔진으로 ZRWA의 성능 이점을 최대한 활용함 ㆍ실물 ZNS SSD 기반 평가 결과, 최신 ZNS용 LSM-tree(WALTZ) 대비 처리량은 최대 3.4배 향상되었고, P50 지연시간은 최대 3.0배, P99 지연시간은 최대 9.8배 감소했으며, 쓰기 증폭은 98.6% 감소함

우수 프로젝트

Backend.AI

AI 개발 및 고성능 컴퓨팅을 위한 GPU/AI 가속기 벤더 독립적 워크로드 호스팅 플랫폼으로, 자체 개발한 오케스트레이션 엔진과 작업 스케줄러를 기반으로 클라우드 및 온프레미스/폐쇄망 환경에서의 클러스터 운영 기술을 백엔드부터 프론트엔드까지 모두 경험할 수 있는 프로젝트- 컨테이너 기반 AI 연산 플랫폼으로 GitHub에서 전체 구성 확인 가능 - 컨테이너 오케스트레이션을 위한 개별 컨테이너의 수명주기 관리부터 클러스터 수준의 스케줄링 추상화 계층까지 전체 스택을 모두 보유하여다중노드 분산시스템 관점에서 수직통합을 경험해볼 수 있는 프로젝트 [라이선스 정보] LGPLv3 (코어 엔진) - 상업적 사용 가능. 해당 라이선스 코드를 수정한 부분은 공개해야 하나, 기업의 독점 소프트웨어와 동적 링크(Dynamic Linking) 방식으로 연결하여 사용할 경우 기업 코드는 공개할 의무가 없음 (단, 정적 링크 시 오브젝트 코드 공개 의무 발생). 특허 침해 소송 및 저작권 관련 소송 제기 시 라이선스 권리가 즉시 종료됨. 활용 시 해당 모델(또는 코드)의 LICENSE 원문을 기준으로 특허 관련 조항, 소프트웨어 결합 방식(정적/동적 링크)에 따른 소스코드 공개 범위 조건을 정확히 확인할 필요가 있음. MIT License (클라이언트 및 공통 라이브러리)