아파치 3.0, 머신러닝 위해 엔비디아 GPU 지원한다
5월20일
ⓒ CIO Korea, Serdar Yegulalp | InfoWorld | ciokr@idg.co.kr
인메모리 빅데이터 처리 프레임워크인 아파치 스파크(Apache Spark)가 엔비디아 래피즈(RAPIDS)를 기반으로 GPU 가속화를 지원할 예정이다.
아파치 스파크가 곧 공개될 3.0 버전에서 네이티브 GPU 가속화를 지원한다. 무엇보다도 현재 스파크 애플리케이션들을 수정하지 않고도 GPU 가속화를 적용할 수 있다. 기존 스파크 API가 모두 그대로 작동한다.
엔비디아가 제공하는 GPU 가속화는 추출·변환·적재(Extract·transform·load, ETL)부터 머신러닝 학습이나 추론까지 스파크 애플리케이션의 파이프라인 전반의 성능을 개선하도록 설계됐다. 이는 엔비디아 래피즈(RAPIDS) 스위트를 기반으로 한다. 래피즈는 GPU 가속화를 지원하는 데이터 사이언스 라이브러리다.
스파크 3.0의 성능 향상이 GPU 가속화만으로 이뤄지는 것은 아니다. 스파크 3.0은 GPU를 오가는 데이터 이동을 최소화해 성능을 개선했다. 클러스터 간 데이터 이동이 필요한 경우 유니파이드 커뮤니케이션 X(Unified Communication X) 프레임워크를 활용해 특정 GPU 메모리 블록의 데이터를 다른 블록으로 직접 이동시켜 오버헤드를 최소화한다.
엔비디아에 따르면 데이터브릭스(Databricks) 플랫폼에서 실행되는 아파치 3.0의 프리뷰 버전은 GPU 가속 기능을 사용할 때 7배의 성능 향상을 보였다. 단 워크로드와 데이터세트에 대한 세부 정보는 공개되지 않았다.
아파치 3.0의 정식 출시 일자는 아직 확정되지 않았다. 현재 아파치 스파크 프로젝트 웹사이트에서 프리뷰 버전을 다운로드받을 수 있다.
※ 본 내용은 한국IDG(주)(http://www.ciokorea.com)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒCIO Korea. 무단전재 및 재배포 금지
[원문출처 : http://www.ciokorea.com/news/152845#csidx0390e446858a85b94443e169d05590c]
번호 | 제목 | 조회수 | 작성 |
---|---|---|---|
공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 316072 | 2020-10-27 |
공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 305662 | 2020-10-27 |
8871 | 아파치 3.0, 머신러닝 위해 엔비디아 GPU 지원한다 | 4530 | 2020-05-22 |
8870 | MS가 리눅스 데스크톱 시대를 열었다 | 4597 | 2020-05-22 |
8869 | NIPA-현대기아자동차, 자동차 분야 오픈소스 활용 위해 맞손 | 5039 | 2020-05-22 |
8868 | 오픈소스컨설팅, AK플라자에 ‘플레이스 와스업’ 공급 | 4920 | 2020-05-11 |
8867 | IBM-레드햇, 새로운 엣지 컴퓨팅 솔루션 출시 | 4756 | 2020-05-11 |
8866 | 티맥스소프트, 기업용SW 오픈소스 버전 내놔 | 4396 | 2020-05-11 |
8865 | "디지털ID 표준 만들자"...IBM·마스터카드, 리눅스재단 아래 뭉쳤다 | 4890 | 2020-05-11 |
8864 | 청와대, 인기게임 ‘마인크래프트 청와대 맵’ 오프소스 공개 | 4397 | 2020-05-11 |
8863 | SKT-AWS, 한국어 자연어처리기술 ‘KoGPT-2’ 오픈소스로 공개 | 4808 | 2020-05-11 |
8862 | 레드햇, ‘엔터프라이즈 리눅스 8.2’ 출시 | 4610 | 2020-04-27 |
0개 댓글