[대한민국 빅데이터③] “빅데이터, 분석만큼 인프라 관리도 중요”
2013년 06월 04일 (화)
ⓒ 디지털데일리, 심재석 기자 sjs@ddaily.co.kr
빅데이터는 현재 IT업계의 최대 화두다. 2~3년 전 빅데이터의 중요성이 대두된 이후 기업들은 빅데이터를 어떻게 활용할 것인지에 대한 고민을 안고 있다.
그러나 아직 국내에서 빅데이터 활용은 초기 단계다. 움직임이 빠른 기업들은 빅데이터를 부분적으로 도입해 효과를 본 사례가 일부 나타나기도 했지만 아직 대부분의 기업들은 빅데이터가 무엇인지 학습을 하고 있는 단계다.
디지털데일리는 창간8주년 기획 ‘대한민국 빅데이터 어디로 가야할까’를 통해 빅데이터 활용 전략에 대한 전문가들의 조언과 도입 사례, 주목할만한 빅데이터 솔루션 등을 소개할 계획이다.
이번 3부에서는 최근 각광을 받고 있는 빅데이터 솔루션으로, 빅데이터 플랫폼, SQL 처리 엔진, 빅데이터 관리 도구 등을 살펴본다.
3부 기사 순서
① 오픈소스vs상용DW 업계, 빅데이터 플랫폼 전쟁
② “어려운 맵리듀스 대신 표준 SQL로 빅데이터 처리”
③ “빅데이터, 분석만큼 인프라 관리도 중요”
전 세계적으로 빅데이터 표준으로 자리잡은 하둡은 PC 수준의 저가 하드웨어를 병렬로 연결해 엔터프라이즈 수준의 데이터 저장소로 만드는 기술이다.
오라클 등 기존 DB의 경우에도 병렬처리가 가능했지만, 확장할 수 있는 노드의 개수가 한정적이었다. 반면 하둡은 수십, 수백대를 넘어 수만대의 노드를 연결해 거대한 데이터 클러스터를 만들 수도 있다.
하지만 이런 클러스터를 구성할 때는 관리의 어려움이 따른다. 특히 오라클처럼 안정성과 성능이 확인된 고가의 장비에 설치하는 것이 아니라 낮은 성능의 저가 장비에서 운용되는 하둡은 관리의 중요성이 더욱 부각된다.
상시적으로 하둡을 모니터링 하면서 성능저하 및 장애에 빠르게 대응하고, 효율적으로 운용할 수 있는 프로세스가 필수적이다.
시장의 이런 요구에 먼저 움직인 것은 역시 오픈소스 업계다.
빅데이터 업계의 ‘레드햇’이라 볼 수 있는 클라우데라의 경우 ‘클라우데라 매니저’라는 솔루션을 공급하고 있다. 회사 측에 따르면, 이는 웹상에서 하둡 환경에 대한 설정, 배포, 모니터링, 측정, 리포트 등 일련의 운영 및 관리를 통합적으로 할 수 있게 해주는 도구다.
클라우데라와 오픈소스 기반 빅데이터 양대산맥인 호튼웍스도 유사한 솔루션 ‘호튼웍스 매니지먼트 센터’를 제공한다.
국내 오픈소스 전문기업 그루터는 ‘클라우몬(Cloumon)’이라는 하둡 관리 솔루션을 보유하고 있다. 클라우몬은 하둡뿐 아니라 하둡에코시스템 전체에 대한 관리 기능을 제공하는 것이 특징이다. 하둡 노드에 대한 모니터링부터 맵리듀스 잡모니터링, 하이브 테이블 스키마 관리, 주키퍼 데몬 모니터링, 플럼 노드 모니터링, H베이스 데이터/스키마 관리, 우지(Oozie) 기반의 워크플로우 생성 및 실행 등의 기능을 제공한다.
그러나 아직 기존의 상용 솔루션 업계는 하둡 관리를 위한 특별한 솔루션은 내 놓지 않고 있다. 스플렁크가 하둡을 모니터링 하는 하둡옵스 앱을 출시한 정도다.
오라클의 경우 자사의 빅데이터 플랫폼 ‘빅데이터 어플라이언스’ 안에 클라우드데라 하둡 배포판과 클라우데라 매니저를 내장했다.
IT관리 업계 전통의 강자 CA테크놀로지스는 지난 4월 CA월드 2013에서 하둡 관리를 위한 솔루션 출시를 준비중이라고 밝힌 바 있다.
※ 본 내용은 (주)디지털데일리(http://www.ddaily.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
[원문출처 : http://www.ddaily.co.kr/news/news_view.php?uid=105380]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 392739 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 382531 | 2020-10-27 |
| 1502 | 기업에 DBMS 무료개방… 토종SW 확산 `앞장` | 3794 | 2013-06-05 |
| 1501 | [대한민국 빅데이터③] “빅데이터, 분석만큼 인프라 관리도 중요” | 4301 | 2013-06-05 |
| 1500 | [대한민국 빅데이터②]“어려운 맵리듀스 대신, 표준 SQL로 빅데이터 처리” | 4696 | 2013-06-05 |
| 1499 | [대한민국 빅데이터①] 오픈소스 vs. 상용DW, 빅데이터 플랫폼 전쟁 | 4918 | 2013-06-05 |
| 1498 | 델 소프트웨어, '탈(脫) 오라클DB'로 시장 공략 | 4277 | 2013-06-04 |
| 1497 | EPUB3, 책과 웹의 경계가 흐려지는 지점 | 4897 | 2013-06-04 |
| 1496 | 삼성·LG전자 연일 생태계 강조…왜? | 4326 | 2013-06-04 |
| 1495 | 오픈소스 잠재적 위험성에 기업들 `골치` | 4197 | 2013-06-04 |
| 1494 | [사설] 공개SW 활용 법적 문제 대비해야 | 4433 | 2013-06-04 |
| 1493 | [대한민국 희망 프로젝트]공개소프트웨어 관련 도서 | 4125 | 2013-06-04 |
0개 댓글