클라우드 뷔페로의 재정립··· AWS 최신 서비스 10종

초창기 클라우드에서의 삶은 단순했다. 신용카드 번호를 입력해 결제하고, 랙에 설치할 필요가 없는 가상 머신을 도입하는 수준에 그쳤다. 하지만 이제 상황은 크게 달라졌다.

클라우드가 복잡해지고 다기능화 되어감에 따라 '클라우드'라는 모호하고 다양한 의미를 갖는 단어로는 이제 제대로 정의되지 않는다. 여전히 임대한 머신에 루트 로그인을 하지만 데이터를 쪼개고, 자르고, 저장하기 위한 수많은 서비스들이 있다. 프로그래머는 코드를 쓰고 설치할 필요가 없지만 가입(Subscribe)와 구성(Configure) 작업을 해야 한다.

아마존이 이러한 변화를 주도했다. 경쟁이 없지는 않았다. 마이크로소프트와 구글, IBM, 랙스페이스, 조이넷 등이 클라우드를 위한 스마트한 솔루션과 소프트웨어 패키지를 공급하고 있다. 그러나 아마존만큼 클라우드용 기능과 특징이 풍부한 서비스를 만든 회사는 단 한 곳도 없다.

아마존 웹 서비스는 클라우드가 비어 있다는 생각을 날려버리는 새로운 상품들을 줄기차게 내놓고 있다. 아마존이 클라우드 컴퓨팅을 어떻게 재정립하고 있는지 보여주는 새로운 서비스 10가지를 정리했다.

- 글루(Glue)
- FPGA
- 블록스(Blox)
- X-레이(X-Ray)
- 레코그니션(Rekognition)
- 아테나(Athena)
- 람다앳엣지(Lambda@Edge)
- 스노우볼엣지(Snowball Edge)
- 핀포인트(Pinpoint)
- 폴리(Polly)


글루(Glue)
데이터 사이언스를 많이 다뤄 본 사람들은 분석보다 데이터 수집이 더 큰 도전과제가 되는 경우가 많다는 점을 잘 안다. 심지어 데이터를 수집해 표준 데이터 형식으로 바꾸는 작업이 전체 부하의 90% 이상을 차지하기도 한다.

글루는 새로운 파이선(Python) 스크립트다. 자동으로 데이터 소스를 찾아 변환하고, 아마존 클라우드에 통합시킨다. 데이터 소스에 접근해, JSON, CSV, JDBC 등 표준 데이터를 수집한다. 데이터를 수집한 후, 스키마를 분석해 제안할 수도 있다.

파이선 계층이 흥미로운 이유는 파이선을 쓰거나 이해하지 않아도 이용할 수 있기 때문이다. 물론 맞춤화를 원할 경우 파이선 지식이 도움이 된다. 글루는 데이터 흐름을 유지하는데 필요한 작업들을 처리해준다. 사용자 대신 생각까지 해주는 것은 아니지만, 많은 세부 사항을 처리, 사용자가 큰 그림만 생각하도록 도와준다.

FPGA
FPGA(Field Programmable Gate Arrays)는 하드웨어 설계자의 오랜 '비밀 무기'였다. 누구나 소프트웨어를 통해 '전용 칩'을 구축할 수 있다. 커스텀 마스크를 구축할 필요가 없으며, 수많은 트랜지스터를 조밀한 실리콘으로 구현하는 과정을 고민하지 않게 해준다.

아마존의 새 AWS EC2 F1은 이런 FGPA의 '힘'을 클라우드로 가져오는 서비스다. EC2 F1 인스턴스는 고도로 구조화돼 있고, 반복적인 컴퓨팅 구현에 적합하다. EC2 F1으로 가상 칩에 대한 소프트웨어 서식을 만들어, 가장 짧은 시간에 답을 연산할 소수 게이트로 컴파일 할 수 있다. 유일하게 더 빠른 대안은 트랜지스터를 실제 실리콘으로 만드는 것 뿐이다.

누가 필요할까? 이를테면 매일 여러 차례 도일한 암호화 해시 함수를 연산하는 비트코인 채굴자들이 있다. 검색 속도를 높이기 위해 FPGA를 이용하는 비트코인 채굴자들이 많은 이유다. 또 유사하게 컴팩트하고 반복적인 알고리즘을 실리콘으로 구현해야 하는 사람들의 경우에도 적당할 수 있다. FPGA 인스턴스가 대여한 시스템으로 이를 즉시 처리할 수 있도록 해준다.

즉 쉽게 표준 명령 세트로 매핑할 수 없는 연산을 실행해야 하는 사람들이 누릴 수 있는 혜택이 가장 크다. 비트 수준의 함수, 기타 비표준 비산술 연산을 처리해야 하는 사람들을 예로 들 수 있다. 수열을 추가하기만 하는 경우, 표준 인스턴스가 더 나을 것이다. 그러나 EC2와 FGPA로 큰 효과를 보는 이들이 있다.

블록스(Blox)
도커(Docker)가 스택으로 통합되면서, 아마존은 언제 어느 때나 도커 인스턴스를 쉽게 실행할 수 있도록 만들려 시도하고 있다. 블록스는 인스턴스 클러스트를 처리, 더도 덜도 아닌 최적의 수만 실행되도록 만든다.

블록스는 이벤트 기반이다. 따라서 더 간단히 논리를 작성할 수 있다. 계속해서 머신에서 실행되는 것을 조사할 필요가 없다. 모든 보고를 보내오기 때문에, 최적의 수를 실행시킬 수 있다. 블록스는 또 오픈소스이기에 필요할 경우 아마존 클라우드 외부에서도 간편하게 재활용할 수 있다.

X-레이(X-Ray)
과거 인스턴스의 로드와 효율성을 모니터링하는 작업은 별개의 일이었다. 클러스터를 원활히 운영하려면, 모든 것을 추적할 코드를 개발해야 했다. 이에 많은 사람들이 써드파티 업체들이 제공하는 도구들을 도입했다. 이제 아마존도 X-레이로 이를 지원하기 시작했으며, X-레이는 스택을 모니터 하는 수 많은 써드파티 도구들과 경쟁하고 있다.

웹사이트가 데이터 요청을 받으면, X-레이가 머신과 서비스로 들어오는 데이터를 추적한다. 그런 후 여러 인스턴스와 지역, 구역의 데이터를 통합한다. 말썽을 부리는 서버나 꼼짝 않는 데이터베이스를 한 장소에서 제어할 수 있는 것이다. 단 한 페이지만으로 방대한 영토를 모니터 할 수 있다.

레코그니션(Rekognition)
아마존 레코그니션은 이미지 작업을 위한 새로운 AWS 도구다. 앱이 이미지를 저장하는 것 이상의 일을 해내도록 원할 수 있다. 레코그니션은 잘 알려져 있고 검증된 머신 비전과 신경망 알고리즘을 이용해 물체와 얼굴 이미지를 검색한다. 수 많은 시간을 학습에 투자할 필요를 없애준다. 아마존 클라우드에 저장된 이미지에 알고리즘을 지정하기만 하면 된다. 그러면 목록과 정확성을 알려주는 신뢰도 점수를 얻을 수 있다. 과금은 이미지 단위로 이뤄진다.

이 알고리즘은 얼굴 인식이 강점이다. 알고리즘은 사용자가 쉽게 식별할 수 있도록, 얼굴을 표시해 각각, 그리고 참조 이미지와 비교한다. 애플리케이션은 추후 처리를 위해 얼굴에 대한 메타 정보를 저장할 수 있다. 메타데이터에 이름을 지정하면, 앱이 해당 사림이 나타날 때마다 찾아준다.

식별이 다가 아니다. 웃고 있는 얼굴, 눈을 감고 있는 얼굴을 구별하는 재주도 갖췄다. 서비스가 곧바로 '답'을 전달하기 때문에 번거로움을 덜 수 있다. 기능에 따라서는 '클릭'당이 아닌 '이미지 확인'당 요금을 부과하기도 한다.

아테나(Athena)
아마존 S3는 항상 쉽게 이용할 수 있는 서비스다. 특정 데이터 구조가 필요한 경우, 이를 요청하면 S3가 원하는 요소를 찾아준다. 그런데 S3 이용을 더 간편하게 만드는 도구가 있다. 아테나다. S3 상에서 쿼리조차 실행해주기에 사용자가 루핑 코드를 쓸 필요가 없다. (그렇다. 사실 우리는 이제 루프를 쓰기에는 너무 게으르다.)

아테나는 SQL 신택스를 이용한다. 데이터베이스 관리자가 좋아할 만한 장점이다. 요금은 아테나가 답을 찾기 위해 조사한 데이터 단위로 이뤄진다. 하지만 데이터가 통제 밖으로 벗어나 비용이 감당할 수 없을 정도로 커지는 상황을 걱정하지 않아도 된다. 테라바이트 당 5달러이기 때문이다. 1바이트 요금이 500억분의 1센트라는 의미이다. 1센트짜리 사탕 가격이 아주 비싸게 생각될 정도이다.

람다앳엣지(Lambda@Edge)
콘텐츠 전송 네트워크(CDN)의 당초 아이디어는 파일 사본을 인터넷 종단에 가까운 방대한 콘텐츠 서버 어레이로 보내, CSS 파일과 JPG 이미지 같은 단순한 파일을 더 빠르게 전달한다는 것이다. 아마존은 Node.js 코드를 이들 종단에 보내 실행시키는 방법으로 이를 한 단계 더 발전시켰다.

람다앳엣지에서는 코드가 중앙 서버에 위치해 느리게 움직이지 않는다. 스스로를 복제한다. 따라서 네트워크 레이턴시(지연)에 영향을 받지 않으면서 밀리초 단위로 응답할 수 있게 된다.

아마존은 코드가 실행될 경우에만 요금을 부과한다. 별개 인스턴스를 구성하거나, 머신을 빌리지 않아도 서비스를 운영할 수 있다. 현재 테스트 단계지만 신청할 경우 이용할 수 있다.

스노우볼엣지(Snowball Edge)
물리적으로 데이터를 통제 및 관리하고자 하는 경우라면, 클라우드는 적절한 해답이 아니다. 클라우드에서는 하드 드라이브, DVD-ROM, 플래시 드라이브를 직접 통제하는 권한을 누릴 수 없다. 데이터가 정확히 어디에 위치해 있을까? 이를 회수하는 방법은 무엇일까? 백업 사본을 만드는 방법은 무엇일까? 클라우드는 이런 것들을 중시하는 사람들이 식은 땀을 흘리도록 만든다.

스노우볼엣지는 원하는 장소 어느 곳이든 배송될 수 있는, 데이터로 채워진 '상자'다. 심지어 E-잉크 디스플레이로 만들어진 '배송 라벨'도 있다. 아마존 클라우드에 저장된 방대한 데이터 사본을 원할 경우, 아마존은 이를 상자에 담아 원하는 장소로 배달해준다 (아마존 문서는 프라임 회원들이 무료 배송 서비스를 누릴 수 있는지 명확히 기술하지 않고 있다).

스노우볼엣지는 물리적인 니즈를 충족해준다. 클라우드 애플리케이션에서 수 많은 데이터 블록을 수령할 필요가 있는 상황이 있다. 그런데 인터넷에서 이런 블록을 다운로드 받는 시간이 너무 느리다.

다른 곳에서 처리할 엑사바이트급 데이터를 갖고 있는 상황에 대비해 ‘상자’ 이상의 대안도 마련돼 있다. GPS 추적이 가능한 18휠 트럭에 구축된 스노우모빌(Snowmobile)이 그것이다.

마지막으로 단순한 '저장 상자'가 아니라는 점을 언급할 필요가 있다. Node.js 코드를 실행할 수 있어, 재빨리 검색과 정렬, 분석 작업을 처리할 수 있다.

핀포인트(Pinpoint)
고객과 회원, 구독자(가입자)가 많다면, 이들에게 메시지를 전달해야 할 때가 있을 것이다. 앱을 업데이트했거나, 특별 프로모션을 제공하고 싶을 수 있다. 모든 사람에게 대량의 이메일을 발송 하는 방법도 있겠지만 이는 스팸으로 처리되는 지름길이다. 더 나은 방법은 메시지를 타깃화(표적화) 하는 것이다. 그리고 아마존의 새 핀포인트 도구는 이를 더 쉽게 처리할 수 있는 기반을 제공한다.

해야 할 일은 자신의 앱에 일부 코드를 통합하는 것뿐이다. 그러면 핀포인트가 준비 상황에 맞춰 메시지를 발송할 수 있도록 도움을 준다. 타깃화 된 캠페인을 마치면, 참여 정도에 대한 데이터를 수집해 보고한다. 그러면 이를 바탕으로 다음 캠페인을 계획할 수 있다.

폴리(Polly)
앱이 말을 할 수 있다. 최신 음성 합성 도구인 폴리를 이용하면 된다. 텍스트가 사운드로 바뀌어 나온다. 이를 이용하면 사물 인터넷 기기의 오디오 인터페이스를 향상시킬 수 있다.

* 피터 웨이너는 인포월드에 기고하는 전문 저술가다. 오픈소스, 소프트웨어, 자율주행 자동차 등 다양한 주제에 걸쳐 16권을 서적을 집필했다.