[기획] 자율주행 오픈소스 데이터셋 TOP 5 소개

자율주행 오픈소스 데이터셋 TOP 5 소개

-openup-

자율주행은 로봇에서 자율주행 트럭에 이르기까지 많은 사람의 생명을 구할 수 있는 잠재력을 가진 기술이며 이 기술을 연구하고 발전시키는 데 있어 데이터는 중요한 요소 중 하나이다. 특히 오픈 소스 랜드마크 데이터셋 및 자율주행용 데이터셋은 자율주행의 연구에 필요한 데이터에 대한 접근을 용이하게 하기에 자율주행 기술의 발전에 상당히 기여한다고 할 수 있다. 그래서 이번 글에서는 대표적인 5개의 오픈소스 자율주행 데이터셋을 소개한다.

1. BDD100K (UC버클리 대학이 공개한 자율주행용 거대 데이터셋)

BDD100K 데이터셋은 UC버클리 대학이 2018년에 공개한 자율주행 데이터셋으로, 이 데이터셋은 자율주행 기술의 발전에 사용할 수 있는 10만 개의 비디오로 구성되어있으며, 자율주행을 위한 컴퓨터 비전 및 기계 학습의 최첨단 기술을 조사하는 UC 버클리 대학의 DeepDrive 프로젝트의 일부이다.

BDD100K 자율주행 데이터셋의 각 비디오는 약 40초 길이이며 초당 30프레임에 화질은 720p이다. 연구원들에 따르면, 이 비디오들은 미국 전역의 거리에서 약 50,000번의 주행을 통해 수집되었다고 한다. 이 비디오들은 하루 중 다른 시간대와 다양한 날씨 조건에서 촬영되었다. 그렇기에 BDD100K는 자율주행을 위한 시스템에 다양한 환경과 주행 조건에 대처하는 방법을 학습시키는데 유용하다고 할 수 있다.

UC 버클리 팀에 따르면 BDD100K 자율주행 데이터셋은 약 100만 대의 자동차, 30만 개 이상의 도로 표지판, 13만 명의 보행자등을 포함하고 있다. 이 데이터 셋에 있는 비디오에는 GPS 위치(휴대폰), IMU(관성 측정 장치: 물체가 기울어진 각도를 측정하기 위한 장치) 데이터 및 1100시간에 걸친 타임스탬프(특정한 시간을 나타내거나 기록하는 문자열)도 포함되어 있다.

BDD100K는 다른 데이터셋 보다 많은 사람을 포함하고 있기 때문에 길거리에서 보행자를 감지하고 피하는 컴퓨터 비전 모델 트레이닝에 특히 적합하다. 보행자 감지에 특화된 데이터 세트인 CityPerson에 비해 BDD100K는 데이터 당 약 4배의 사람이 포함되어 있다.

BDD100K는 최초의 자율주행 오픈소스 데이터셋은 아니지만 2018년 기준으로 가장 큰 데이터셋이다. 그리고 2018년 기준으로 바이두가 2018년 3월에 공개한 아폴로스케이프 데이터셋에 비해 BDD100K는 800배 더 크고 Mapillary의 데이터셋보다 4,800배 더 크며 KITTI보다 8,000배 더 큰 데이터셋이며, 위에서 소개한 정보외의 BDD100K 데이터셋에 대한 추가적인 정보는 홈페이지(https://www.bdd100k.com/)를 통해 확인할 수 있다.

2. Google Landmarks Dataset v2 (구글에서 공개한 대규모 랜드마크 데이터셋)

Google Landmarks Dataset v2 데이터셋은 구글이 2019년에 공개한 랜드마크 인식 데이터셋으로 이 데이터 셋은 20만개 이상의 랜드마크와 그 랜드마크들이 담겨있는 500만개 이상의 이미지를 가지고 있으며, 이는 2018년에 구글이 공개하였던 Google-Landmarks 데이터셋에 비해 두 배의 이미지와 일곱 배의 랜드마크가 포함된 것이다.

이 데이터셋은 자유롭게 공유할 수 있고 매우 오랜기간 동안 저장될 수 있는 이미지를 얻기 위해 위키피디아 커먼즈를 통해 광범위한 지역에 있는 세계적으로 유명한 랜드마크와 많이 알려지지 않은 랜드마크의 이미지를 얻었으며 공공기관을 통해 시간의 경과에 따른 인스턴스 인식(특정한 객체의 인스턴스를 인식하는 것, 예: 나이아가라 폭포를 다른 폭포와 구별하는 것)을 테스트 하는데에 필요한 역사적인 사진을 포함하는 사진들을 얻었다.

또한, 이미지에 있는 랜드마크에 라벨을 붙이기 위해 랜드마크 라벨링을 각자 사는 지역에있는 랜드마크에 익숙할 전 세계의 취미 사진작가들의 크라우드 소싱을 통해 수행하였다.

위에서 소개한 정보외의 Google Landmarks Dataset v2 데이터셋에 대한 추가적인 정보는 웹페이지(https://storage.googleapis.com/gld-v2/web/index.html)를 통해 확인할 수 있다.

3. Mapillary Street-Level Sequences (장소인식 분야의 평생학습을 위한 데이터셋)

Mapillary Street-Level Sequences(약어: MSLS)는 도심지와 교외의 장소 인식 분야에서의 평생학습(AI가 새로운 데이터를 학습할 시 기존에 습득한 정보를 잊는 문제를 해결하고, 이전에 배운 지식과 새로운 지식을 모두 섭렵해 유연하게 다루는 기술)을 위한 2020년에 공개된 데이터셋이다.

MSLS 데이터셋은 많은 수의 짧은 이미지 시퀸스(영화의 프레임 처럼 연속된 이미지들)들에 160만개 이상의 이미지를 포함하고 있으며, 이 데이터셋은 6개 대륙 30개 도시에서의 다양한 계절, 날씨 및 일광조건, 다양한 카메라 유형 및 시점, 다양한 건물 및 주변 환경(예: 도로 공사 등), 한 장면에 존재하는 여러 가지의 움직이는 물체(예: 움직이는 보행자 및 자동차 등)를 다룬다.

또한, 각 이미지들에는 원시 GPS 좌표, 촬영시간, 나침반 각도, 낮이나 밤, 시야 방향(전면, 후면, 측면)을 나타내는 메타데이터 및 속성이 제공된다.

MSLS 데이터 셋의 데이터들은 9년 동안에 걸쳐 수집한 것이며, 이 데이터 셋에 들어갈 이미지를 선택할 때 연구자들은 지역의 다양성, 일관된 시야 방향 등을 고려하였다.

위의 고려사항들을 데이터셋에 들어갈 이미지를 선택하는데에 적용하기 위해 연구자들은 각각의 도시에서 셀의 크기가 500미터 제곱인 그리드를 만들고 그리드 안에 있는 각 셀들에 기록된 일련의 이미지 시퀸스를 추출하는것 등을 수행하였다. 위에서 소개한 정보외의 Mapillary Street-Level Sequences 데이터셋에 대한 추가적인 정보는 깃허브 레포지토리(https://github.com/mapillary/mapillary_sls)를 통해 확인할 수 있다.

4. nuScenes (다양한 형태의 데이터를 가지는 자율주행용 데이터셋)

Motional(이전의 nuTonomy) 팀이 개발했고 2019년에 공개된 자율 주행을 위한 대규모 공개 데이터셋이다. 이 데이터셋을 위해 교통량이 많고 운전 상황이 까다로운 것으로 유명한 두 도시 보스턴과 싱가포르에서 1000개의 운전 장면을 수집했다.

nuScenes 데이터셋은 전체 데이터셋에 3D 경계상자(물체의 위치를 알려주는 물체를 둘러싸는 직사각형)로 23개의 물체 클래스에 어노테이트(원 데이터에 주석을 표시하는 작업)를 했다. 또한 가시성, 활동성 및 자세와 같은 물체의 속성에도 어노테이트를 했다.

nuScenes 데이터셋은 약 140만 개의 카메라 이미지, 390만 개의 라이다 스위프(주어진 시선 방향으로 발사된 하나의 펄스에 대한 데이터), 140만 개의 레이더 스위프 및 4만개의 키프레임(전환의 시작점 및/또는 종료점을 정의하는 어떤것)에 있는 140만 개의 객체 경계상자를 가지고 있다.

nuScenes 데이터셋의 데이터는 카메라 6개, 라이다 1개, 레이더 5개, GPS 및 관성 측정 센서를 조합하여 수집했으며, Motional은 위에서 설명한 센서들을 설치한 르노 조에 2대를 사용하여 보스턴과 싱가포르를 주행하며 nuScenes 데이터셋을 위한 데이터를 수집했다.

Motional에 따르면 데이터를 얻기위해 주행한 지역들의 주행 경로는 복잡한 시나리오를 포착하기 위해 신중하게 선택되었다. 위에서 소개한 정보외의 nuScenes 데이터셋에 대한 추가적인 정보는 홈페이지(https://www.nuscenes.org/nuscenes)를 통해 확인할 수 있다.

5. Waymo Open Dataset (웨이모에서 공개한 자율주행용 데이터셋)

알파벳의 자회사인 웨이모가 2019년에 공개한 자율주행 연구 데이터셋인 웨이모 오픈 데이터세트는 비상업적 용도로 자율주행 관련 데이터를 활용하고자 하는 연구자들에게 무료로 제공된다. 웨이모에서 공개한 데이터셋은 다양한 도로와 주행 환경에서 다양한 센서 데이터로 수집한 데이터 세트로 구성되어 있다.

웨이모에 따르면, 웨이모는 25개 도시에서 약 1,000만 마일에 달하는 자율주행 테스트를 하며 데이터를 수집했다. 이렇게 생성한 풍부하고 다양한 실제 데이터는, 그동안 웨이모가 자율주행 기술과 혁신적인 모델 그리고 알고리즘을 개발하는 데 큰 도움을 주었다.

오픈 데이터세트에는 1,000개의 주행 세그먼트 데이터가 포함되어 있다. 각 세그먼트는 센서 당 10Hz(20만 프레임)로 수집된, 20초 동안의 주행 데이터로 구성되어 있다. 이러한 연속 주행 영상은 다른 도로에서 사용자의 행동을 추적하고 예측하는 모델을 개발하는 데 활용할 수 있다. 또한 각 세그먼트에는 5개의 고해상도 웨이모 라이더(LIDAR)와 5개의 전면 카메라 센서 데이터가 제공된다.

데이터세트는 지역과 시간, 날씨 등이 다른 다양한 주행 환경에서 수집된 자료들을 활용할 수 있게 되어 있다. 테스트 주행 구간은 피닉스, 커클랜드, 마운틴 뷰, 캘리포니아와 샌프란시스코 등으로, 도심과 교외 구간의 주행 기록이 포함되어 있다. 밤, 낮, 새벽, 황혼, 태양 빛이 강할 때와 비 내리는 날씨 등 시간과 날씨에 따른 다행한 주행 환경 데이터를 제공한다.

아울러 자동차, 보행자, 자전거, 표지만 4가지로 꼼꼼하게 구분해 표기한 라벨이 포함된 이미지와 라이다 프레임이 포함되어 있다. 전체 라벨은 120만 개의 2D 라벨과 약 1,200만 개의 3D 라벨을 포함하고 있다. 센서 데이터는 미드 레인지 라이더 1개, 단거리 라이더 4개, 전면과 측면에 장착된 카메라 5대, 동기화된 라이더와 카메라 데이터, 카메라 투영에 대한 라이더, 센서 교정 및 차량 자세 자료로 구성되어 있다.

웨이모에 따르면 자신들이 공개한 데이터세트가 2D 및 3D 인식 기능을 향상하고, 장면 이해와 행동 예측 영역의 발전에 도움이 될 수 있다고 한다. 특히 데이터셋를 활용하는 연구 커뮤니티가 자율주행 차량의 성능을 향상시키는 것은 물론, 컴퓨터 비전이나 로봇 공학과 같은 다른 관련 분야에도 활용될 수 있을 것이라고 한다. 위에서 소개한 정보외의 웨이모 오픈 데이터셋에 대한 추가적인 정보는 홈페이지(waymo.com/open)를 방문하면 확인할 수 있다.

※ 참고자료

 1) https://analyticsindiamag.com/top-5-autonomous-driving-dataset-open-sourced-at-cvpr-2020/
 2) https://www.therobotreport.com/uc-berkeley-opens-self-driving-dataset-bdd100k/
 3) https://arxiv.org/abs/1805.04687
 4) https://ai.googleblog.com/2019/05/announcing-google-landmarks-v2-improved.html
 5) https://venturebeat.com/ai/google-releases-ai-training-data-set-with-5-million-images-and-200000-landmarks/
 6) https://openaccess.thecvf.com/content_CVPR_2020/papers/Warburg_Mapillary_Street-Level_Sequences_A_Dataset_for_Lifelong_Place_Recognition_CVPR_2020_paper.pdf
 7) http://www.aitimes.com/news/articleView.html?idxno=136714
 8) https://www.mapillary.com/dataset/places
 9) https://www.nuscenes.org/nuscenes
 10) https://www.ciokorea.com/news/129266
 11) https://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Scalability_in_Perception_for_Autonomous_Driving_Waymo_Open_Dataset_CVPR_2020_paper.pdf