Azure Native Qumulo 이제 EU, 영국 및 캐나다에서 사용 가능 – 상세 보기

현대모비스가 자율주행차용 ADAS 데이터를 저장, 관리 및 분석하기 위해 Qumulo를 사용하는 이유

작성자 :
ADAS 데이터 문제는 용량을 훨씬 능가합니다. Qumulo의 최신 파일 시스템은 확장형 NAS와 하이브리드 클라우드 접근 방식을 통해 이러한 문제를 해결합니다.

ADAS 데이터 문제는 용량을 훨씬 능가합니다. Qumulo의 최신 파일 시스템은 확장형 NAS와 하이브리드 클라우드 접근 방식을 통해 이러한 문제를 해결합니다. 

자율주행 기술의 개발은 현재 자동차 산업에서 가장 화두인 화두입니다. 다양한 유형의 센서 데이터를 수집, 처리, 상호 연관 및 분석하는 차세대 센서 및 기술을 개발하는 데 수십억 달러와 유로가 사용되고 있습니다.

최근 자율주행 시스템 CES 2019에서 선보인 30개의 단파 LIDAR, XNUMX개의 장파 LIDAR, XNUMX개의 ESR(Electronically Scanning Radar), XNUMX개의 단거리 레이더, XNUMX중 초점 카메라, XNUMX개의 신호등 카메라 및 기타 센서를 갖추고 있습니다. LIDAR 센서가 없어도 현재 비디오 및 RADAR 센서가 있는 일반적인 테스트 차량은 최대 XNUMXTB의 원시 데이터를 생성합니다. 하루에. 이로 인해 엄청난 양의 데이터로 인해 일반적인 데이터 센터 인프라에 문제가 발생합니다. 10년에 약 200일 동안 운행되는 60대의 테스트 차량을 고려하면 생성되는 XNUMXPB의 데이터 양을 저장, 처리 및 관리해야 합니다.

Qumulo의 ADAS 스토리지 솔루션과 같은 확장형 파일 시스템은 수 페타바이트까지 확장되는 최신 파일 시스템을 통해 이러한 문제를 해결하는 데 도움이 될 수 있습니다. 다양한 공급업체의 표준 x64 하드웨어 플랫폼과 클라우드에서 실행되며 관리가 매우 쉽고 완벽한 기능으로 인해 모든 자동화 환경에 통합될 수 있습니다. API 기능.

스토리지 용량 문제에는 스케일 아웃 NAS가 필요합니다.

현대에 필요한 막대한 용량 외에도 스케일 아웃 NAS 솔루션, 고려해야 할 추가 과제가 있습니다. 예를 들어:

  • 데이터 수집은 전역입니다. 테스트 차량에서 수집되는 데이터의 양으로 인해 회사 데이터 센터에 온라인으로 업로드할 수 없습니다. 대신 차가 "집에" 있을 때 로컬로 데이터를 스토리지 시스템에 업로드해야 합니다. 일반적으로 테스트 차량은 전 세계 모든 지역에서 주행하므로 데이터가 전 세계의 중앙 시스템으로 수집됩니다.
  • 데이터 액세스는 전역적입니다. 여러 지역에서 발생하는 데이터 처리에는 여러 단계가 있습니다. 예를 들어, 데이터 주석은 대부분 수동 프로세스입니다. 전 세계의 사람들이 이것을 수행하고 있습니다. ML 알고리즘의 훈련 데이터로 사용되는 데이터의 적어도 일부는 사람이 주석을 달거나 유효성을 검사해야 합니다.
  • 데이터 액세스가 빨라야 합니다. 여러 프로세스 단계에서는 비디오 처리, 객체 인식 및 기계 학습과 같은 데이터에 대한 짧은 대기 시간 액세스가 필요합니다.
  • 고대역폭 액세스. HIL(hardware in the loop) 및 SIL(software in the loop) 테스트에는 매우 높은 처리량이 필요합니다. 일반적으로 시뮬레이션 시간을 줄이기 위해 많은 스트림을 병렬로 읽습니다. 예를 들어 스트림당 80MB/s인 비디오 데이터의 병렬 스트림 400개에는 스토리지 시스템에서 32GB/s의 처리량이 필요합니다.

이러한 요구 사항은 어느 정도 모순됩니다. 글로벌 수집 ​​및 액세스의 경우 클라우드의 개체 스토리지가 이상적인 솔루션인 것처럼 보이지만 빠르고 높은 대역폭 액세스는 로컬 파일 시스템 스토리지에서 제공하는 속성입니다. 그리고 SIL 시뮬레이션은 클라우드에서 완전히 실행할 수 있지만 HIL에서는 테스트 및 테스트를 수행하는 물리적 장치(예: 비디오 카메라, LIDAR 및 RADAR 센서)가 검증에 있어야 합니다. 이러한 장치는 분명히 클라우드에 "배치"할 수 없으며 높은 처리량으로 로컬 데이터에 액세스해야 합니다. 동시에 HIL 및 SIL 애플리케이션에는 일반적으로 데이터 액세스를 위한 파일 시스템이 필요합니다.

이러한 이유로 저는 데이터가 로컬 데이터 센터에서 수집 및 사전 처리된 다음 중앙에서 저장 및 인덱싱되는 클라우드에 업로드되는 하이브리드 접근 방식을 실행하는 회사를 보았습니다(그림 1 참조).

이 접근 방식에는 몇 가지 단점이 있습니다. 로컬 파일 스토리지는 일반적으로 역사적으로 증가했으며 데이터 볼륨을 처리하도록 만들어지지 않았으며 클라우드와 데이터를 교환하는 데 적합하지도 않습니다. 관리용 API는 존재하지 않거나 클라우드 인스턴스와 완전히 다릅니다.

Qumulo가 ADAS 데이터 문제를 해결하는 방법

Qumulo는 시장에서 가장 현대적인 파일 시스템입니다. 많은 노드를 생성할 수 있습니다. 다양한 하드웨어 플랫폼에 배포되며 클라우드에서도 실행할 수 있습니다.. 시스템 관리, API 및 액세스 프로토콜은 온프레미스 및 클라우드에서 100% 유사합니다. Qumulo 제공 테라 폼 클라우드의 스케일 아웃 파일 시스템 클러스터를 몇 분 안에 배포할 수 있도록 하는 CloudFormation 스크립트(AWS). 아래 비디오에서 Qumulo가 선택권을 제공하는 방법과 배포 유연성:

또한 Qumulo는 사용자가 최신 시스템에서 기대하는 모든 엔터프라이즈 기능을 클라우드에서 제공합니다. 다중 프로토콜 액세스(NFS, SMB, FTP, HTTP), 다중 사이트 복제, 스냅 샷, 할당량, 분석 능력 모니터링 및 계획 및 기타. 그림 2는 ADAS 개발 및 HIL/SIL 시뮬레이션을 위한 하이브리드 구현을 보여줍니다. AWS 환경.

Qumulo와 함께 이러한 하이브리드 솔루션을 배포함으로써 로컬 파일 시스템과 클라우드 간의 경계가 줄어들고 있습니다. 위에서 언급하고 모순되는 요구 사항을 훨씬 쉽게 충족할 수 있습니다.

  • 파일은 어디에서나 로컬 Qumulo 파일 시스템으로 수집될 수 있습니다.
  • 데이터 센터와 클라우드 인스턴스 간에 파일 복제 가능
  • HIL 시뮬레이션은 짧은 대기 시간과 높은 대역폭으로 로컬에서 실행할 수 있습니다.
  • SIL 시뮬레이션 실행 가능 온프레미스 또는 클라우드 (클라우드 컴퓨팅 인스턴스 사용)
  • Qumulo 스토리지는 몇 분 안에 클라우드에서 회전할 수 있습니다. 따라서 기계 학습 또는 SIL 시뮬레이션을 위한 교육과 같은 임시 워크로드를 실행하는 데 완벽하게 적합합니다.
  • 데이터 계층화 가능 Qumulo 클러스터(온프레미스 또는 클라우드)에서 S3 버킷
  • 미디어 자산 관리 카탈로그 시스템은 관리를 위한 풍부한 API와 데이터 액세스의 자동화를 통해 Qumulo에 액세스할 수 있습니다.
  • Qumulo 인스턴스의 관리는 온프레미스와 클라우드에서 비슷합니다. 이렇게 하면 서로 다른 시나리오에 비해 관리 비용이 절감됩니다. 엔터프라이즈 데이터 스토리지 솔루션 온프레미스 또는 클라우드에 배포됩니다.
  • Qumulo 파일 시스템은 온프레미스에 물리적 노드를 추가하든 클라우드에 다른 컴퓨팅 인스턴스를 추가하든 필요에 따라 확장됩니다. 두 경우 모두 용량과 성능이 선형적으로 확장됩니다.
  • 엔터프라이즈 데이터 스토리지 기능은 클라우드와 온프레미스에서 유사합니다.
  • Qumulo는 두 환경 모두에서 동일한 다중 프로토콜 액세스를 제공하므로 클라우드에서 실행할 때 응용 프로그램을 다시 작성할 필요가 없습니다.
상세 정보

현대 모비스와 같은 Qumulo 고객은 보조 및 자율 자동차 설계 및 제작에 사용되는 차량 센서에서 수집된 수백 테라바이트의 비디오 데이터를 분석하기 위해 Qumulo를 활용합니다. Qumulo의 클러스터는 지속적인 관리 없이 기계 생성 데이터의 꾸준한 스트림을 수집할 수 있어 생산성이 크게 향상됩니다. 현대와 같은 자동차 회사가 ADAS 개발을 위해 Qumulo의 하이브리드 클라우드 파일 스토리지를 어떻게 사용하는지 알아보려면 다음을 읽어보세요. 현대모비스의 사례 연구.

참고자료

관련 게시물

위쪽으로 스크롤