ADASデータの課題は、容量をはるかに超えています。 Qumuloの最新のファイルシステムは、スケールアウトNASとハイブリッドクラウドアプローチでこれらの課題に対処します。
自動運転技術の開発は、現在、自動車業界で最も注目されているトピックです。 さまざまなタイプのセンサーデータを収集、処理、相関、分析する新世代のセンサーとテクノロジーの開発に、数十億ドルとユーロが費やされています。
最近の自動運転システム CES2019で展示 30台の短波LIDAR、XNUMX台の長波LIDAR、XNUMX台の電子走査レーダー（ESR）、XNUMX台の短距離レーダー、XNUMX焦点カメラ、XNUMX台の信号機カメラおよびその他のセンサーが装備されています。 LIDARセンサーがなくても、現在のビデオおよびRADARセンサーを備えた一般的なテスト車両は最大XNUMXTBの生データを生成します 1日当たり。 これは、信じられないほどの量のデータのために、典型的なデータセンターインフラストラクチャに課題を引き起こします。 年間約10日稼働する200台のテストカーのフリートを考えると、生成される60 PBのデータ量を保存、処理、および管理する必要があります。
Qumulo の ADAS ストレージ ソリューションのようなスケールアウト ファイル システムは、数ペタバイトまで拡張できる最新のファイル システムでこれらの課題に対処するのに役立ちます。 さまざまなベンダーの標準 x64 ハードウェア プラットフォーム上でクラウド上で実行され、管理が非常に簡単で、完全な機能を備えているため、あらゆる自動化環境に統合できます。 API機能.
ストレージ容量の課題には、スケールアウトNASが必要です
現代を必要とする膨大な容量に加えて スケールアウトNASソリューション、考慮すべき追加の課題があります。 例えば：
- データの取り込みはグローバルです。 テスト車両で収集されるデータの量が多いため、企業のデータセンターにオンラインでアップロードすることはできません。 代わりに、車が「家にいる」ときに、データをローカルのストレージシステムにアップロードする必要があります。 通常、テストカーは世界のすべての地域で運転します。つまり、データは世界のすべての地域から中央システムに取り込まれます。
- データアクセスはグローバルです。 データ処理にはいくつかのステップがあり、複数のリージョンからも発生します。 たとえば、データ注釈は、大部分が手動プロセスです。 世界中の人々がこれを実行しています。 MLアルゴリズムのトレーニングデータとして使用されるデータの少なくとも一部は、人間が注釈を付けるか検証する必要があります。
- データアクセスは高速でなければなりません。 いくつかのプロセスステップでは、ビデオ処理、オブジェクト認識、機械学習などのデータへの低遅延アクセスが必要です。
- 高帯域幅アクセス。 HIL（ループ内のハードウェア）およびSIL（ループ内のソフトウェア）テストには、非常に高いスループットが必要です。 通常、シミュレーション時間を短縮するために、多くのストリームが並行して読み取られます。 たとえば、ストリームあたり80 MB / sのビデオデータの400の並列ストリームには、ストレージシステムからの32 GB / sのスループットが必要であるとします。
これらの要件はある程度矛盾しています。 グローバルな取り込みとアクセスの場合、クラウド内のオブジェクトストレージが理想的なソリューションのようですが、高速で高帯域幅のアクセスは、ローカルファイルシステムストレージによって提供される属性です。 また、SILシミュレーションはクラウドで完全に実行できますが、HILでは、検証に物理デバイスとテスト（ビデオカメラ、LIDAR、RADARセンサーなど）が存在する必要があります。 これらのデバイスは明らかにクラウドに「配置」することはできず、高スループットでローカルデータにアクセスする必要があります。 同時に、HILおよびSILアプリケーションは通常、データアクセス用のファイルシステムを必要とします。
そのため、ローカルデータセンターでデータを取り込んで前処理し、クラウドにアップロードして一元的に保存し、インデックスを作成するハイブリッドアプローチを実行している企業を見てきました（図1を参照）。
このアプローチにはいくつかの欠点があります。 ローカルファイルストレージは通常、歴史的に拡張されており、大量のデータを処理するようには作られていません。また、クラウドとデータを交換するのにも適していません。 管理用のAPIが存在しないか、クラウドインスタンスとは完全に異なります。
QumuloがADASデータの課題にどのように対処するか
Qumuloは、市場で最も最新のファイルシステムです。 それは多くのノードを生み出すことができます、それはすることができます さまざまなハードウェアプラットフォームにデプロイされ、クラウドでも実行できます。 システム管理、API、およびアクセスプロトコルは、オンプレミスとクラウドで100％類似しています。 Qumuloは提供します テラフォーム クラウド内のスケールアウトファイルシステムクラスターを数分でデプロイできるようにするCloudFormationスクリプト（AWS）。 以下のビデオで、Qumuloがどのように選択肢を提供し、 展開の柔軟性:
Qumuloは、ユーザーが最新のシステムに期待するクラウドのすべてのエンタープライズ機能も提供します。 マルチプロトコル アクセス（NFS、SMB、FTP、HTTP）、マルチサイト レプリケーション, スナップショット, クォータ, 分析機能 監視と計画、およびその他のために。 図2は、ADAS開発とHIL / SILシミュレーションのハイブリッド実装を示しています。 AWS環境.
このようなハイブリッドソリューションをQumuloに導入することで、ローカルファイルシステムとクラウドの境界が狭まります。 上記の矛盾する要件は、はるかに簡単に満たすことができます。
- ファイルはどこからでもローカルのQumuloファイルシステムに取り込むことができます
- データセンターとクラウドインスタンス間でファイルを複製できます
- HILシミュレーションは、低遅延と高帯域幅でローカルに実行できます
- SILシミュレーションを実行できます オンプレミスまたはクラウド （クラウドコンピューティングインスタンスを使用）
- Qumuloストレージは数分でクラウドにスピンアップできます。 これにより、機械学習やSILシミュレーションのトレーニングなど、一時的なワークロードを実行するのに最適です。
- データを階層化できます Qumuloクラスター（オンプレミスまたはクラウド内）から S3バケット
- Media Asset Managementカタログシステムは、管理のための豊富なAPIを介してQumuloにアクセスでき、データアクセスも自動化できます。
- Qumuloインスタンスの管理は、オンプレミスとクラウドで同様です。 これにより、異なるシナリオと比較して管理コストが削減されます エンタープライズデータストレージソリューション オンプレミスまたはクラウドにデプロイされます。
- Qumuloファイルシステムは、オンプレミスの物理ノードを追加する場合でも、クラウド内の別のコンピューティングインスタンスを追加する場合でも、オンデマンドで拡張できます。 どちらの場合も、容量とパフォーマンスは直線的に増加します。
- エンタープライズデータストレージ機能は、クラウドとオンプレミスで類似しています
- Qumuloは両方の環境で同じマルチプロトコルアクセスを提供するため、アプリケーションをクラウドで実行するときに書き直す必要はありません。
さらに詳しく
ヒュンダイ MOBIS などの Qumulo の顧客は、支援車や自動運転車の設計と製造に使用される車両センサーからの数百テラバイトのビデオ データの分析に Qumulo を活用しています。 Qumulo のクラスターは、継続的な管理を行わずに、機械で生成されたデータの安定したストリームを取り込むことができ、生産性が大幅に向上します。 ヒュンダイのような自動車会社が Qumulo のハイブリッド クラウド ファイル ストレージを ADAS 開発にどのように使用しているかについては、弊社の記事をご覧ください。 現代モービスのケーススタディ.
