Die Herausforderungen von ADAS-Daten gehen weit über die Kapazität hinaus. Das moderne Dateisystem von Qumulo begegnet diesen Herausforderungen mit Scale-out-NAS und einem hybriden Cloud-Ansatz.
Die Entwicklung von Technologien für das autonome Fahren ist derzeit das heißeste Thema in der Automobilindustrie. Milliarden von Dollar und Euro werden ausgegeben, um eine neue Generation von Sensoren und Technologien zu entwickeln, die Sensordaten unterschiedlicher Art sammeln, verarbeiten, korrelieren und analysieren.
Neuere autonome Fahrsysteme auf der CES 2019 gezeigt sind mit vier Kurzwellen-LIDARs, fünf Langwellen-LIDARs, sechs elektronisch scannenden Radaren (ESR), vier Nahbereichsradaren, einer Trifokalkamera, einer Ampelkamera und weiteren Sensoren ausgestattet. Auch ohne LIDAR-Sensoren produziert ein typisches Testfahrzeug mit aktuellen Video- und RADAR-Sensoren bis zu 30 TB Rohdaten pro Tag. Dies stellt eine typische Rechenzentrumsinfrastruktur aufgrund der unglaublichen Datenmenge vor Herausforderungen. Bei einer Flotte von 10 Testfahrzeugen, die etwa 200 Tage im Jahr im Einsatz sind, muss die anfallende Datenmenge von 60 PB gespeichert, verarbeitet und verwaltet werden.
Scale-out-Dateisysteme wie die ADAS-Speicherlösung von Qumulo können dabei helfen, diese Herausforderungen mit einem sehr modernen Dateisystem zu bewältigen, das auf viele Petabyte skaliert werden kann. Es läuft auf Standard-x64-Hardwareplattformen verschiedener Hersteller und in der Cloud, ist sehr einfach zu verwalten und kann aufgrund seiner Vollständigkeit in jede Automatisierungsumgebung integriert werden API-Funktionalität.
Herausforderungen bei der Speicherkapazität erfordern Scale-out-NAS
Neben dem enormen Kapazitätsbedarf moderner Scale-out-NAS-Lösungen, sind zusätzliche Herausforderungen zu berücksichtigen. Beispielsweise:
- Die Datenaufnahme ist global. Aufgrund der Menge an Daten, die in Testfahrzeugen gesammelt werden, können diese nicht online in das Rechenzentrum eines Unternehmens hochgeladen werden. Stattdessen müssen die Daten lokal in das Speichersystem geladen werden, wenn das Auto „zu Hause“ ist. Üblicherweise fahren Testwagen in allen Regionen der Welt, was bedeutet, dass Daten aus allen Teilen der Welt in ein zentrales System eingespeist werden.
- Der Datenzugriff ist global. Es gibt mehrere Schritte bei der Datenverarbeitung, die auch aus mehreren Regionen erfolgen. Beispielsweise ist die Datenannotation zu einem großen Teil ein manueller Prozess. Menschen aus der ganzen Welt führen dies durch; zumindest der Teil der Daten, der als Trainingsdaten für ML-Algorithmen verwendet wird, muss von Menschen kommentiert oder validiert werden.
- Der Datenzugriff muss schnell sein. Mehrere Prozessschritte erfordern einen Zugriff mit geringer Latenz auf Daten wie Videoverarbeitung, Objekterkennung und maschinelles Lernen.
- Zugang mit hoher Bandbreite. HIL- (Hardware-in-the-Loop) und SIL- (Software-in-the-Loop) Tests erfordern einen sehr hohen Durchsatz. Typischerweise werden viele Streams parallel gelesen, um Simulationszeiten zu reduzieren. Bedenken Sie beispielsweise, dass 80 parallele Streams von Videodaten mit 400 MB/s pro Stream einen Durchsatz von 32 GB/s vom Speichersystem erfordern.
Diese Anforderungen sind teilweise widersprüchlich. Während für die globale Aufnahme und den Zugriff die Objektspeicherung in der Cloud die ideale Lösung zu sein scheint, sind ein schneller Zugriff mit hoher Bandbreite Attribute, die der lokale Dateisystemspeicher bietet. Und während SIL-Simulationen vollständig in der Cloud laufen können, erfordert HIL, dass physische Geräte und Tests (also zum Beispiel die Videokameras, LIDAR- und RADAR-Sensoren) in der Validierung vorhanden sind. Diese Geräte können natürlich nicht in der Cloud „platziert“ werden und müssen mit hohem Durchsatz auf lokale Daten zugreifen. Gleichzeitig benötigen HIL- und SIL-Anwendungen typischerweise ein Dateisystem für den Datenzugriff.
Aus diesem Grund habe ich Unternehmen gesehen, die einen hybriden Ansatz verfolgen, bei dem Daten in lokalen Rechenzentren aufgenommen und vorverarbeitet und dann in die Cloud hochgeladen werden, wo sie zentral gespeichert und indiziert werden (siehe Abbildung 1).
Dieser Ansatz hat einige Nachteile. Der lokale Dateispeicher ist in der Regel historisch gewachsen und weder für das Datenvolumen noch für den Datenaustausch mit der Cloud geeignet. APIs für die Verwaltung existieren nicht oder unterscheiden sich vollständig von den Cloud-Instanzen.
Wie Qumulo die Herausforderungen der ADAS-Daten angeht
Qumulo ist das modernste Dateisystem auf dem Markt. Es kann viele Knoten hervorbringen, es kann sein auf verschiedenen Hardwareplattformen bereitgestellt und kann auch in der Cloud ausgeführt werden. Systemmanagement, APIs und Zugriffsprotokolle sind On-Premise und in der Cloud zu 100 Prozent ähnlich. Qumulo bietet Terraform und CloudFormation-Skripte (AWS), sodass ein Scale-out-Dateisystem-Cluster in der Cloud in wenigen Minuten bereitgestellt werden kann. Sehen Sie in unserem Video unten, wie Qumulo Wahlmöglichkeiten bietet und Bereitstellungsflexibilität:
Qumulo bietet auch alle Enterprise-Funktionen in der Cloud, die Benutzer von modernen Systemen erwarten: Multiprotokoll Zugriff (NFS, SMB, FTP, HTTP), Multi-Site Replikation, Schnappschüsse, Quoten, analytische Fähigkeiten für Überwachung und Planung und andere. Abbildung 2 zeigt eine solche Hybridimplementierung für die ADAS-Entwicklung und HIL/SIL-Simulation in einem AWS-Umgebung.
Durch den Einsatz einer solchen Hybridlösung mit Qumulo werden die Grenzen zwischen lokalen Dateisystemen und der Cloud immer kleiner. Die oben genannten und widersprüchlichen Anforderungen können viel einfacher erfüllt werden:
- Dateien können von überall in ein lokales Qumulo-Dateisystem aufgenommen werden
- Dateien können zwischen Rechenzentren und Cloud-Instanzen repliziert werden
- HIL-Simulationen können lokal mit geringer Latenz und hoher Bandbreite ausgeführt werden
- SIL-Simulationen können ausgeführt werden On-Premise oder in der Cloud (unter Verwendung von Cloud-Compute-Instanzen)
- Der Qumulo-Speicher kann in wenigen Minuten in der Cloud hochgefahren werden. Dadurch ist es perfekt geeignet, um temporäre Workloads auszuführen, wie das Training für maschinelles Lernen oder SIL-Simulationen
- Daten können abgestuft werden von Qumulo-Clustern (lokal oder in der Cloud) zu S3 Eimer
- Das Katalogsystem von Media Asset Management kann über umfangreiche APIs zur Verwaltung und Automatisierung sogar des Datenzugriffs auf Qumulo zugreifen.
- Die Verwaltung einer Qumulo-Instanz erfolgt lokal und in der Cloud ähnlich. Dies senkt die Verwaltungskosten im Vergleich zu Szenarien mit unterschiedlichen Datenspeicherlösungen für Unternehmen werden lokal oder in der Cloud bereitgestellt.
- Qumulo-Dateisysteme wachsen bei Bedarf, unabhängig davon, ob Sie einen physischen Knoten vor Ort oder eine andere Recheninstanz in der Cloud hinzufügen. In beiden Fällen skalieren Kapazität und Leistung linear.
- Die Speicherfunktionen für Unternehmensdaten sind in der Cloud und lokal ähnlich
- Anwendungen müssen nicht neu geschrieben werden, wenn sie in der Cloud ausgeführt werden, da Qumulo in beiden Umgebungen denselben Multiprotokollzugriff bietet.
Mehr erfahren
Qumulo-Kunden wie Hyundai MOBIS nutzen Qumulo für die Analyse von Hunderten Terabytes an Videodaten von Fahrzeugsensoren, die für die Entwicklung und den Bau unterstützter und autonomer Autos verwendet werden. Der Qumulo-Cluster kann den stetigen Strom maschinengenerierter Daten ohne ständige Verwaltung aufnehmen – ein enormer Produktivitätsvorteil. Um zu sehen, wie Automobilunternehmen wie Hyundai den Hybrid-Cloud-Dateispeicher von Qumulo für die ADAS-Entwicklung nutzen, lesen Sie unsere Fallstudie von Hyundai Mobis.
