Les défis liés aux données ADAS vont bien au-delà de la capacité. Le système de fichiers moderne de Qumulo relève ces défis avec un NAS évolutif et une approche de cloud hybride.
Le développement de technologies pour la conduite autonome est actuellement le sujet le plus brûlant de l'industrie automobile. Des milliards de dollars et d'euros sont dépensés pour développer une nouvelle génération de capteurs et de technologies qui collectent, traitent, corrèlent et analysent les données des capteurs de différents types.
Les systèmes de conduite autonome récents présenté au CES 2019 sont équipés de quatre LIDAR à ondes courtes, cinq LIDAR à ondes longues, six radars à balayage électronique (ESR), quatre radars à courte portée, une caméra trifocale, une caméra de feux de circulation et d'autres capteurs. Même sans capteurs LIDAR, un véhicule de test typique avec des capteurs vidéo et RADAR actuels produit jusqu'à 30 To de données brutes par jour. Cela pose des problèmes pour l'infrastructure de centre de données typique en raison de la quantité incroyable de données. Compte tenu du parc de véhicules de test 10 fonctionnant environ X jours par an, la quantité de données 200 PB générées doit être stockée, traitée et gérée.
Les systèmes de fichiers évolutifs comme la solution de stockage ADAS de Qumulo peuvent aider à relever ces défis avec un système de fichiers très moderne qui s'adapte à plusieurs pétaoctets. Il fonctionne sur des plates-formes matérielles x64 standard de différents fournisseurs et dans le cloud, il est très facile à gérer et peut être intégré à n'importe quel environnement d'automatisation grâce à sa fonctionnalité complète. Fonctionnalité de l'API.
Les défis en matière de capacité de stockage nécessitent un NAS évolutif
Outre les énormes volumes de capacité nécessitant des solutions NAS évolutives, il y a des défis supplémentaires à considérer. Par example:
- L'ingestion de données est globale. En raison de la quantité de données collectées dans les véhicules de test, elles ne peuvent pas être téléchargées en ligne vers le centre de données d'une entreprise. Au lieu de cela, les données doivent être chargées localement dans le système de stockage lorsque la voiture est «à la maison». En général, les voitures testées roulent dans toutes les régions du monde, ce qui signifie que les données seront importées dans un système central de toutes les régions du monde.
- L'accès aux données est global. Le traitement des données comporte plusieurs étapes qui proviennent également de plusieurs régions. Par exemple, l’annotation de données est dans une large mesure un processus manuel. Des gens du monde entier le font. au moins la partie des données utilisée comme données d'apprentissage pour les algorithmes ML doit être annotée ou validée par des humains.
- L'accès aux données doit être rapide. Plusieurs étapes de processus nécessitent un accès à faible temps de latence à des données telles que le traitement vidéo, la reconnaissance d'objets et l'apprentissage par la machine.
- Accès haut débit. Les tests HIL (matériel dans la boucle) et SIL (logiciel dans la boucle) nécessitent un débit très élevé. Généralement, de nombreux flux sont lus en parallèle pour réduire les temps de simulation. Considérez, par exemple, que 80 flux parallèles de données vidéo avec 400 Mo/s par flux nécessitent un débit de 32 Go/s du système de stockage.
Ces exigences sont contradictoires dans une certaine mesure. Alors que pour l'acquisition globale et l'accès, le stockage d'objets dans le nuage semble être la solution idéale, l'accès rapide et large bande passante sont des attributs fournis par le stockage du système de fichiers local. Et bien que les simulations SIL puissent fonctionner complètement dans le cloud, HIL exige que des dispositifs physiques et des tests (par exemple les caméras vidéo, les capteurs LIDAR et RADAR) soient présents dans la validation. Ces appareils ne peuvent évidemment pas être «placés» dans le cloud et doivent accéder à des données locales à haut débit. Dans le même temps, les applications HIL et SIL nécessitent généralement un système de fichiers pour l’accès aux données.
Pour cette raison, j'ai vu des entreprises appliquer une approche hybride dans laquelle les données sont ingérées et prétraitées dans des centres de données locaux, puis téléchargées dans le cloud où elles sont stockées et indexées de manière centralisée (voir Figure 1).
Cette approche présente certains inconvénients. Le stockage de fichiers local est généralement développé de manière historique et n’est pas conçu pour gérer le volume de données. Il n’est pas non plus adapté à l’échange de données avec le cloud. Les API de gestion n'existent pas ou sont complètement différentes des instances de cloud.
Comment Qumulo résout les problèmes de données ADAS
Qumulo est le système de fichiers le plus moderne du marché. Il peut engendrer de nombreux nœuds, il peut être déployé sur diverses plates-formes matérielles, et il peut également fonctionner dans le cloud. La gestion du système, les API et les protocoles d'accès sont 100 % similaires sur site et dans le cloud. Qumulo fournit Terraform et les scripts CloudFormation (AWS) afin qu'un cluster de système de fichiers évolutif dans le cloud puisse être déployé en quelques minutes. Voyez dans notre vidéo ci-dessous comment Qumulo offre le choix et souplesse de déploiement:
Qumulo fournit également toutes les fonctionnalités d'entreprise dans le cloud que les utilisateurs attendent des systèmes modernes: multi-protocole accès (NFS, SMB, FTP, HTTP), multi-sites réplication, des instantanés, quotas, capacités analytiques pour le suivi et la planification, et autres. La figure 2 illustre une telle implémentation hybride pour le développement ADAS et la simulation HIL / SIL dans une Environnement AWS.
En déployant une telle solution hybride avec Qumulo, les frontières entre les systèmes de fichiers locaux et le cloud s'amenuisent. Les exigences mentionnées ci-dessus et contradictoires peuvent être satisfaites beaucoup plus facilement :
- Les fichiers peuvent être ingérés de n'importe où vers un système de fichiers Qumulo local
- Les fichiers peuvent être répliqués entre des centres de données et des instances de cloud
- Les simulations HIL peuvent fonctionner localement avec une latence faible et une bande passante élevée
- Les simulations SIL peuvent s'exécuter sur site ou dans le cloud (à l'aide d'instances de calcul cloud)
- Le stockage Qumulo peut être mis en place dans le nuage en quelques minutes. Cela le rend parfaitement adapté pour exécuter des charges de travail temporaires, telles que la formation à l'apprentissage automatique ou les simulations SIL.
- Les données peuvent être hiérarchisées des clusters Qumulo (sur site ou dans le cloud) à Seaux S3
- Le système de catalogue de Media Asset Management peut accéder à Qumulo via des API riches pour la gestion et l'automatisation de l'accès même aux données.
- La gestion d'une instance Qumulo est similaire sur site et dans le cloud. Cela réduit les coûts d'administration par rapport aux scénarios où différents solutions de stockage de données d'entreprise sont déployés sur site ou dans le cloud.
- Les systèmes de fichiers Qumulo se développent à la demande, que vous ajoutiez un nœud physique sur site ou une autre instance de calcul dans le cloud. Dans les deux cas, la capacité et les performances évoluent de manière linéaire.
- Les fonctionnalités de stockage de données d'entreprise sont similaires dans le cloud et sur site
- Les applications n'ont pas besoin d'être réécrites lorsqu'elles s'exécutent dans le cloud, car Qumulo fournit le même accès multiprotocole dans les deux environnements.
Apprendre encore plus
Les clients de Qumulo comme Hyundai MOBIS exploitent Qumulo pour analyser des centaines de téraoctets de données vidéo provenant de capteurs de véhicules utilisés pour la conception et la construction de voitures assistées et autonomes. Le cluster de Qumulo peut ingérer le flux constant de données générées par la machine sans gestion constante, ce qui représente un énorme avantage en termes de productivité. Pour voir comment les constructeurs automobiles comme Hyundai utilisent le stockage de fichiers cloud hybride de Qumulo pour le développement ADAS, lisez notre étude de cas de Hyundai Mobis.
