Qumulo LogoQumulo Logo

Blog

Herausforderungen bei der Konzeption von Datenplattformen für agentenbasierte KI-Systeme

Agentische KI markiert einen Wandel von statischen, modellzentrierten Arbeitsabläufen hin zu Systemen mit kontinuierlichem Schlussfolgern, die ohne ständige menschliche Überwachung planen, handeln und sich anpassen. Während LLMs mit RAG zum Zeitpunkt der Abfrage aktuelle Informationen abrufen können, stellen agentische Systeme erhöhte Anforderungen an Echtzeitdaten, sodass das Abrufen und die Kontextaanpassung kontinuierlich und mitten im Schlussfolgerungsprozess erfolgen. Dies führt zu einer grundlegenden datentechnischen Herausforderung: Mehrere Agenten, von denen jeder seine eigenen Aufgaben hat, müssen auf denselben sich ständig weiterentwickelnden Kontext zugreifen und diesen gemeinsam nutzen, ohne sich gegenseitig in die Quere zu kommen. Andernfalls zerfällt der Schlussfolgerungsprozess, die Ergebnisse weichen voneinander ab und nachgelagerte Arbeitsabläufe scheitern.

Agentische KI ersetzt einmalige Eingabeaufforderungen durch kontinuierliches Schlussfolgern: Agenten nehmen ihre Umgebung wahr, greifen auf relevante Zusammenhänge zurück, planen, handeln und bewerten ihre Handlungen iterativ, um Belohnungsfunktionen zu maximieren. Damit dies in großem Maßstab funktioniert, muss der kontinuierliche Datenkreislauf im Gleichschritt ablaufen: Neue Signale werden erfasst, kuratiert und versioniert, indiziert (einschließlich Embeddings) und dann jedes Mal, wenn ein Agent denkt, als unveränderliche Ausschnitte abgerufen. Die Datenkreisläufe werden durch riesige Mengen unstrukturierter Daten angetrieben, darunter Text, Bilder, Videos und Sensorströme. Diese Datensätze sind zunehmend geografisch verteilt über Clouds, Rechenzentren und Edge-Umgebungen. Aktionen und Ergebnisse werden mit Herkunftsangaben als Checkpoints gespeichert und in die Kuratierung zurückgeführt, sodass der nächste Schlussfolgerungsschritt von einem konsistenten, überprüfbaren Zustand ausgeht. In Abläufen mit einem einzelnen Agenten handelt es sich hierbei um ein einfaches Abruf- und Kontextmuster; in Multi-Agenten-Systemen erfordert dies persistente Checkpoints, an Snapshots gebundene Lesevorgänge, gleichzeitiges Abrufen, richtlinienorientierten Zugriff und Nachverfolgbarkeit. Ohne diese enge Kopplung der beiden Schleifen bleiben Agenten bei veraltetem Kontext stecken, kollidieren bei sich ändernden Daten und scheitern an der Reproduzierbarkeit, wodurch die Datenarchitektur zu einem entscheidenden Faktor dafür wird, ob diese KI-Systeme der nächsten Generation Unternehmensmaßstäbe erreichen können.

Wie Andrew Ng sagt: „Der Engpass bei vielen Anwendungen besteht darin, die richtigen Daten für die Software zu beschaffen“, und wie der CEO von Snowflake treffend formuliert: „Bei der heutigen KI geht es nicht um die Modelle, sondern um die Datenschicht, die sie versorgt.“

Zentrale Herausforderungen

  1. Verwaltung unstrukturierter Daten über isolierte Infrastrukturen hinweg
    Die Multi-Agenten-Modelle von Agentic AI erfordern einen nahtlosen Zugriff auf vielfältige Datensätze. Wenn Informationen – wie beispielsweise Kundendaten, IoT-Telemetriedaten oder Betriebsregeln – in Silos gespeichert sind, entstehen Komplexität in den Pipelines und Leistungsengpässe. GPUs verlieren an Effizienz, wenn der Datenzugriff verzögert ist, was aufgrund der geringeren Leistung der KI-Anwendungen zu höheren Rechenkosten führt. Um Agilität zu gewährleisten, müssen relevante Datensätze für das Vortraining, die Feinabstimmung und die Datenerweiterung mit minimaler Latenz koordiniert werden.

61 % der Führungskräfte setzen KI-Agenten ein, doch Gartner rechnet bis 2028 mit einem Automatisierungsgrad von nur 15 % – und betont, dass fragmentierte Datensilos den ROI der Agenten untergraben.

  1. Aufbereitung und Bereitstellung von Daten für adaptive Arbeitsabläufe
    Workflows für kontinuierliches Lernen erfordern eine schnelle und gezielte Datenbereitstellung. Komplexe Die Kuratierung nimmt 30–50 % der Projektzeit in Anspruch, insbesondere bei dynamischen Quellen wie Stimmungsströmen aus sozialen Medien. Multi-Agenten-CI/CD-Pipelines müssen zahlreiche Lernmodelle gleichzeitig mit Daten versorgen, wobei bereits geringfügige Datenverzögerungen die Verarbeitung über alle Agenten hinweg zum Erliegen bringen können.

Forbes berichtet, dass Datenfachleute bis zu 79 % ihrer Zeit mit der Aufbereitung von Datensätzen verbringen, was verdeutlicht, warum automatisierte, versionsverwaltete Bereitstellungspipelines unverzichtbar sind.

  1. Datenmanagement im Hinblick auf Sicherheit, Ethik und Compliance
    Autonome Systeme bergen erhöhte Compliance-Risiken, insbesondere wenn 35 % oder mehr ihrer Datenherkunft möglicherweise nicht nachvollziehbar sind, wie in einigen Branchenbeispielen zu beobachten ist. Ohne vollständige Transparenz hinsichtlich der Herkunft, der Transformationen und der Nutzung von Daten sind Unternehmen rechtlichen, reputationsbezogenen und operativen Risiken ausgesetzt. Mangelnde Rückverfolgbarkeit beeinträchtigt die Erklärbarkeit, die Erkennung von Verzerrungen und den Datenschutz – Aspekte, die in regulierten Branchen von entscheidender Bedeutung sind.

Da laut einer Studie 75 % der KI-Initiativen aufgrund von Dateninkonsistenzen scheitern und 69 % nie in die Produktion gelangen, Tech Radar, saubere Daten und Rückverfolgbarkeit sind kein Luxus, sondern für agentenbasierte Systeme von entscheidender Bedeutung.

Architektonische Anforderungen

Der Turing-Preisträger Yann LeCun erinnert uns daran, dass „mehr Daten und mehr Rechenleistung“ nicht wie von Zauberhand eine intelligentere KI hervorbringen; entscheidend sind vielmehr die Eingaben, die man dem System zuführt, die Konsistenz dieser Eingaben sowie die Art und Weise, wie die Informationen strukturiert und verwaltet werden. Schließlich ist selbst das Erreichen einer Intelligenz auf „Katzenniveau“ nach wie vor ein schwer zu erreichendes Ziel, was unterstreicht, warum agentische KI mehr erfordert als nur Skalierbarkeit.

Einheitlicher Datenzugriff
Ein hybrider/Multi-Cloud-Global Namespace (GNS) integriert alle Datensätze aus Cloud, Edge und lokalen Systemen in einer einzigen logischen Ansicht. Dadurch entfallen die manuelle Standortverwaltung, Datenduplikate und Versionsinkonsistenzen, sodass die Mitarbeiter mit einem vollständigen und konsistenten Informationsbestand arbeiten können.

Protokollübergreifende Unterstützung
Die verschiedenen Schritte im Datenkreislauf nutzen unterschiedliche Bibliotheken, die über Container verteilt sind, und profitieren in unterschiedlicher Weise von POSIX- bzw. Objektschnittstellen. ETL- und Trainings-Workloads profitieren von POSIX, während die Beschriftung von Objektschnittstellen profitiert.  Plattformen, die den Zugriff über Dateien (SMB, NFS), Objekte (S3) und APIs (REST) unterstützen, verhindern kostspielige Plattformwechsel und ermöglichen es Agenten, umgebungsübergreifend nativ zu funktionieren, ohne dass es zu Verzögerungen durch Datenmigration kommt.

Optimierte Leistung
Intelligentes Caching mithilfe von Heatmaps oder Prefetching gewährleistet einen Zugriff mit geringer Latenz innerhalb eines einzelnen Clusters oder einer geografisch verteilten Gruppe von Clustern. Der flexible Zugriff mit geringer Latenz auf Remote-Daten, unabhängig von deren Speicherort, ermöglicht es Agenten, in Bereichen wie der autonomen Diagnose Entscheidungen in Echtzeit zu treffen.

Skalierbar, leistungsstark, parallel
Agentenbasierte KI erfordert die schnelle, parallele Bereitstellung kuratierter Datensätze an mehrere Agenten ohne Engpässe oder Zustandsänderungen. Integrierte Versionsverwaltung, unveränderliche Snapshots und Indizierung stellen sicher, dass alle Agenten mit einem konsistenten Datensatz arbeiten. Die Integration in CI/CD-Pipelines automatisiert Updates, Tests und die Bereitstellung über die Phasen Training, Validierung, RAG und Feinabstimmung hinweg. Ohne diese Funktionen sind Multi-Agenten-Systeme mit Datenabweichungen, redundanter Verarbeitung und kaskadierenden Verlangsamungen konfrontiert.

Robuste Governance und Rückverfolgbarkeit
Die automatisierte Datenherkunftserfassung liefert eine detaillierte, chronologische Aufzeichnung aller Datenumwandlungen, -bewegungen und -zugriffe. Dies erleichtert die Erstellung von Compliance-Berichten, unterstützt Audits, deckt Missbrauch auf und rekonstruiert Entscheidungskontexte, um die Nachvollziehbarkeit zu gewährleisten und Verzerrungen zu minimieren.

Zusammenfassung

Kurz gesagt: Die Skalierung von Agentic AI ist ebenso sehr eine Herausforderung im Bereich der Datenarchitektur als Herausforderung im Bereich der KI. Der Erfolg erfordert einheitliche, leistungsstarke und Governance-fähige Datenplattformen, die in der Lage sind, Petabytes an verteilten, unstrukturierten Daten zu koordinieren und dabei die Transparenz, Sicherheit und Agilität zu gewährleisten, die für sichere und effektive autonome Systeme unerlässlich sind. Die Cloud-Datenplattform von Qumulo wurde entwickelt, um genau solche Herausforderungen zu meistern. Erfahren Sie mehr hier.

Die Herausforderungen bei der Architektur von Datenplattf...