Die häufigsten Speicherprobleme in großen Umgebungen (und wie man sie löst)

In dieser dreiteiligen Blogserie besprechen wir die zehn häufigsten Probleme beim Dateidatenmanagement in großen Speicherumgebungen. Aber zuerst ein wenig Kontext.

Die universelle Schmerzskala für sehr große Dateispeicherumgebungen

Viele von euch haben a . gesehen universelle Schmerzskala in einem Krankenhaus oder einer Notaufnahme, wo Ihr Arzt Sie fragt: „Auf einer Skala von 1 bis 10, wie sehr tut es weh?“ Ihre Antwort hilft Medizinern, die Schwere Ihrer Schmerzen einzuschätzen, damit sie eine Behandlung verschreiben und Ressourcen angemessen zuweisen können.

Ich habe festgestellt, dass Diagramme wie dieses auch dabei helfen, die bei der Bewertung sehr großer Dateispeicherumgebungen festgestellten Probleme zu erkennen. Bei der Betrachtung einer Speicherarchitektur, des Engineerings und der Verwaltung liegt das Problem in der qualitativen Messung der Auswirkungen auf die Produktivität der Benutzer.

Zum Beispiel könnte es ein einfaches Problem mit einer einfachen Problemumgehung geben, das mit 2 oder etwas „kann ignoriert werden“ bewertet werden könnte. Aber es kann auch ein Leistungsproblem geben, das immer dann hässlich wird, wenn die Compute-Farm Hochleistungs-Workloads wie Physiksimulation, juristische Entdeckungen oder Genomanalysen ausführt. In diesem Fall beeinträchtigt der Schmerz die Fähigkeit des Benutzers, sich zu konzentrieren und ein Projekt abzuschließen, wobei die Schmerzskala auf eine 6 gesetzt wird („beeinträchtigt die Konzentration“).

Oder Sie haben möglicherweise einen anhaltenden Fehler in Ihrem Speichersystem, der dazu führt, dass es zufällig eine Stunde lang ausfällt. Das stoppt die Datenspeicherung komplett und wird ziemlich schmerzhaft – das ist fast eine 8 („stört die Grundbedürfnisse“) Dann gibt es einen kompletten Datenverlust, das ist eine 10 („Bettruhe erforderlich!“).

Der Punkt ist, dass Ihre Speicherumgebung viele Probleme bereiten kann, egal ob Sie Redakteur, Wissenschaftler, Cloud-Architekt, Künstler, Speicheradministrator oder Ingenieur sind. Ihre Arbeitsbelastung wächst, da das Unternehmen versucht, mit weniger Ausrüstung, weniger Talenten und weniger Zeit mehr Produktivität und Geld zu erzielen. Und die geschäftlichen Anforderungen steigen ständig, sei es in Bezug auf die Projektgröße, die Gesamtleistung oder sogar die Bearbeitungszeit.

Erkunden Sie die 10 häufigsten Lagerungsprobleme, einige auf einmal

Bei Qumulo sprechen wir mit vielen Unternehmen, Organisationen und Benutzern über ihre Probleme bei der Datenspeicherung. Wir sind sehr datengesteuert und die Befragung von Führungskräften und Benutzern hilft uns herauszufinden, was funktioniert, was nicht und was geändert werden muss. Unsere Gespräche haben uns gezeigt, dass die folgenden zehn zu den häufigsten Ursachen für Speicherschmerzen gehören.

1. Kapazitätsschmerz (Speicher ist nicht groß genug)
2. Leistungseinbußen (Speicherung ist nicht schnell genug)
3. Skalierungsprobleme (Leistung oder Kapazität können weder vor Ort noch in der Cloud effektiv wachsen!)
4. Probleme mit Legacy-Software (veraltete Systeme beeinträchtigen die Benutzerleistung)
5. Verfügbarkeitsprobleme (Speicher ist nicht belastbar und fällt gelegentlich aus, was sich auf die Produktivität auswirkt)
6. Budgetschmerz (Lagerung ist immer zu teuer)
7. Datenblindheit (nicht zu wissen, wie Ihre Daten verwendet werden oder was in Ihren Speicher-Repositories vor sich geht)
8. Datenverlustschmerz (das Worst-Case-Szenario)
9. Datenlokalitätsschmerz
10. Schmerzen bei der Datenmigration

Umgang mit Speicherkapazität, Leistung und Skalierungsproblemen

Für jede der oben genannten Schmerzquellen werde ich erläutern, warum sie sich manifestieren, welche Art von Schmerz sie verursachen und wie Speicheradministratoren bestimmte Probleme lösen können.

1. Schmerzen bei der Speicherkapazität – Speicher ist nicht groß genug

Die älteste Lagerbeschwerde lautet: „Wir brauchen mehr Platz!“ Das reicht bis in die Antike zurück, als wir Lebensmittel in Getreidespeichern lagerten – man braucht immer mehr Platz für die wichtigen Dinge, die man lagern möchte.

Hatten Sie als Admin schon einmal mit einem komplett vollen Dateisystem zu tun? Oder mussten Sie als Benutzer jemals Ihre Aktivitäten unterbrechen und Ihre Dateien bereinigen oder darauf warten, dass Administratoren Ihnen mehr Speicherplatz zur Verfügung stellen? Vollständige Dateisysteme sind Realität: Manchmal ist es ein Benutzerfehler, manchmal ein Konstruktionsfehler und manchmal passiert es einfach im Laufe der normalen Arbeit.

Niemand wirft Dinge gerne weg, und niemand kennt den Wert seiner Daten im Detail wie die Benutzer. Infolgedessen können Administratoren die Dinge im Namen der Benutzer oft nicht sicher bereinigen. Leider ist dies normalerweise der erste Schritt, der notwendig ist, um die Produktion wieder aufzunehmen.

Das erste, was Sie herausfinden müssen: Wo das Problem im Baum liegt, indem Sie die Verzeichnisstruktur analysieren. Es gibt einige gängige Tools, die dies tun: du auf einer Linux-Box, Get Info auf einem Mac oder Rechtsklick->Eigenschaften auf einer Windows-Box. Alle diese Tools durchlaufen einen Baum, erfassen alles, was sie finden, addieren die Kapazität und präsentieren Ihnen schließlich eine Antwort. Dies funktioniert hervorragend, wenn Ihr Dateisystem nur 10,000 Dateien enthält, aber wenn Sie Hunderte von Millionen oder sogar Milliarden von Dateien haben, wird es mühsam. Es kann bis zu einem Tag dauern, 100 Millionen Dateien zu besuchen und mit einer Antwort zurückzukommen, und Sie müssen diesen Vorgang möglicherweise spülen und wiederholen, während Sie auf Ihrer Jagd in das Dateisystem absteigen.

Einige Gedanken zur Behandlung von Schmerzen bei der Speicherkapazität:

• Suchen Sie nach modernen Methoden zur Kapazitätsanalyse. Herkömmliche Tools müssen scannen, was zu unnötigen IO-Operationen und langen Wartezeiten auf Antworten führt.
• Stellen Sie sicher, dass das Speichersystem, das Sie in Betracht ziehen, irgendwie programmatischen Zugriff auf Kapazitätsmetadaten hat, vorzugsweise über eine API. Sie können diese Kapazitätsdaten in Ihr Produktionsmanagementsystem, Ihren Media Asset Manager oder Ihr Netzwerküberwachungssystem usw. integrieren. Sie möchten, dass diese Kapazitätsdaten einfach zu verarbeiten und zu bearbeiten sind.
• Verwenden Sie Kontingente oder Volumina, um das Benutzerverhalten zu kontrollieren, z. B. indem Sie Ihren Speicher mit endlosen Kopien ihrer Arbeitsdaten oder ihrer riesigen persönlichen Filmsammlungen füllen.
• Suchen Sie nach Systemen, die die Kapazität transparent und einfach skalieren können (dazu gleich mehr!).

Die Speicherung ist für unser Geschäft von entscheidender Bedeutung, da es sich im Grunde genommen um einen Löschschlauch von Daten handelt. Wir könnten unsere Arbeit nicht ohne eine hochleistungsfähige, skalierbare Lösung mit hoher Dichte erledigen.
Nathan Conwell, leitender Plattformingenieur, Vexcel Imaging

2. Probleme mit der Speicherleistung – die Speicherung ist nicht schnell genug

Leistung kann ein ziemlich nebulöser Begriff sein, aber wenn Storage-Leute darüber sprechen, handelt es sich im Allgemeinen um Durchsatz, IOPS oder Latenz von einem einzelnen System oder einer Gesamtheit von Systemen. Sie müssen ein Gleichgewicht zwischen Benutzern finden, die sehr empfindlich auf Latenz reagieren, und Computefarmen, die normalerweise auf den Durchsatz ausgerichtet sind, damit sie Speicherbereiche mit Daten füllen können, gegen die sie rechnen können.

Ultrahohe Leistung war früher die einzige Domäne von gemeinsam genutzten SANs und parallelen Hochgeschwindigkeits-Dateisystemen. Heute stellen wir fest, dass NAS wirklich aufgeholt hat. Wir haben schnellere Hardware, Flash-Speicher, bessere Daten-Layout-Techniken, bessere Protokollansätze – all diese Dinge haben geholfen/verhelfen NAS-Chips bei den SAN-/Bandbreitenanforderungen. Ich denke, Sie werden feststellen, dass immer mehr Stakeholder die Einfachheit von NAS der Komplexität von SAN vorziehen.

Andere Heilmittel für Schmerzen bei der Speicherleistung:

• Versuchen Sie, potenzielle Leistungsprobleme im Voraus zu lösen. Machen Sie sich nach Möglichkeit ein genaues Bild von Ihren erwarteten Arbeitsabläufen, bevor Sie die Infrastruktur zerlegen.
• Stellen Sie sicher, dass Sie ein für Ihr System geeignetes System ausgewählt haben – Sie können Geld sparen mit einem skalierbaren System und indem Sie nur den Speicher kaufen, den Sie gerade benötigen. Versuchen Sie, wenn möglich, die Wahrscheinlichkeit zu berechnen, ob Sie möglicherweise zusätzlichen Spielraum benötigen und wann Sie mehr benötigen werden.
• Darüber hinaus benötigen Sie möglicherweise ein System, das Sie hoch- und herunterdrehen können. Wenn Sie planen, zwischen den Projekten Tage oder Wochen zu vergehen, und Sie das Speichersystem für nichts anderes benötigen, kann es sinnvoll sein, ein On-Demand-Arbeitsmodell in der öffentlichen Cloud mit Fernzugriff anstelle einer lokalen Installation in Betracht zu ziehen .
• Die Notwendigkeit, Remote-Mitarbeiter zu unterstützen, ist ein weiterer Faktor, der durch die globale Pandemie getrieben wird. Die Medien- und Unterhaltungsindustrie erlebt eine extreme Nachfrage. Um Produktionstermine einzuhalten und Kreativteams eine virtuelle Zusammenarbeit zu ermöglichen, haben viele Studios nach der Cloud gesucht Remote-Videobearbeitung auf virtuellen Workstations in einer Postproduktionsumgebung.
• Wenn Sie einen sehr hohen Workload-Ausreißer haben, z. B. eine einzelne Hochgeschwindigkeits-Workstation, prüfen Sie, ob Sie ihn mit einer Punktlösung lösen können. Eine Workstation sollte nicht der Grund sein, um eine riesige Menge an Hochgeschwindigkeitsspeicher zu kaufen. Es wird einfach für die meisten Ihrer Workloads verschwendet.
• Wenn Sie andererseits viele Workloads zu konsolidieren haben, sollten Sie die Speichereffizienz Vorteil durch die Kombination von Workloads mit geringer Leistung und hoher Leistung in demselben System. Sie profitieren von den Vorteilen der Speichereffizienz eines größeren Systems, ohne dass sich dies negativ auf die Workloads auswirkt.

3. Probleme mit der Speicherskalierung – Leistung oder Kapazität können nicht sowohl lokal als auch in der Public Cloud effektiv wachsen

Die Skalierung der Datenspeicherung ist interessant. Wenn Ihr Unternehmen wächst, wachsen wahrscheinlich auch Ihre Workloads, und das bedeutet, dass Sie viele Überlegungen zu Ihren Workloads anstellen müssen, wenn Sie über eine Erhöhung der Kapazität oder Leistung nachdenken.

Während in den letzten zehn Jahren Verbesserungen bei der Skalierung von Speicherdateisystemen erzielt wurden, sind die meisten nicht einfach zu erweitern und viele sind von vornherein wirklich schwer zu groß zu machen. Schauen wir uns einige spezifische Probleme an:

• Wenn Sie unvorhersehbare Workloads haben, suchen Sie nach einem Dateisystem, das einfach zu skalieren ist, damit Sie wachsende Workloads oder neue Workloads sicher bewältigen können.
• Verstehen Sie Ihre Arbeitslasten. Informieren Sie sich über die tatsächlichen Infrastrukturkosten Ihrer Arbeitsabläufe und Prozesse (dh Kapazität, Leistung, Konnektivitätsanforderungen). Wenn das Unternehmen mit einer Erweiterungsanforderung zu Ihnen kommt, können Sie Ihre Infrastrukturerweiterung sicher bemessen.
• Überlegen Sie, ob es sinnvoll ist, einige Ihrer Workloads in der Cloud auszuführen. Wenn Ihr Dateisystem eine Hybrid-Cloud-Strategie unterstützt, können Sie die Leistung und Kapazität der Cloud nutzen, um Burst-Workloads wenn gebraucht.

„Unser Team war in der Lage, eine Burst-Skalierung mit einer Rate von 1.3 Millionen IOPS für mehr als 5 Stunden am Stück aufrechtzuerhalten, mit Spitzen von bis zu 2 Millionen IOPS. Dies ist ein in der Vergangenheit noch nie da gewesenes Niveau und zeigt, wie sehr Qumulo uns geholfen hat, unsere Produktionszeitpläne bei Bedarf zu verkürzen und Künstlern mehr Iterationen in kürzerer Zeit zu ermöglichen, was insgesamt zu einer hochwertigeren Endarbeit führt.“
Jeremy Brousseau, IT-Leiter, Cinesite Vancouver

Als nächstes kommen: Die Legacy-Software, Verfügbarkeit und Budgetprobleme

Im nächster Artikel, werden wir drei weitere der 10 häufigsten Speicherprobleme von sehr großen Dateispeicherumgebungen untersuchen. Dies sind die Nachteile veralteter Systeme für die Leistung der Benutzer, mangelnde Verfügbarkeit für ihre Produktivität und die Kosten für die Erweiterung des Speichers.

Qumulo ist modern Dateiverwaltungs- und -speichersoftware wurde speziell entwickelt, um Hybrid-Cloud-Strategien für Hochleistungs-Workloads in großem Maßstab zu unterstützen.