Acht häufige Lagerungsprobleme und Möglichkeiten, sie zu lösen

Viele von euch haben a . gesehen universelle Schmerzskala Diagramm in einem Krankenhaus oder einer Notaufnahme. Diese Grafik hilft Medizinern, die Schwere der Schmerzen ihrer Patienten einzuschätzen, damit sie ihre Behandlung steuern und Ressourcen angemessen zuweisen können.

In einigen meiner früheren Jobs im professionellen Service für einige sehr große Speicherumgebungen hier in Südkalifornien verwendete ich ein Diagramm wie dieses, um die Probleme zu analysieren, die ich bei der Bewertung einer Umgebung festgestellt hatte. In Bezug auf Speicherarchitektur, Engineering und Verwaltung ist Pain die qualitative Messung der Auswirkung auf die Produktivität der Benutzer.

Zum Beispiel kann es ein einfaches Problem mit einer einfachen Problemumgehung geben, das mit zwei bewertet werden könnte, oder etwas, das "ignoriert werden kann". Es kann jedoch ein Leistungsproblem geben, das immer dann hässlich wird, wenn die Compute-Farm mit voller Kapazität läuft, beispielsweise wenn Benutzer Hochleistungs-Workloads wie rechtliche Ermittlungen oder Genomanalysen ausführen. In diesem Fall beeinträchtigt der Schmerz unsere Fähigkeit, uns zu konzentrieren und ein Projekt zu beenden, wodurch die Schmerzskala auf sechs („beeinträchtigt die Konzentration“) gesetzt wird.

Oder Sie haben möglicherweise einen anhaltenden Fehler in Ihrem Speichersystem, der dazu führt, dass es zufällig eine Stunde lang ausfällt. Das stoppt die Datenspeicherung komplett und das wird ziemlich schmerzhaft – das ist fast eine Acht („stört die Grundbedürfnisse“) Dann gibt es einen kompletten Datenverlust, das ist eine 10 (komplette Bettruhe erforderlich!).

Der Punkt ist, dass Ihre Speicherumgebung eine Menge Probleme bereitet, egal ob Sie Redakteur, Kolorist, Architekt, Künstler, Verwaltung oder Ingenieur sind. Ihre Arbeitsbelastung wächst, da die Unternehmen versuchen, mit weniger Ausrüstung, weniger Talenten und weniger Zeit mehr Produktivität und Geld zu erzielen. Und die Anforderungen Ihrer Kunden steigen ständig, sei es in Bezug auf Projektauflösung, Farbtiefe, Bildrate, Komplexität der Aufnahme oder sogar Bearbeitungszeit.

Hier werden wir darüber sprechen, wie Sie in der Speicherlandschaft schmerzfrei bleiben können. Wir werden einige der häufigsten Schwachstellen bei der Speicherung untersuchen und Lösungen für diese besprechen. Wir werden auch verschiedene Tools und Lösungen besprechen, die sich mit bestimmten Problemen befassen. Ziel ist es, Ihnen eine neue Denkweise zu geben, damit Sie eine bestimmte Schmerzquelle lösen können.

Bei Qumulo haben wir mit vielen Unternehmen und Benutzern über ihre Speicherprobleme gesprochen. Wir sind sehr datengesteuert und haben durch Interviews mit Benutzern herausgefunden, was funktioniert, was nicht und was geändert werden muss. Unsere Gespräche haben uns gezeigt, dass die häufigsten Ursachen für Lagerschmerzen die folgenden sind:

1. Kapazitätsschmerz (Speicher ist nicht groß genug)
2. Leistungseinbußen (Speicherung ist nicht schnell genug)
3. Budgetschmerz (Lagerung ist immer zu teuer)
4. Skalierender Schmerz (Leistung oder Kapazität kann nicht effektiv wachsen)
5. Probleme mit Legacy-Software (veraltete Systeme beeinträchtigen die Benutzerleistung)
6. Datenblindheit (nicht zu wissen, wie Ihre Daten verwendet werden oder was in Ihren Speicher-Repositories vor sich geht)
7. Verfügbarkeitsprobleme (Speicher ist nicht belastbar und fällt gelegentlich aus, was sich auf die Produktivität auswirkt)
8. Datenverlustschmerz (das Worst-Case-Szenario)

Für jede dieser Quellen werden wir darüber sprechen, wie und warum sie sich manifestieren, welche Art von Schmerzen sie verursachen und wie Speicheradministratoren mit diesen Schwachstellen umgehen könnten.

Kapazitätsschmerz

Die älteste Klage aller Zeiten lautet: „Wir brauchen mehr Platz!“ Das geht zurück auf die Zeit, als wir Dinge in Getreidespeichern gelagert haben – Sie brauchen immer mehr Platz für die Dinge, die Sie lagern möchten.

Hatten Sie als Admin schon einmal mit einem komplett vollen Dateisystem zu tun? Oder mussten Sie als Benutzer jemals Ihre Aktivitäten unterbrechen und Ihre Dateien bereinigen oder darauf warten, dass Administratoren Ihnen mehr Speicherplatz zur Verfügung stellen? Vollständige Dateisysteme sind Realität: Manchmal ist es ein Benutzerfehler, manchmal ein Konstruktionsfehler und manchmal passiert es einfach im Laufe der normalen Arbeit.

Niemand wirft Dinge gerne weg, und niemand kennt den Wert seiner Daten im Detail wie die Benutzer. Infolgedessen können Administratoren die Dinge im Namen der Benutzer oft nicht sicher bereinigen. Leider ist dies normalerweise der erste Schritt, der notwendig ist, um die Produktion wieder aufzunehmen.

Das erste, was Sie herausfinden müssen, ist, wo das Problem liegt, indem Sie die Verzeichnisstruktur analysieren. Sie gehen einen Baum entlang, notieren alles, was sie finden, addieren die Kapazität und Sie erhalten eine Antwort. Dies funktioniert hervorragend, wenn Ihr Dateisystem nur 10,000 Dateien enthält, aber wenn Sie 100 Millionen oder eine Milliarde Dateien haben, wird es mühsam. Es kann bis zu einem Tag dauern, einhundert Millionen Dateien zu besuchen und mit einer Antwort zurückzukommen, und Sie müssen diesen Vorgang möglicherweise ausspülen und wiederholen, während Sie auf Ihrer Jagd in das Dateisystem absteigen.

Einige schnelle Tipps, um Kapazitätsprobleme zu beheben:

• Neue Marktteilnehmer werden modernere Methoden im Umgang mit Kapazitätsanalysen haben als ältere – also keine Angst vor neuen Anbietern
• Alle Anbieter bieten Scans auf einer bestimmten Ebene an – suchen Sie also nach Optimierung.
• Suchen Sie nach API-Zugriff auf die Metadaten – Wenn Sie Wert auf Glue oder eine enge Workflow-Integration legen, stellen Sie sicher, dass Sie irgendwie programmatischen Zugriff auf diese Scandaten haben. Sie können diese Kapazitätsdaten also in Ihr Produktionsmanagementsystem, Ihren Media Asset Manager oder Ihr Netzwerküberwachungssystem usw. integrieren. Sie möchten, dass Analysedaten einfach zu konsumieren und zu bearbeiten sind.
• Verwenden Sie Kontingente oder Volumen, um das Benutzerverhalten zu unterstützen, um Benutzer im Auge zu behalten, die Ihren Speicher beispielsweise mit ihren riesigen persönlichen Filmsammlungen füllen könnten.

Leistungsschmerz

Leistung kann ein ziemlich nebulöser Begriff sein, aber wenn Speicherleute darüber sprechen, ist dies im Allgemeinen in Bezug auf Durchsatz, IOP oder Latenz. Sie müssen ein Gleichgewicht zwischen Benutzern finden, die sehr empfindlich auf Latenz reagieren, und Renderfarmen, die sich auf den Durchsatz konzentrieren. Hier stellen wir fest, dass NAS wirklich begonnen hat, aufzuholen, mit schnellerer Hardware, Flash, besseren Datenlayouttechniken, besseren Protokollansätzen – all diese Dinge helfen NAS dabei, die SAN-/Bandbreitenanforderungen zu erfüllen. Ich denke, Sie werden immer mehr Unternehmen sehen, die die Einfachheit von NAS gegenüber der Komplexität von SAN bevorzugen.

Andere Mittel gegen Leistungsschmerzen:

•  Versuchen Sie, potenzielle Leistungsprobleme im Voraus zu lösen. Machen Sie sich nach Möglichkeit ein genaues Bild von Ihren erwarteten Arbeitsabläufen, bevor Sie die Infrastruktur zerlegen.
• Stellen Sie sicher, dass Sie ein für Ihr System geeignetes System ausgewählt haben – Sie können mit einem skalierbaren System etwas Geld sparen und nur den Speicher kaufen, den Sie gerade benötigen. Versuchen Sie, wenn möglich, die Wahrscheinlichkeit zu berechnen, ob Sie möglicherweise zusätzlichen Spielraum benötigen und wann Sie mehr benötigen werden.
• Wenn Sie einen sehr hohen Workload-Ausreißer haben, wie eine einzelne Hochgeschwindigkeits-Workstation, versuchen Sie, ihn mit einer Punktlösung zu lösen. Ein Arbeitsplatz zum Beispiel sollte nicht der Fahrer sein, um eine riesige Menge an Speicherplatz zu kaufen. Es wird für die meisten Ihrer Arbeitslasten einfach verschwendet.

Budgetschmerz

Wie wir alle wissen, ist Geld nicht unendlich und Speicherplatz nicht kostenlos, und selbst kostenlose Software benötigt (nicht kostenlose) Hardware und Ingenieure, um sie auszuführen. Speicherkapazität hat saubere Kosten, und diese Kosten werden immer als zu teuer empfunden. Zu oft stelle ich fest, dass die Leute sich auf die Dollars für die Kapazität verlassen und andere Dinge ignorieren, wie Dollar für die ganze Zeit oder Dollar für Iops.

• Nutzen Sie die richtige Speichertechnologie für Ihren Workflow. Die Verwendung von Flash, wenn Sie es nicht benötigen, ist Geldverschwendung. Die Verwendung von Datenträgern, wenn Sie Flash benötigen, funktioniert einfach nicht.
• Sie sollten auch Integratoren oder Vars einbeziehen – sie verbringen viel Zeit damit, mit Anbietern zu sprechen und den Markt zu verstehen, und können bei der Bewertung von Systemen einen Mehrwert schaffen. Stehen Sie nicht für VARs, die keinen Mehrwert bieten!
• Sie beginnen einen Kaufprozess, der auf Ihrer bisherigen Speichererfahrung basiert, und die Dinge ändern sich lächerlich schnell – was Sie vor sechs bis zwölf Monaten dachten, trifft heute wahrscheinlich nicht zu. Machen Sie die Recherche, wenn Sie einen neuen Speicherkauf oder einen Anlagenausbau planen.

Schuppender Schmerz

Wenn Ihr Unternehmen wächst, wachsen wahrscheinlich auch Ihre Workloads. Die Skalierung des Speichers ist interessant, Sie müssen viele Dinge gegen Ihre Workloads abwägen, die das System ziemlich unbrauchbar machen können. Die meisten Systeme sind nicht sehr einfach zu erweitern und viele sind wirklich schwer von vornherein groß zu machen. In den letzten zehn Jahren haben wir bei Speichersystemen große Fortschritte gemacht.

Wenn Sie unvorhersehbare Workloads haben, achten Sie auf einfache Skalierbarkeit als Schlüsselwert.

Schmerzen bei Legacy-Software

Im Gegensatz zu dem, was sie Ihnen vielleicht sagen, sind große etablierte Speicheranbieter nicht mehr risikofrei. Sie möchten den Kundensupport sehr schätzen – wenn Sie enge Fristen oder große Datenmengen haben, sehen Sie sich die Erfolgsbilanz an, wie sie bei der Behebung von Problemen geholfen haben.

• Scheuen Sie sich nicht, die Softwareentwicklung zu untersuchen. Sprechen Sie mit bestehenden Kunden darüber, wie genau die Engineering-Roadmap war.
• Messen Sie Ihren prognostizierten Bedarf anhand der Roadmap. Sie werden Ihre Kronjuwelen auf das Speichersystem legen, das Sie kaufen, und je größer das System ist, desto länger wird es dort sein. Ihre ausgewählten Anbieter müssen sich in die gleiche Richtung bewegen wie Sie.

Datenblindheit

Viele Speichersysteme sind nicht gut darin, Systeme zu verwalten. Speicher ist irgendwie dumm oder stumm für ein besseres Wort; Der meiste Speicher sagt Ihnen nicht, welche Daten darin enthalten sind oder was Clients gerade damit machen. Antworten auf diese Fragen sind auch auf andere Weise möglich – aber all dies bringt Komplexität mit sich.

• Storage sollte in der Lage sein, Ihnen Fragen zu beantworten: Was verbraucht all diesen Durchsatz? Wo zum Teufel ist meine Kapazität am Sonntag geblieben? Was frisst gerade meine Kapazitäten auf? Was brauche ich zum Sichern? Was kann ich sicher archivieren? Wann brauche ich mehr Speicherplatz?
• Die meisten High-End-Speicheranbieter bieten Sichtbarkeitstools. Auf jeden Fall ist der Speicher in Ihrem Rechenzentrum am besten positioniert, um Ihnen Dinge über sich selbst und die Dinge zu erzählen, die darauf zugreifen.
• Visualisierungstools für die Forschung – beantworten sie die Fragen, die Sie in letzter Zeit bei der Bewertung Ihrer etablierten Lösung hatten?
• Wenn Sie Wert auf die Integration mit Ihrem Managementsystem legen, sollten Sie API-Zugriff verlangen. Wenn Ihr Speicheranbieter keinen Zugriff darauf bietet, sollte er dies tun.

Verfügbarkeitsschmerz

Wenn keine Daten verfügbar sind, wird die Arbeit eingestellt. Es gibt einen Arbeitsausfall, und das gilt umso mehr, wenn Sie ein großes Team von Kreativen oder Technikern haben, die durch nicht verfügbaren Speicher blockiert werden.

Bei einem monolithischen System kann die Verfügbarkeit heikel sein. Oft müssen Sie zwei Systeme kaufen und dann eine Softwareschicht hinzufügen, die im Fehlerfall eine Arbeitslast zwischen ihnen verschieben kann. Sie sollten die Kosten für das Hinzufügen von Redundanz zu einem monolithischen System sorgfältig prüfen und sicherstellen, dass sich die Versicherungspolice lohnt.

Wenn Ihre Ausfallkosten sehr hoch sind, kann es sich lohnen, zwei Systeme allein aus Redundanzgründen zu kaufen. Wenn die Kosten für Ausfallzeiten jedoch flexibel oder niedrig sind, lohnt sich das zusätzliche System möglicherweise nicht – denken Sie also darüber nach, wenn Sie ein Backup in Betracht ziehen.

Eine andere Möglichkeit, eine Art Kompromiss, besteht darin, nach einer Lösung mit einem höherwertigen Servicevertrag mit größeren SLAs zu suchen. Bei einem Scale-out-System führt ein Ausfall eines einzelnen Knotens nicht zum Ausfall des gesamten Systems, sodass Sie einen gewissen Schutz in der Architektur haben – aber ein Cluster kann dennoch aufgrund eines Netzwerkproblems ausfallen. In jedem Fall haben Sie ein Backup für die Wiederherstellung und die Geschäftskontinuität. Es ist immer von Natur aus ein hoher Wert, zwei zu kaufen.

Schmerzen bei Datenverlust

Es tut mir weh, es zu sagen. Ich zucke selbst bei den Worten „Datenverlust“ zusammen. Um das Offensichtliche zu sagen, Datenschutz ist sehr wichtig. In dieser Branche sind die Daten die eigentliche Sache, an der wir arbeiten und die wir ändern – verlorene Daten sind also verlorene Zeit, verlorenes Geld, verlorene Arbeitsplätze. Sie werden sich Systeme ansehen wollen, die Ihre Daten wirklich gut schützen.

• Die Rebuild-Performance sollte steigen, wenn die Laufwerkspopulation steigt. Wenn es nach unten geht, bewegt es sich in die falsche Richtung. Sie muss mit steigender Laufwerksanzahl steigen. Es muss eine Art paralleles Rebuild-System geben.
• Bleiben Sie auf dem minimal möglichen Schutzniveau – springen Sie nicht auf ein niedriges Niveau mit dem Ziel, alles schützen zu wollen; es wird Sie kosten und die Kosten für kleine zufällige Schreibvorgänge erhöhen.
•  Es gibt einige Objekt- und Scale-out-Systeme, die Datenschutz pro Datei bieten. Vermeiden Sie das, wenn Sie können. Wenn Sie eine kleine Dateianzahl haben, ist dies möglicherweise keine große Sache, aber wenn die Dateianzahl wächst, wird diese Strategie nicht aufgehen.

Erfahren Sie mehr über die Reduzierung von Lagerungsschmerzen

Wenn Sie weitere Informationen zu diesen Schwachstellen wünschen, sehen Sie sich dies an einstündiges Webinar von Qumulo, das einen tieferen Einblick in die häufigsten Probleme und Möglichkeiten zur Minderung von Datenproblemen bietet.

Kontaktieren Sie uns hier, wenn Sie möchten ein Meeting einrichten oder eine Demo anfordern. Und Abonnieren Sie unseren Blog für weitere hilfreiche Best Practices und Ressourcen!