Das San Diego Supercomputer Center überdimensioniert Advanced Storage mit Qumulo
Die globale wissenschaftliche Forschungsgemeinschaft umfasst Branchen, Einzelpersonen und Fachgebiete. Es hat jedoch eines gemeinsam: den Bedarf an massiven Rechen- und Datenspeicherressourcen.
Nur wenige Forschungseinrichtungen können sich einen eigenen Supercomputer und fortschrittliche Speichersysteme leisten. Viele wenden sich an spezialisierte Managed Service Provider (MSPs), um datenintensiven Forschungskunden Remote-Rechen- und Speicherkapazität anzubieten.
Das San Diego Supercomputer Center führt die Verantwortung
Das San Diego Supercomputer Center (SDSC) ist ein führendes MSP für die wissenschaftliche Gemeinschaft in Behörden, Hochschulen und Unternehmen.
SDSC ist Mitglied von XSEDE (eXtreme Science and Engineering Discovery Environment), einem einzigen virtuellen System, das es Forschern ermöglicht, Computerressourcen, Datensammlungen und fortschrittliche Forschungswerkzeuge interaktiv zu teilen.
Als Forschungseinheit an der University of California, San Diego, nutzt SDSC seine On-Prem-Supercomputer, um fortschrittliche Berechnungen und alle Aspekte der Big-Data-Speicherung und -Analyse durchzuführen, einschließlich Datenintegration, Leistungsmodellierung, Data Mining und Predictive Analytics.
SDSC arbeitet mit seinen Kunden zusammen, um Supercomputer- und Speichersystemressourcen für extreme Datenprojekte anzupassen, darunter Astrophysik-Visualisierung für das American Museum of Natural History, groß angelegte Simulationen von The Big One in Südkalifornien und ausgeklügelte Grippesaisonmodellierung für die Centers for Disease Kontrolle.
Zwei der wichtigen Projekte des SDSC dienen der schnell wachsenden neurowissenschaftlichen Forschungsgemeinschaft – das Neuroscience Gateway (NSG) des Zentrums, finanziert von der National Science Foundation (NSF) und dem National Institute of Health (NIH), einer Zusammenarbeit zwischen dem Zentrum und der Yale University und University College London. NSGportal ermöglicht neurowissenschaftlichen Forschern den Zugriff auf groß angelegte Computer zur Modellierung und Datenverarbeitung, was die Verwaltung großer neurowissenschaftlicher Daten erfordert, die auf seinen datenintensiven Speichersystemen gespeichert sind.
Ein weiteres in der Entwicklung befindliches neurowissenschaftliches Angebot ist das vom NIH finanzierte NEMAR-Gateway (Human NeuroElectroMagnetic Data Archive and Tools Resources). Das Gateway entwickelt einen offenen Zugang zu archivierten EEG- (Elektroenzephalographie) und MEG-(Magnetenzephalographie)-Daten für Neurowissenschaftler, und die Speicherung und Verwaltung von Daten in großem Maßstab sind Schlüsselelemente des Projekts.
„Mit Qumulo haben wir viel niedrigere Betriebskosten realisiert als bei anderen Speicherlösungen. Außerdem haben wir die Größe unseres Clusters verdoppelt und werden sie wahrscheinlich bald wieder verdoppeln.“
Kundenanforderungen könnten Super-Ressourcen übersteigen
SDSC stand hinsichtlich seiner Speicherinfrastruktur vor einer Herausforderung. Diese datenintensiven Gateways und Client-Technologie-Stacks müssen eine leistungsstarke und leistungsstarke Datenspeicherung für riesige Mengen an Big Data – viele davon unstrukturiert – unterstützen. Obwohl die Supercomputer des Zentrums Rechenaufgaben problemlos bewältigen, fehlten den neurowissenschaftlichen Speichersystemen massive Scale-out-Kapazitäten und die erforderlichen Speicherfunktionen, um Big Data, schnellen Zugriff und fortschrittliche Analytik zu unterstützen.
„Unser Speicherbedarf für die NSG- und EEG/MEG-Datenprojekte wächst von Dutzenden Terabyte auf Hunderte von Terabyte“, sagte Amit Majumdar, Ph.D., Director of Data Enabled Scientific Computing bei SDSC. „Großer Datentransfer und -speicher, Highspeed-Zugriff, Sharing, Suchfunktionalitäten – all das wird für unsere Projekte immer wichtiger.“
Um seine Kundenanforderungen erfolgreich zu erfüllen, benötigte SDSC eine Speicherlösung, die zu einem vernünftigen Preis ein optimales Gleichgewicht zwischen Leistung, Kapazität, Skalierbarkeit, Haltbarkeit und erweiterter Funktionalität bietet.
„Bei SDSC ist die Bereitstellung kritischer Analysen und Ergebnisse von größter Bedeutung, doch Hochleistungs-Computing-Workloads sind unglaublich abhängig von ihrem Speichersystem. Als Unternehmen bewegen wir uns in Richtung Integration der Cloud sowohl für Computing als auch für Speicher als Teil unserer wissenschaftlichen Gateways. Daher ist es uns wichtig, über unseren Geschäftsbereich Research Data Services führende Cloud-Technologien zur Verfügung zu stellen“, ergänzt Majumdar.
„Großer Datentransfer und -speicher, Highspeed-Zugriff, Sharing, Suchfunktionalitäten – all das wird für unsere Projekte immer wichtiger.“
Partnerschaft mit Qumulo
Den Anstoß für den Wunsch des Zentrums nach einem neuen Speicheranbieter gab eine Reihe neuer Kunden, die mehr als 1 PB an Speicherkapazität benötigten. SDSC war besorgt über die Leistung, Zuverlässigkeit und Verwaltung ihrer bestehenden Speicherlösungen in dieser Größenordnung.
Brian Balderston, Director of Infrastructure bei SDSC, entschied, dass es einen besseren Weg geben muss. Er testete mehrere Hochleistungsspeichersysteme und entschied sich für den hybriden Cloud-Dateispeicher von Qumulo als Vorreiter in der datenintensiven Rechen- und Speicherinfrastruktur für die nationale Forschungsgemeinschaft.
„Ich war davon überzeugt, dass wir für unseren Kunden ein besseres Lagersystem bauen könnten, das nicht ganz so viel Pflege und Fütterung benötigt. Also habe ich mich mit unseren Anforderungen an das Qumulo-Team gewandt“, sagte Balderston. „Ihr verteiltes Scale-out-NAS-Dateisystem erfüllte unsere Anforderungen an Kapazität, Leistung, Datenintegrität und Scale-out zu einem akzeptablen Preis für unseren Kunden.“
Der Dateispeicher von Qumulo unterschied sich von der bestehenden Infrastruktur bei SDSC und derjenigen, die von seinen Kundenorganisationen verwendet wird. Die meisten akademischen Kunden des Zentrums waren an parallele Open-Source-Dateisysteme für Forschungsdaten-Workloads gewöhnt. Der proprietäre Software-Stack und das verteilte Dateisystem von Qumulo waren eine neue Art von Speicher und erwiesen sich schnell als fortschrittlicher und in der Lage, jetzt und in Zukunft massive wissenschaftliche Forschungsarbeitslasten zu bewältigen.
Qumulo skaliert unstrukturierte Daten effizienter als parallele Dateisysteme und ist damit ideal für Umgebungen mit enormen Dateizahlen, Verzeichnisstrukturen und Milliarden kleiner Dateien. Das Scale-out-NAS-Dateisystem unterstützt schnelle Aufnahme und Zugriff und ist in hohem Maße durchsuchbar. Hohe Verfügbarkeit und minimale Wiederherstellungszeiten halten Daten sicher und immer verfügbar – ohne Datenverlust.
Die Kapitalkosten von SDSC für Qumulo entsprachen dem Budget und die Betriebskosten erwiesen sich als niedriger als erwartet. „Mit Qumulo haben wir viel niedrigere Betriebskosten realisiert als bei anderen Speicherlösungen“, so Balderston. „Außerdem haben wir die Größe unseres Clusters verdoppelt und werden sie wahrscheinlich bald wieder verdoppeln.“ SDSC gab die Einsparungen an seine MSP-Kunden weiter, was seine Hosting-Plattform noch attraktiver macht.
„Wir schieben einfach einen weiteren Knoten in das Rack, drücken einen Knopf und wissen was? Mehr Platz."
Massive Skalierung, hohe Leistung
Heute bietet Qumulo SDSC und seinen Kunden persistenten Speicher für Hochleistungs-Workloads mit hoher Kapazität. Zu den wichtigsten Infrastrukturkomponenten gehören virtuelle Maschinen (VMs), Qumulo-Speicher, der auf einem Supercomputer montiert ist, und Netzwerke mit hoher Bandbreite. SDSC arbeitet daran, On-Prem- und Cloud-Speicher zu integrieren, um seine wissenschaftlichen Gateways zu bedienen. Da der Dateispeicher von Qumulo Cloud-nativ ist, unterstützt er nahtlos die On-Prem- und Cloud-Integration.
Qumulo optimiert seine einzigartige Software für schnelles Lesen und Durchschreiben. Die beschleunigte Architektur bietet eine extrem niedrige Latenz und eine hohe IOPS- und Durchsatzleistung. Vorausschauendes Caching und Prefetch erkennen proaktiv E/A-Muster und verschieben Daten effizient auf die schnellsten Medien.
Qumulo ist außerdem einfach bereitzustellen, zu verwalten und darauf zuzugreifen – wichtige Komponenten sowohl für SDSC als auch für seine Kunden. „Qumulo war für SDSC unglaublich einfach zu verwalten“, sagte Balderston.
„Anstatt unser Personal und unsere Ressourcen auf die Verwaltung einer Reihe ineffizienter Speichersysteme zu konzentrieren, nutzen wir unsere Entwicklungszeit, um an hochwirksamen und gut finanzierten Zuschüssen der National Science Foundation, des National Institute of Health und anderer Förderorganisationen zu arbeiten. Das ist ein großer Gewinn für uns alle.“
Qumulo hat bewiesen, dass es eine andere Art von Speicherunternehmen ist – ein Unternehmen, das seine Speicher für die Moderne gebaut hat. Einige Legacy-Speichersysteme funktionieren immer noch für strukturierte Daten in wohldefinierten traditionellen Speicherumgebungen. Diese Produkte wurden jedoch nie für das heutige massive Datenwachstum, unstrukturierte Datentypen, intensive wissenschaftliche Arbeitsbelastungen und komplexe Anwendungen entwickelt.
Um diese neuen Speicheranforderungen zu erfüllen und zu übertreffen, hat Qumulo seine Software nach den Prinzipien moderner, großer verteilter Datenbanken entwickelt. Das Ergebnis ist ein einzigartiges Dateisystem mit unübertroffener Leistung und Skalierbarkeit.
Die Kundenakzeptanz beweist den Punkt bei SDSC. „Meine größte Errungenschaft ist wahrscheinlich, dieses Speichersystem auf den neuesten Stand zu bringen und dann eine massive Akzeptanz zu finden“, sagte Balderston. „Seit dem ersten Proof-of-Concept hat SDSC eine neue Gruppe von Kunden erreicht, darunter mehr als zwei Dutzend Forschungslabore und -abteilungen der University of California. Ich kann mir keinen anderen Service vorstellen, der so schnell angenommen wurde.“
ABOUT
Das San Diego Supercomputer Center (SDSC) ist ein führendes MSP für die wissenschaftliche Gemeinschaft in Behörden, Hochschulen und Unternehmen. Als Forschungseinheit an der University of California, San Diego, nutzt SDSC seine On-Prem-Supercomputer, um fortschrittliche Berechnungen und alle Aspekte der Big-Data-Speicherung und -Analyse durchzuführen, einschließlich Datenintegration, Leistungsmodellierung, Data Mining und Predictive Analytics.
ANWENDUNGSFALL
- Effizientes Speichern und Verwalten riesiger unstrukturierter Dateispeicher
- Unterstützen Sie große und wachsende Arbeitsbelastungen in der wissenschaftlichen Forschung
- Bieten Sie leistungsstarke Datenaufnahme und Zugriff auf mehrere globale Clients
VORAUSSETZUNGEN
- Hohe Leistung
- Hohe Verfügbarkeit und Langlebigkeit
- Einfache Bereitstellung, Verwaltung und Zugriff
- Einfache Skalierung von TB zu PB
- Kosteneffizient