Dies ist der dritte Teil einer vierteiligen Blogserie, die sich näher mit dem Workflow für visuelle Effekte (VFX) befasst. In unseren vorherigen Beiträgen haben wir die behandelt Komponenten des VFX-WorkflowsSowie das Rendering-Prozess. Heute diskutieren wir die allgemeinen datenbezogenen Herausforderungen, denen Studios und Künstler bei VFX-Workflows gegenüberstehen.
Komplexe VFX-Workflows, unstrukturierte Daten und Legacy-Speicher: Was VFX-Studios wissen müssen
A visuelle Effekte (VFX) Die Produktionspipeline ist komplex mit vielen Prozessen.
Eine der größten Herausforderungen ist die Verwaltung der schieren Datenmenge, die für die Erstellung fotorealistischer Bilder erforderlich ist. Eine einzelne digitale Kreatur kann aus Hunderten, wenn nicht Tausenden von digitalen Assets bestehen. Es ist oft notwendig, Terabytes an Daten zusammenzustellen, die gerendert und/oder zusammengesetzt werden müssen.
Volumetrische Daten, die für viele Brot-und-Butter-Effekte wie Wolken, Staub, Wasser, Feuer und Flüssigkeiten unerlässlich sind, sind ein weiteres Beispiel für extreme Komplexität. Die Daten stellen eine Herausforderung dar, sowohl wegen ihres großen Platzbedarfs als auch weil sie häufig in andere Formate konvertiert werden müssen, bevor sie von anderen Tools verwendet werden können.
Im Allgemeinen ist der Treiber hinter dem Wachstum von VFX die Tatsache, dass die Technologie besser, billiger und schneller geworden ist. Dies bedeutet, dass Animation und Spezialeffekte sind immer ehrgeiziger geworden. Darüber hinaus sind visuelle Effekte und Animationen während COVID entscheidend geworden, um Shows, Werbespots und Filme zu vervollständigen, die sonst mit Film am Set gedreht worden wären.
Diese komplexen Effekte erfordern viel unstrukturierte Datenverwaltung und eine moderne Dateidatenplattform, die für die Verarbeitung von Milliarden von Dateien ausgelegt ist. Die Betonung liegt auf „Datei“, da VFX ein dateibasierter Workflow ist; Dateien sind das Austauschmedium zwischen Anwendungen, die nicht unbedingt von derselben Firma geschrieben wurden. Workflows müssen anwendungsübergreifend integriert werden, und ein effizientes unstrukturiertes Datenmanagement ist der Weg, dies zu tun.
Was VFX-Studios wissen müssen: Herkömmliche Scale-out- und Scale-up-Lösungen wurden nicht für die heutigen Datenmengen, Dateitypen, Anwendungen und Workloads entwickelt. Daten sind nicht mehr dieselben wie vor 10 Jahren. Aus diesem Grund sollten sich VFX-Studios nicht mit veralteter Speichertechnik zufriedengeben. Legacy-Speichersysteme können nicht die Transparenz, Kontrolle und Skalierbarkeit bieten, die Sie zum Verwalten Ihrer Daten benötigen. (Das ist warum Qumulo baute eine bessere Dateidatenplattform auf.)
Legacy Storage Pains: Leistung, Skalierbarkeit, Anpassungsfähigkeit und Sichtbarkeit
Organisationen, die sich so stark auf Verwaltungsplattformen für unstrukturierte Daten verlassen wie VFX-Studios, reagieren im Allgemeinen empfindlich auf a Vielzahl von Datenspeicherungsschmerzen. Dazu gehören Leistung, Skalierbarkeit, Sichtbarkeit und Flexibilität.
Da immer mehr Studios auf 8K und höhere Auflösungen umsteigen, wird die Leistung immer wichtiger. Zu langsame Speichersysteme können die Rendering-Farm aushungern oder Künstler von der Arbeit abhalten, während das Rendering läuft.
Skalierung ist eine weitere Herausforderung. Die ständig steigende Menge an Daten, die VFX-Shops generieren, kann ihren Datenspeicher leicht füllen.
Probleme wie Skalierbarkeit und Leistung, die Sie von jeder Organisation erwarten würden, die mit einer ständig wachsenden Anzahl von Dateien umgehen muss, werden für VFX-Studios noch verschärft, da sie Verzögerungen in ihrem Zeitplan für das Hinzufügen weiterer Ressourcen nicht tolerieren können.
Je nachdem, welche Art von Datenspeichersystem sie verwenden, kann die Nachfrage nach mehr Kapazität bedeuten, dass das Studio das gesamte System ersetzen oder neue Metadaten-Controller und Speichergehäuse kaufen muss. Bei engen Fristen bleibt normalerweise keine Zeit, die physische Infrastruktur aufzubauen.
Die Sichtbarkeit ist eine weitere Einschränkung älterer Dateispeichersysteme. Die meisten VFX-Shops verwenden ein Treewalk-Skript/Programm, um ihre Dateidaten zu verwalten. Treewalks sind extrem langsam, wenn Dateisysteme groß sind. Administratoren können buchstäblich tagelang auf Antworten warten. Bis dahin ist es für sie zu spät, die Daten in irgendeiner Weise zu verwenden, die von Bedeutung ist.
Hier ist ein allgemeines Szenario: Ein kleiner VFX-Shop nutzt am Anfang vielleicht ein Speichersystem, das das Team selbst zusammengestellt hat. Wenn ihr Geschäft wächst, muss dieses System ersetzt werden. Die Künstler brauchen ein System, das schnell genug ist, damit sie arbeiten können, während Frames gerendert werden. Sie müssen auf eine skalierbare, kommerzielle Dateidatenplattform mit Unternehmensfunktionen umsteigen, die ihnen helfen, mehr Projekte zu übernehmen und anspruchsvollere Effekte zu erzielen.
Die Herausforderungen des Renderns in der Cloud
Die Möglichkeit, die Cloud zu nutzen, ist ein großer Vorteil für VFX-Studios, aber Cloud-Rendering ist nicht ohne seine eigenen Herausforderungen.
Viele der Überlegungen zum lokalen Rendering gelten auch für das Cloud-Rendering, aber es gibt einige spezifische Aspekte, die berücksichtigt werden müssen.
Während HPC-Ressourcen (High Performance Computing) in der Cloud leicht verfügbar sind, sind traditionelle dateibasierte Speicherlösungen leider oft unzureichend oder sind Versionen von Legacy-Dateispeichern mit einigen Patches, die angewendet werden, um sie „Cloud-fähig“ zu machen. Zu den Problemen gehören mangelnde Protokollunterstützung, Leistungs- und Kapazitätsbeschränkungen sowie die Komplexität beim Einrichten des Clusters. (VERBUNDEN: Blockspeicher vs. Objektspeicher vs. Dateispeicher: Was ist der Unterschied?)
Es ist wichtig, dass Studios die Leistung ihrer lokalen Renderfarm in der Cloud erreichen. Sie müssen in der Lage sein, Leistung und Kapazität separat zu skalieren, um die Vorteile der flexiblen Ressourcen zu nutzen, die die Public Cloud bietet. Studios benötigen außerdem die Möglichkeit, Dateien vom lokalen Cluster auf die Instanz in der Cloud zu übertragen und die Ergebnisse dann wieder an den lokalen Cluster zurückzugeben. (VERBUNDEN: So kopieren Sie Objekte zwischen S3-Buckets und -Clustern.)
Die meisten dateibasierten Cloud-Systeme können nicht alle diese Anforderungen erfüllen. Qumulo-Wolke Q wurde entwickelt, um alle oben beschriebenen Probleme zu lösen.
- Leistung: Ultraschnelle Leistung verarbeitet mühelos große Dateien.
- Skalierbarkeit: Einfacher modularer Aufbau. Fügen Sie einfach Knoten hinzu, um auf Petabyte-Ebene zu skalieren. Gewinnen Sie Leistung und Kapazität in wenigen Minuten. Keine Unterbrechung oder Ausfallzeit.
- Flexibilität: Wird lokal und/oder in der Cloud ausgeführt.
- Sichtbarkeit: Überwachen Sie die Leistung, Kapazität und Nutzung integrierter Echtzeitanalysen.
Mehr erfahren
Qumulo hat mehrere hilfreiche Ressourcen für mehr über VFX erfahren und wie unsere Dateidatenplattform dabei hilft, VFX-Produktionspipelines zu beschleunigen. Sehen Sie sich unsere zusätzlichen Ressourcen und Datenblätter an VFX, Animation, Medien und Unterhaltung um zu erfahren, wie wir Unternehmen wie geholfen haben FuseFX und Cinesite-Studios um Filme und Animationsprogramme schneller zum Publikum zu bringen!
In Teil 4, dem letzten Teil dieser Serie, werden wir Beispiele dafür vorstellen, wie VFX-Studios mit der Dateidatenplattform von Qumulo Innovationen schneller vorantreiben.
VFX 101-Serie
- Teil 1: Die Geschichte von VFX und seinen Workflows für die moderne Film- und Animationsproduktion
- Teil 2: Was ist Rendering und warum sind Renderfarmen wichtig?
- Teil 3: Gemeinsame Datenherausforderungen für VFX (und wie man sie löst)
- Teil 4: VFX-Rendering in der Cloud mit Qumulo
Besonderer Dank geht an Matt Ashton und Kristi Whitman für ihre Beiträge zu dieser Blog-Reihe.
