Großes Multifrac-Update: Distributed Rendering

2009-08-08

Hauptsächlich, um auf dem Gebiet ein bisschen mehr Erfahrung zu sammeln (und weil es einfach Spaß macht), habe ich mein Multifrac um die Möglichkeit erweitert, verteilt im Netzwerk rendern zu können. Ich "rechtfertige" das deshalb etwas, weil es sich zugegebenermaßen bei diesem Programm nur begrenzt lohnt -- wenn die normale Version ohnehin schon auf einem DualCore oder gar QuadCore läuft, dann muss man schon noch einige weitere Rechenleistung im Netz verfügbar haben, damit man wirklich Zeit sparen kann. Und man muss sehr rechenhungrige Bildern rendern. Egal, schaden tut es nicht. ;) Der normale Modus ist ja auch noch da.

Screenshot

Bedienung. Auf den Rendernodes muss das Node-Programm gestartet werden, was in der Multifrac.jar mit enthalten ist:

java -cp Multifrac.jar multifrac.net.Node -h 192.168.0.23

Damit bindet er sich an die angegebene IP. Ohne die Angabe von "-h" hört er nur auf "localhost". Alle möglichen Optionen sieht man durch "--help" und in der README steht noch etwas zum Port.

Aus dem Hauptprogramm heraus muss der Koordinator gestartet werden, welcher sich im Menü unter "Render -> Distributed rendering" befindet. Die GUI dort dürfte selbsterklärend sein. Anmerken kann man vielleicht noch, dass die Liste der Hosts ein nettes Kontextmenü zur weiteren Verwaltung hat (inklusive Laden und Speichern der Liste).

Ein paar technische Details:

Die Nodes sind selbst noch einmal multithreaded und bieten immer so viele Threads an, wie es CPUs im System gibt. Es genügt also auch auf dicken Maschinen, nur eine davon zu starten (eventuell Heapspace vergrößern).
Solange noch andere Nodes laufen, können beliebig viele Nodes ausfallen. Die restlichen Nodes werden dann deren Arbeit übernehmen -- angefangene und noch nicht fertiggestellte Bereiche müssen leider noch einmal gerechnet werden, denn die Nodes rechnen immer gleich einen ganzen Packen (Zeilen im Bild) und schicken den dann komplett zurück.
Der Koordinator versucht in gewissem Rahmen, die Aufträge so zu verteilen, dass jede Node an einem Auftrag etwa 5 Sekunden rechnet (inklusive Übertragung des Ergebnisses). Damit soll verhindert werden, dass bei stark ungleicher Rechenleistung zu schwache Nodes "absaufen" und alle anderen aufhalten.
Im verteilten Modus gibt es eine zusätzliche Option: "Stream TIFF to disk". Damit werden alle Bereiche, die der Koordinator empfängt, direkt als TIFF-Bild auf die Platte geschrieben (einen kleinen lokalen Buffer gibt es aber schon noch). Dadurch können dann exorbitant große Bilder gerendert werden, da der Koordinator nicht mehr erst das komplette Bild im RAM zwischenspeichert. Hat aber auch zur Folge, dass es kein automatisches Herunterrechnen (Downscaling) des Bildes mehr gibt -- 1920x1200 mit 8x8 Supersampling landet also als 15360x9600 großes TIFF-Bild auf der Platte (~450MB). Zum Downscaling empfiehlt sich dann z.B. "convert" von ImageMagick.

Mehr fällt mir jetzt erstmal nicht mehr ein. :) Noch werde ich dem Ding keinen "v1.1"-Tag verpassen, bis eventuell gefundene Bugs gefixt sind.

Links:

Comments?