Das von vr3 neu entwickelte Produktionstool track2go
bindet die generierten Tracking-Daten des virtuellen Studios
in das Videosignal ein und stellt diese der Postproduktion zur Verfügung.
track2go
Jeder, der Filme im GreenScreen Studio realisiert,
kennt die Schwierigkeiten:
- Regie und Kamera müssen Perspektive, Handlung und Bewegung anhand des Storyboards möglichst präzise nachvollziehen, damit in der Post der entsprechende Hintergrund passt
- Protagonisten können die Umgebung der Handlung nicht wahrnehmen
- bei Kamerabewegungen müssen die Marker im Studio so positioniert werden, das diese beim 3D-Post-Tracking auch funktionieren.
- bei Schärfenverlagerung, Bewegungsunschärfen oder geringer Schärfentiefe werden die Marker unscharf und damit unbrauchbar
- erhebliche Probleme bereiten Personen oder Gegenstände, die „durch die Marker laufen“, da diese retuschiert werden müssen.
- bei nahen Einstellungen gehen die Marker „verloren“
- schnelle Schwenks oder Zooms machen die Marker „unbrauchbar“ für die Postproduktion
track2go bietet hier einen anderen Ansatz:
Alle Kamerabewegungen werden schon während der Aufnahme von einem Tracking-System erfasst und jede Szene mittels Realtime-Renderer und Chroma Keyer in Echtzeit perspektivisch korrekt dargestellt.
Das bedeutet, dass alle am Dreh Beteiligten die Einstellungen und Perspektiven vor und während der Aufnahme am Monitor einschätzen können. (previz)
Bildsprache, Dramaturgie und Ästhetik sollten keinerlei Einschränkungen unterliegen.
Ob auf Stativ oder Dolly, einem Kran oder mit Handkamera, die Kamera erhält einen möglichst großen Spielraum und kann sich frei im Raum bewegen.
Eine sehr schnelle und effektive Produktionsweise, denn jede Szene kann direkt beurteilt bzw. korrigiert werden.
Das Tracking-System erfasst alle Kamerabewegung im gesamten Studiobereich, wird vom Renderer in realtime verarbeitet und in HD ausgespielt.
Das aufgezeichnete Material geht lediglich in den Schnitt und kann für den Endkunden ausgespielt werden.
Dieses Arbeitsweise ist Standard bei virtuellen Produktionen.
Es gibt jedoch viele Anwendungen, wo das Realtime-Rendering im Ergebnis nicht ausreicht. Wer das Optimale aus einem Greenscreen Shot herausholen will, wird das Keying und Compositing in der Postproduktion realisieren.
Wir haben den Workflow virtueller Produktionen mit track2go erweitert.
Gefilmt wird in einer 4k Auflösung bei gleichzeitiger Erfassung der Trackingdaten.
Die Echtzeitfähigkeit des virtuellen Systems wird für eine Pre-Visualisierung im Studio verwendet und parallel mit den eingebundenen Trackingdaten auf den Audiospuren 3+4 im HD-SDI-Signal aufgezeichnet und der Postproduktion zur Verfügung gestellt.
Aktuell werden folgende Achsen übermittelt:
- PositionX, PositionY, PositionZ
- Pan, Tilt, Roll
- Zoom, Focus
- center shift X, center shift Y
Die Previs kann geschnitten und als Proxy dem Compositing zur Verfügung gestellt werden.
Die Software „track2go“ liest das Videofile ein, extrahiert die enthaltenen Trackingdaten aus der Audiospur und exportiert diese als Keyframe-Animation in das FBX-Format.
Da die verschiedenen DCC-Programme das FBX Format unterschiedlich interpretieren, werden aktuell 4 Presets für die geläufigsten System unterstützt: (Stand 10/2015)
- 3ds Max
- Maya
- Nuke
- Fusion
Neben der Videovorschau kann über eine OpenGL-Ansicht ein Mischbild aus dem Video und den enthaltenen Daten angezeigt werden.
Nach dem Import der FBX-Files wird im 3D-Programm eine Kamera erstellt, welche die Keyframe-Animation aus den Trackingdaten enthält.
Zusammenfassung
Die herkömmlich beim Compositing verwendeten, Software basierten 3D-Trackingprogramme müssen eine zeitaufwändige Bildanalyse im Videomaterial durchführen.
Bei der Aufnahme am Set werden zusätzliche Marker benötigt, um später im Bild die Positionsänderung verfolgen zu können. In bestimmten Situationen ist es nahezu unmöglich, aus dem Videobild die Position für die Kamera im 3D-Raum zu erstellen (z.B bei Zoom/Rotation in der GreenBox).
Erschwerend kommt hinzu, dass die Trackingpunkte im Bild auch wieder entfernt werden müssen. Keine leichte Aufgabe, wenn Protagonisten die Marker kreuzen oder verdecken.
track2go vereinfacht diesen Prozess, da das Tracking schon während der Aufzeichnung erfolgt und die real entstandenen Kamerabewegungen vom Set verwendet werden.
Der „track2go-Exporter“ wandelt die im HD-SDI-Signal enthaltenen Trackingdaten in das FBX-Format.
Mit den Keyframe-Animationen werden dann die virtuellen Kameras gängiger DCC-Programmen erstellt.
Es kann direkt mit Keying und dem Compositing begonnen werden.
Zusätzlich besteht die jederzeit die Möglichkeit, dem Renderer die aufgezeichneten Trackingdaten wieder zuzuspielen und dabei Elemente des Hintergrunds auszutauschen. So können Filme zu einem späteren Zeitpunkt inhaltlich aktualisiert oder auch nachträglich durch ein komplett anderes virtuelles Set ersetzen werden.
Das Setup
vr3 Produktions-Setup in Düsseldorf:
Studio
- 240qm Studio, tonfest, klimatisiert
- ausreichend Licht mit Schienensystem und Pantographen
- 10x10m Greenbox Hohlkehle
- Beschallung
- Maske- und Garderobe, Produktionsbüro
Produktion / Aufzeichnung:
Kamera 1
- 4k URSA, PL-Mount, Cineprime Red Zoom, ext. Festbrennweiten möglich
- Mo-Sys „StarTracker“ Tracking System für komplett frei im Raum bewegliche Kamerapositionen, Optik Encoder Zoom & Schärfe
- Panther Dolly mit Vario-Jib-Arm auf Schiene (auch Halbkreis)
- vr3 RealTime Renderer „vector“ mit integriertem Keyer
- Viewfinder (straight & gerendert)
- Teleprompter
- Intercom
Kamera 2
- HD-Studiokamera
- Tracking der Achsen Pan/Tilt, Zoom/Focus, Hub und Schienenfahrt
- vr3 RealTime Renderer „vector“ mit integriertem Keyer
- Vinten Studiostativ auf Schienen
- Viewfinder (straight & gerendert)
- Intercom
Kamera 3
- HD-Studiokamera
- Tracking der Achsen Pan/Tilt, Zoom/Focus
- vr3 RealTime Renderer „vector“ mit integriertem Keyer
- Position auf Stativ
- Viewfinder (straight & gerendert)
- Teleprompter
- Intercom
Studio Controlling
- variables Regiepult, Monitoring, Intercom
- mehrere Kontrollmonitore mit Umschaltung auf alle Videoquellen
Abgesetzte Regie
- Kamerasteuerung
- Virtuelle Setsteuerung
- Videomischer
- Kreuzschiene
- Aufzeichnung
- Monitoring
- Tonmischung
- Soundzuspielung ins Studio
- Teleprompter
- Intercom