Projektorganisation

[Wolfram]

Ich habe ein Konzert mit 2 Solostimmen und einer zur Musik abgestimmten Videoprojektion, die live zugemischt wird, mit folgender technischen Ausstattung aufgezeichnet.
1. 26m vom Dirigenten entfernt stehen 3 Kameras:
A) JVC 1080p25 durchlaufend, nur auf die Videoleinwand eingegrenzt,
B) Fuji X-T3 mit Ninja Inferno 2160p25, durchlaufend, eingegrenzt auf Videoleinwand mit Orchester und den im Orchester stehenden Solisten,
C) Fuji X-T2 2160p25 mit langem Zeiss, eingegrenzt nur auf die beiden Solisten, läuft mit Unterbrechungen.
2. Ebenfalls auf der Brücke, also 26m entfernt, der Platz des Videokünstlers, der nach Ton, die Bilder zum Projektor sendet, sein Signal 2160p25 mit Ton von seinem MacBook bekomme ich per capture auf SD.
3. Zum Ton:
a) 1 Mic für den Dirigenten, für einführenden Kommentar zu Beginn,
b) 2 hängende Saalmikrofone, 13 m entfernt vom Dirigenten und damit auch noch 13 weitere Meter bis zu den Mikrofonen der Kameras und dem Videomann,
c) Der H6 Audiorecorder verfügt über eigene Mikrofone und bekommt die Saalmikrofone vom Mischpult.

Meine Überlegungen zur Synchronisierung über Ton und Laufzeitverzögerung:
1 m Tonstrecke benötigt 3 ms; 1000 ms dividiert durch 25 fps ergibt 40ms für 1
frame.
Meine Kameras, der Videomann und die Mics des H6 hören 26x3=78 ms den Ton später.
Entspricht ziemlich gut 2 Frames.
Die Saalmics sind 13x3=39 ms später, entsprechend 1 frame.

Sollte ich also VOR der Synchronisierung mit Plural eyes die Tonspuren der Kameras und das capture um 2 frames nach vorne verschieben und die Spuren der Saalmics um 1 frame nach vorne?
Oder ist da ein Gedankenfehler.

Ergänzend dazu:
Mein System verfügt über 4 SSD‘s. Könnte es sinnvoll sein die 2160p25 clips auf diese zu verteilen?

Jetzt wird es Zeit diese lange Geschichte zu beenden.
Erwarte sehr gerne Eure Kommentare.

[berndhl]

Hallo Wolfram,


Die Berechnungen erscheinen mir korrekt. Der Schall legt in 1 sec. (entspricht also 25 B/sec) 343m zurück. Bei 26 m entspricht dies gerundet 2 Frames.
Die Verschiebung der entsprechenden Spuren sollte aus meiner Sicht nach und nicht vor der Synchronisierung von pluraleyes im Schnittprogramm erfolgen.
Das ist die Theorie. Ich habe (mit Unterstützung vieler Filmfreunde) schon sehr viele Konzerte tlw. mit bis zu 9 Kameras aufgenommen und geschnitten. Die Problematik war mir dabei bewusst. Die Spuren habe ich allerdings nie verschoben.
Eine Differenz zwischen Bild und Ton konnte nie festgestellt werden, auch nicht vom Dirigenten etc.. Dabei standen über die Hälfte der Kameras in einer Entfernung von ca. 30m vom Orchester entfernt. Die Tonaufnahme erfolgte separat in unmittelbaren Bereich des Orchesters. Die Synchronisierung wurde ebenfalls mit Pluraleyes und Schnitt mit Edius durchgeführt.
Im übrigen kann Edius 9.5 jetzt selbst nach Audio synchronisieren, was sehr gut funktioniert. Da ich aber z.Zt. sehr große Probleme mit Edius bzgl. der Performance habe, synchronisiere ich jetzt direkt in DaVinci Resolve (free )und schneide auch damit, was sehr gut funktioniert.

Die Verteilung der Aufnahmen der einzelnen Kameras auf verschiedene Platten ist auf jeden Fall sehr sinnvoll und sollte, falls möglich, m.E. immer erfolgen.

Bzgl einer evtl. Differenz zwischen Ton und Bild wegen der verschiedenen Kamerastandpunkte würde ich auf jeden Fall mal testen.

Viel Erfolg beim Testen und Schneiden.

Herzliche Grüße
berndhl

[gurlt]

Die Verschiebung der entsprechenden Spuren sollte aus meiner Sicht nach und nicht vor der Synchronisierung von pluraleyes im Schnittprogramm erfolgen.

Hi,

sehe ich auch so.

Was soll denn ein Verschieben vor der Synchronisation bringen?
Die Audio-Synchronisation (egal ob mit pluraleyes oder Edius) gleicht doch den Versatz des Tones aus.

Danach kannst Du halt schauen, ob der Ton zum Bild passt. Wenn nicht, dann wäre es vermutlich einfacher die Videospuren zu den Tonspuren zu verschieben, als alle Tonspuren zum Bild.

Gruß
Peter

[TWILIGHTSOUL]

*** 26m vom Dirigenten entfernt stehen 3 Kameras
*** 2 hängende Saalmikrofone, 13 m entfernt vom Dirigenten und damit auch noch 13 weitere Meter
bis zu den Mikrofonen der Kameras und dem Videomann
*** Meine Kameras, der Videomann und die Mics des H6 hören 26x3=78 ms den Ton später
*** Die Saalmics sind 13x3=39 ms später, entsprechend 1 frame

Hallo Wolfram!
Ich bin der meinung dass es so nicht stimmt!

Deine kameras hören den ton NICHT 3 mal die zeit später,sondern eben ALLE 3 GLEICHZEITIG
1x26=26 ms später,da sie alle den gleichen abstand zum dirigenten haben,oder?
Somit hören die saalmikros den selben ton NICHT 3 mal die zeit später,sondern eben ALLE 2 GLEICHZEITIG
1x13=13 ms später und damit 13 ms FRÜHER als die kameras,da sie mittig in der strecke hängen!

Und ich hoffe ICH mach da jetzt keinen gedankenfehler...!! ^^

[Wolfram]

@bernd: ...Die Tonaufnahme erfolgte separat in unmittelbaren Bereich des Orchesters....
Dann ist verständlich, dass Du keine Laufzeitprobleme mit Ton hattest. (Entsprechend bei mir Handmikrofon für den Dirigenten).

@Peter: Dass Bild und Ton nicht zusammen sind lässt sich einerseits sehr gut im close-up der beiden Solisten erkennen, weiterhin am Taktstock des Dirigenten und andererseits auch zu hören, wenn ich die Mikros des H6 (26m entfernt) und die Saalmikrofone zusammen abspiele.

...Die Audio-Synchronisation (egal ob mit pluraleyes oder Edius) gleicht doch den Versatz des Tones aus...
Diesen Satz verstehe ich nicht. Synchronisation auf Audio interessiert sich doch nicht dafür, welche Bilder dabei gezeigt werden, sondern sucht charakteristische Strukturen in den Audioanteilen der clips und sortiert sie dann so, daß die chrakteristischen Strukturen zeitgleich beginnen. Dabei kann PluralEyes eine drift zwischen den einzelnen Geräten und dem als Master definierten Ton ausgleichen.
Oder habe ich da etwas falsch verstanden?

Das Argument eher Video als vielfach Audio zu verschieben leuchtet mir ein.

Danke Euch für die Hinweise, mache mich jetzt an die Arbeit und werde berichten.

[Wolfram]

Deine kameras hören den ton NICHT 3 mal die zeit später,sondern eben ALLE 3 GLEICHZEITIG

Richtig!

1x26=26 ms später,da sie alle den gleichen abstand zum dirigenten haben,oder?

Nicht richtig. 1Meter verhält sich zu 3ms, wie 26Meter zu 78ms.

Somit hören die saalmikros den selben ton NICHT 3 mal die zeit später,sondern eben ALLE 2 GLEICHZEITIG
1x13=13 ms später und damit 13 ms FRÜHER als die kameras,da sie mittig in der strecke hängen!

Richtig ist, dass die Saalmikros den Ton nur 39ms später hören, also 1 frame zu spät.

Hallo Dinos,
sicherheitshalber noch einmal zur Klarstellung:
Ich stehe auf der Brücke (26 Meter vom Dirigenten entfernt) mit drei Kameras. Alle Kameras hören den gleichen Ton. 1 Meter entspricht einer Laufzeit von 3 ms; 26 Meter also mal 3ms entsprechen daher 78ms; die bedeuten aufgerundet 2 frames bei 25 fps.
Auf der Brücke befindet sich mein H6 Recorder. Er hört mit seinen eigenen Mikrofonen den Ton 78 ms verzögert. Per Kabel werden ihm das Handmikro des Dirigenten zugespielt (Keine Laufzeitverzögerung) und auch noch die beiden Saalmikros, die ja 13 Meter vom Dirigenten entfernt sind. Diese Mikros hören die Musik also 39ms später, entsprechend 1frame.
Schalte ich also die Saalmikros mit denen des H6-Recorders zusammen hört man die Laufzeitverzögerung.

(Nachtrag: In der Zwischenzeit habe ich am Projekt gearbeitet und stelle zu meinem Entsetzen fest, dass der Videomann den Teil des Konzertes bis zur Pause mit 50 fps gecaptured hat und erst nach der Pause mit 25 fps. Muss also jetzt erst mal die framerate des ersten clips auf 25 konvertieren, da sonst plural eyes nicht geht.
Werde also weiter berichten.)

[gurlt]

Synchronisation auf Audio interessiert sich doch nicht dafür, welche Bilder dabei gezeigt werden, sondern sucht charakteristische Strukturen in den Audioanteilen der clips und sortiert sie dann so, daß die chrakteristischen Strukturen zeitgleich beginnen

Genau richtig!

Aber grade weil doch die Synchronisation nicht auf das Bild, sondern auf diese Strukturen (Peaks) des Tones erfolgen, hast Du doch dann (wenn alles vorschriftsmäßig klappt) auf allen Tonspuren auch untereinander synchronen Ton - egal wo die Standorte der eingesetzten Mikrofone lagen. Denn genau das ist ja der Sinn der Audio-Synchronisierung.


Dass der Ton dann zunächst zeitverzögert zum Bild kommt, liegt natürlich am Abstand der Cam zur Tonquelle.
Aber diese Verzögerung im Ton ist ja dann eben nach der Audio-Synchronisation auf allen Tonspuren - auch die der Bühne selbst - identisch.

Deshalb musst Du also nach der Audio-Synchronisation das Bild auf den Ton anpassen.
Logischerweise sind natürlich vorher Video und zugehörige Tonspur zu trennen, sonst wird ja der Ton ja mitverschoben und damit wieder asynchron zu den übrigen Spuren.

Bei Dir sollte das mit dem Ausgleich einfach sein, da alle eingesetzten Kameras den gleichen Abstand zur Tonquelle haben und somit die gleiche Verzögerung zwischen Ton und Bild aufweisen. Dadurch läuft bei Dir dann auch auf allen Kameras das Bild (untereinander, aber mit dem gleichen Tonversatz) synchron.

Hätten diese Kameras einen unterschiedlichen Abstand zur Tonquelle gehabt, dann wären nach einer Audio-Synchronisation die Bilder der Kamers untereinander nicht mehr synchron und Du müsstest dies mit unterschiedlichen Verschub der Videospuren ausgleichen (z.B. Cam 1 +1 Frame, Cam 2 + 2 Frames).


Nur wenn Du eine Synchronisation auf das Bild der Kameras machen würdest, würde dann bei unterschiedlichen Abständen zur Tonquelle auf Grund der unterschiedlichen Laufzeiten eine Asynchronität des (Kamera) Tones eintreten.

Aber wie schon gesagt, synchronisiert Du ja eben den Ton!!!


Gruß
Peter

[berndhl]

Hallo Wolfram!
Hinsichtlich der verschiedenen Frequenzen hätte ich einen kleinen Tipp:
Edius 9.5 kann auch unterschiedliche Frequenzen nach Audio synchronisieren. Es besteht die Möglichkeit, die 9.5 als Trial herunterzuladen (gültig 30 Tage) und damit die Synchronisierung durchführen. Falls man diese Version nicht erwerben will, kann man das Projekt abspeichern und das Projekt mit
Edius 8.53 öffnen. (mit 8.53, da man nur mit dieser Version Edius 9 herunterladen kann ohne die alte Version zu überschreiben.) Ich habe dies getestet und funktioniert ausgezeichnet.
In Edius 8.53 erscheinen auf der Timeline alle synchronisierten Spuren wie in 9.5. und man kann dort mit dem Schnitt beginnen.
Falls man in Puraleyes synchronisieren möchte, muss ich die abweichende Datei umrechnen, z.B. über Edius, indem ich diese mit der korrekten Frequenz herausrendert.
Ich hatte damit aber tlw. Probleme, allerdings nicht mit Pluraleyes, sondern seltsamerweise mit Edius, das bei der Übertragung Fehler anzeigte.
H. G.
berndhl

[Wolfram]

Edius 9.5 kann auch unterschiedliche Frequenzen nach Audio synchronisieren.

Hi Bernd, ich verfüge über die 9.50-5351. Die Audiosynchronisation ist m.E. aber längst nicht so komfortabel, wie in PluralEyes 4.0. In Edius sollen alle zu synchronisierenden files in einem Bin-Ordner liegen, was allein in meinem Projekt schon ziemlich unübersichtlich wird. Zusätzlich hatte Edius die Kameras vor der Konzertpause richtig erkannt, aber nach der Pause die gleichen Geräte mit nur anderen Clipbezeichnungen als neue Kameras identifiziert.
Habe diesen ersten Versuch mit Edius daher abgebrochen und mit PE 4.0 nach vorheriger Anpassung der framerate weiter gearbeitet.

Über meine Synchronisierungsergebnisse werde ich in den folgenden Tagen berichten.

[gurlt]

Zusätzlich hatte Edius die Kameras vor der Konzertpause richtig erkannt, aber nach der Pause die gleichen Geräte mit nur anderen Clipbezeichnungen als neue Kameras identifiziert.

Hast Du denn für den Teil nach der Pause keine neue Sequenz angelegt?

[Wolfram]

Hast Du denn für den Teil nach der Pause keine neue Sequenz angelegt?

Nein. Benötigt PL 4.0 nicht.

[gurlt]

Das war im Bezug auf Edius gemeint, nicht auf Pluraleyes.

Allein schon aus Gründen der Übersichtlichkeit der TL drängt sich eine Pause doch geradezu auf um eine neue Sequenz anzulegen. So würde dann auch gleichzeitig vermieden, dass Edius die neuen Clips als neue Kamera interpretiert.

Selbst die beiden dann vorhandenen Einzelsequenzen (vor/nach Pause) würde ich nach der Synchronisierung zur einfacheren Bearbeitung per Duplizieren (nicht Kopieren!!!) in weitere Sequenzen unterteilen - z.B. in Musikstücke - um jeweils eine vernünftig überschaubare Timeline zu bekommen.
Gleichzeitig wird so auch verhindert, dass eine ungewollte Veränderung an einem zeitlich späteren liegenden, aber schon bearbeiteten Abschnitt erfolgt, wenn man mal nachträglich doch noch eine Änderung an einem davor liegenden Abschnitt vornehmen muss.

[Wolfram]

Das war im Bezug auf Edius gemeint,

Auch ich arbeite in Edius gerne und viel mit Sequenzen

[Wolfram]

Diese Projekt ist nun fertig. (Anderes war mal wieder dringlicher!)
Die Lösung auf Ton zu synchronisieren und dann, wo nötig, die Bildspur zu verschieben, war der erfolgreiche Weg.

Nun habe ich also einen Konzertfilm mit den zeitgleich projizierten Bildern taktgenau.

In einem weiteren Schritt hat sich durch die Partitur ergeben, daß es nur wenige keypoints gibt, wo die Taktgenauigkeit notwendig ist. In der Mehrzahl der Bildwechsel ist ein Bereich um einen Takt ausreichend. Nun zum Wunsch:
Bei zukünftigen Konzerten und somit unterschiedlichen Geschwindigkeiten bedingt durch den Dirigenten, möchte ich die jetzt erhaltene Bildspur projizieren. Ich stelle mir vor, die Bildspur in kleinere clips zu teilen, diese nach Gehör und Partitur zu starten, aber an kritischen Stellen die Bildspur händisch zu beschleunigen oder zu verlangsamen, um am keypoint eine optimales Ergebnis zu haben. (Hoffentlich habe ich mich verständlich ausgedrückt )
Suche also entsprechende software oder device (ähnlich einer pitch-control im Audio, wo ich die Laufzeit verändern kann).

Diese Beschreibung gehört wahrscheinlich in einen neuen thread, aber ich wüsste nicht unter welchem tag ich sie einstellen sollte. Vermutlich fällt dem moderator oder admin ein solcher ein.