Künstliche Intelligenz im Videobereich

Moderator: AK-Moderatoren

Rainer-Erich
Unterstützer
Beiträge: 406
Registriert: 29.10.2007, 11:05
Wohnort: Köln

Künstliche Intelligenz im Videobereich

Beitragvon Rainer-Erich » 12.05.2022, 18:14

Guten Tag,

In seinem Beitrag vom 18.2.22 zum Thema
Gedanken über Software etc. in 2022

hat Andreas u.a. die KI im Videobereich angesprochen.

[color=#4080BF]Aus meiner Sicht würden KI-Neuheiten ein starkes Interesse an Updates auslösen. Adobe scheint hier - trotz ihrer ABO-Politik - auf dem richtigen Weg zusein. Ob BMD diese Preispolitik beibehält oder nur alle zu Resove wechseln lässt, um nach und nach dann auf Preise zu erhöhen, die den Entwicklungsaufwand rechtfertigen, bleibt abzuwarten.
Mit der im o.g. Thread unterschiedlichen geschilderten, aber im Grunde auf einen Nenner zu bringenden Analyse unserer kompetenten Videofreunde stimme ich überein.[/color]

Aber auch wenn die “Filmlust“ aus individuellen Gründen nachlässt, geht es “hinterm Horizont immer weiter, ein neuer……………..“!
So hat mich der Beitrag unseres “Admirals“ neugierig gemacht:
Die künstliche Intelligenz war für mich stets in der Industrie angesiedelt.
Menschliche Anwendungen wurden von Maschinen in den unterschiedlichsten Sparten mit menschenähnlichen Intelligenzleistungen übernommen.
Aber KI im Videobereich war für mich total neu und hat mich interessiert, überrascht und im Ergebnis fasziniert.

Ich habe mich mit einigen Programmen beschäftigt und bin bei Topas Video Enhance AI “hängengeblieben“.
Ich hätte nie gedacht, dass meine alten Filme ( Super 8, HI8, SD, DV ….)
jemals so aufgewertet werden könnten. Es ist unglaublich.
Auflösungen 720X576 werden zu Full HD oder auch 4 K und ..skaliert.
Die ausgespielten Filme im Video Format MOV ProRes 422 HQ verblüffen
mit einer Schärfe und machen Freude auf einem 4K/UHD Fernseher angesehen zu werden. Eine aufwendige damalige Filmbearbeitung in Schnitt, Text und Ton wird im Nachhinein unvorstellbar belohnt. Es ist wie ein neuer Film.
Die Software wird gut erklärt und bietet in einer Trialverson alle individuellen Testmöglichkeiten. Gruß

Gruß
Rainer

Benutzeravatar
Roland Achini
Unterstützer
Beiträge: 2048
Registriert: 29.10.2007, 11:05
Wohnort: Therwil
Kontaktdaten:

Re: Künstliche Intelligenz im Videobereich

Beitragvon Roland Achini » 13.05.2022, 13:15

Hallo Rainer

Das tönt wirklich unglaublich. Topas Video Enhance AI ist offenbar auch für 1920x1080 Filmmaterial nützlich, z.B. für Super Slow Motion oder Upscaling auf 4K.

Kann Topas Video Enhance AI auch innerhalb Avid Media Composer benutzt werden?

Gruss,
Roland
Roland

Benutzeravatar
gurlt
Moderator
Beiträge: 824
Registriert: 29.10.2007, 11:05
Wohnort: Berlin

Re: Künstliche Intelligenz im Videobereich

Beitragvon gurlt » 13.05.2022, 16:02

Hi Roland,

im Zuge einer 99$-Werbeaktion hatte mir vor einiger Zeit ebenfalls Topaz Video Enhance AI gekauft.
Es ist wirklich nicht schlecht was das Programm leisten kann.

Das Programm arbeitet immer SAL und kann m.W. nach nicht als PlugIn in irgendein NLE integriert werden.

Sowohl Deinterlacen, also auch gleichzeitiges Upscaling (theoretisch bis zu 8K) funktionieren da i.d.R. nicht nur bei DV-Material, sondern auch z.B. bei HDV, sehr gut. Hierbei kommt es aber sehr auf die richtige Wahl des eingesetzten AI Models - davon gibt es je nach Aufgabe so einige - und natürlich die Qualität des Quellmaterials an. Hierbei finde ich vorteilhaft, dass man über die Funktion Compare eine Vorschau mehrerer Models für einen kurzen Abschnitt erzeugen kann. So hat man schonmal einen Vergleich der Ergebnisse.

Hier sollte man (m.M.) insbesondere darauf achten, dass das Material nicht zu sehr nachgeschärft wird. Denn dies ergibt ein unnatürliche Ergebnis.

Man muss aber auch klar sagen, dass selbst die AI Technik irgendwo Grenzen hat. Es treten also durchaus auch Bildfehler auf.
Dies können z.B. "eiförmige" Räder bei sich bewegenden Fahrzeugen, Ausfransungen bei bestimmten Kanten, Geisterbilder, oder "Wabern" in bestimmten Bereichen (ähnlich wie bei Stabilisatoren) sein. Oft fallen diese bei der einfachen Wiedergabe dann nicht unbedingt auf, aber sie sind halt vorhanden. Insbes. DV 16:9 (echtes, kein pseudo) wird in einigen Bereichen etwas unscharf.
Bildfehler1.png
DV 4:3 nach 25p UHD
Bildfehler2.png
DV 16:9 nach 25p UHD

Hier kann es u.U. helfen, wenn man nicht den fertigen Film bearbeitet (was aber problemlos machbar ist), sondern die einzelnen Aufnahmen mit jeweils unterschiedlichen Models. Dies wäre aber natürlich ein immenser Arbeitsaufwand und man muss sich Fragen, ob das dann gerechtfertigt ist.



Des weiteren ist nicht nur Slow Motion, sondern auch die Änderung der Bildrate möglich. Dies aber in gesonderten Prozessen.
Hiermit habe ich bisher nur kurz experimentiert, da ich sowas seltener benötige.
Die Ergebnisse scheinen durchaus brauchbar. Aber wie auch bei ähnlichen Verfahren (optischer Flow), oder anderen Programmen treten auch dort schnell Bildfehler (5 beinige Hund) auf.

Als Ausgabeformat sind neben Einzelbildern (jpg / png / tiff) nur H.264/AVC und ProRes 422 HQ (.mov) möglich.

Das wohl größte Manko ist, die Berechnung dauert doch sehr lange.
Selbst auf meinem doch sehr leistungsstarken Rechner braucht ein 30 Min Film schonmal 6 Stunden, oder mehr.
Hier kann man dann halt nur die Bearbeitung am Abend anstoßen und über Nacht laufen lassen.
Vorteilhaft, es können auch mehrere Aufträge eingereicht werden, die dann hintereinander abgearbeitet werden.


Mein[*] Fazit:
  • ein durchaus interessantes Programm mit vielen Möglichkeiten;
  • die grundsätzliche Handhabung ist schnell erlernt, für die durchaus interessanten "Feinheiten" braucht es aber schon einiges Experimentieren/Wissen;
  • verglichen mit anderen Bearbeitungen/Programmen liefert es gute Ergebnisse, Wunder darf man aber nicht erwarten;
  • der reguläre Preis wäre mir etwas zu hoch gewesen, sooft benötige ich das Programm nämlich nicht - für den Rabattpreis war es aber ok.

Gruß
Peter
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.

Benutzeravatar
Roland Achini
Unterstützer
Beiträge: 2048
Registriert: 29.10.2007, 11:05
Wohnort: Therwil
Kontaktdaten:

Re: Künstliche Intelligenz im Videobereich

Beitragvon Roland Achini » 14.05.2022, 08:19

Vielen Dank, Peter, für deine wertvolle, ausführliche Antwort.
Ich werde verzichten.

Gruss,
Roland
Roland

Rainer-Erich
Unterstützer
Beiträge: 406
Registriert: 29.10.2007, 11:05
Wohnort: Köln

Re: Künstliche Intelligenz im Videobereich

Beitragvon Rainer-Erich » 14.05.2022, 18:02

Guten Tag,

Peter:

Auch von mir vielen Dank für die umfassende Analyse/Beschreibung des Programms aus Deiner Expertensicht.
Deine Feststellungen helfen mir als normalen Video-User enorm bei der weiteren Nutzung von Topaz Video Enhance AI.
Auch die KI entwickelt sich ständig; ich habe die Version 2.6.4 und vielleicht ist auch so manches schon wieder verbessert/behoben.
Ich benötige keine Zeitlupe oder Bildausschnittsvergrößerungen, die Wiedergabe 1:1 und die „Nachschärfung“ meines alten Materials ist für mich frappierend.

Roland:
Topaz erscheint nicht wie z.B. Neat als Plug-in in der Effektpalette.
Meine älteren Filme in m2ts/m2t werden über den Browser nicht erkannt.
Ich spiele nach Prüfung/Korrektur die Avid-Timeline als OP1a MXF aus.
Mit dieser Datei sind alle Möglichkeiten in Topaz gegeben.
Ist die Berechnung des Films / gewählte Ausschnittes abgeschlossen, arbeite ich in einem neuen Projekt mit Da Vinci Resolve weiter.
Fehler können nun im Schnittprogramm korrigiert/beseitigt werden. Bei „deinterlaced“ kann der Ton leiden. Laut Topaz will man den Ton möglichst umfassend erhalten.
Ich verzichte auf den Ton und übernehme in der Timeline den O-Ton.
Roland, das Programm ist einen Versuch wert. Die Trialversion steht in 2.6.4 zu Verfügung und hat lediglich im Bild das Wasserzeichen.
Einzelne kurze Testabschnitte mit unterschiedlichen –Output Size- und Qualität hintereinander/übereinander mit Vorschaubild über TV sind zu empfehlen.

Gruß
Rainer

Benutzeravatar
gurlt
Moderator
Beiträge: 824
Registriert: 29.10.2007, 11:05
Wohnort: Berlin

Re: Künstliche Intelligenz im Videobereich

Beitragvon gurlt » 14.05.2022, 19:04

Hi Rainer,

auf alle Fälle sind die Ergebnisse von Topaz Video Enhance AI schon sehr beeindruckend und mit anderen Bearbeitungsmethoden nicht, oder nur schwer erreichbar. Auch ist das Programm sehr anwenderfreundlich und recht leicht zu bedienen, sodass man da schnell zum Ziel kommt.
Da möchte ich jetzt nicht missverstanden werden.

Und manchmal kann man halt auch mit einem anderen Model, oder angepassten Einstellungen ein noch besseres Ergebnis erzielen. Aber dafür benötigt man dann Zeit (woran es bei mir im Moment hapert).
Auch die KI entwickelt sich ständig; ich habe die Version 2.6.4 und vielleicht ist auch so manches schon wieder verbessert/behoben.
Das Programm meldet ein mögliches Update (links oben rotes Signal) und ich bin da auch auf dem Laufenden.

Diese Updates bringen immer wieder mal Programmverbesserungen und auch neue Versionen eines Model. Aber letztlich sind auch bei den besten Algorithmen gewisse Bildfehler nicht zu vermeiden. Sowas kommt ja in den NLEs teilweise sogar bei heutigem Material und bestimmten Bearbeitungen vor.

Gruß
Peter

Benutzeravatar
Roland Achini
Unterstützer
Beiträge: 2048
Registriert: 29.10.2007, 11:05
Wohnort: Therwil
Kontaktdaten:

Re: Künstliche Intelligenz im Videobereich

Beitragvon Roland Achini » 15.05.2022, 12:58

Rainer und Peter: Vielen Dank für die Ergänzungen. Avid Timeline-Ausgabe als OP1a ist ein guter Tipp. Da Vinci Resolve habe ich nicht, aber ich nehme an, man kann auch mit Avid MC weiter bearbeiten.

Gruss
Roland
Roland


Zurück zu „Bildbearbeitung“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast