ffmpeg hat jetzt built-in-support für Whisper über Whisper.cpp. Ich hab Whisper.cpp schonmal auf ein paar TB Videos laufen lassen müssen. Die Ergebnisse sind releativ gut, wenn es sich bei de mVideo tatsächlich um viel gesprochenes handelt. Wenn es etwas stiller wird oder gar keine Stimmen zu hören sind, halluziniert es sehr doll.
Die Models werden bei ffmpeg nicht mit ausgeliefert und man muss eigene Model-Dateien angeben. Vielleicht taucht da irgendwo noch ein besseres Model auf.