EchoMimic V2: Kostenlose KI-Software zur lebensechten Avatar-Animation

In der Welt der künstlichen Intelligenz (KI) gibt es ständig neue und aufregende Entwicklungen. Eine besonders interessante Innovation ist die Fähigkeit, digitale Avatare zu erstellen, die lebensecht wirken und sich natürlich bewegen. EchoMimic V2 ist eine solche KI-Software, die es ermöglicht, aus einem einfachen Foto und einer Audioaufnahme eine realistische Animation zu erzeugen. Und das Beste daran: Sie ist kostenlos und Open Source! Dieser Blogbeitrag widmet sich EchoMimic V2 und erklärt, wie Sie diese bemerkenswerte Software nutzen können, um Ihre eigenen digitalen Persönlichkeiten zu erschaffen.

Einführung in EchoMimic V2

EchoMimic V2 ist eine revolutionäre KI-Software, die es ermöglicht, realistische digitale Avatare zu erstellen. Im Gegensatz zu herkömmlichen Methoden der Charakteranimation, die oft teuer und zeitaufwändig sind, nutzt EchoMimic V2 ein einfaches Foto und eine Audioaufnahme, um eine lebensechte Animation zu erzeugen. Diese Software ist besonders interessant, weil sie Open Source ist und man sie kostenlos benutzen kann. Das bedeutet, dass jeder, unabhängig von seinem Budget oder seinen technischen Fähigkeiten, Zugang zu dieser Technologie hat.

Die Evolution von EchoMimic:

EchoMimic V2 ist eine deutliche Weiterentwicklung gegenüber der Vorgängerversion, EchoMimic V1. Während V1 hauptsächlich auf die Animation von Gesichtern beschränkt war (sog. Talking Head Animator), geht V2 einen Schritt weiter und animiert auch den Oberkörper der dargestellten Person. Dies führt zu einer viel natürlicheren und glaubwürdigeren Darstellung. Es gab aber schon eine Version Eins, wo es sich nur um einen sprechenden Kopf gehandelt hat. EchoMimic V2 macht aus dem digitalen Gesicht, einen digitalen Mensch.

Die Funktionsweise von EchoMimic V2

Der Prozess der Animation mit EchoMimic V2 ist denkbar einfach:

1. Referenzbild: Sie stellen ein Foto der Person bereit, die animiert werden soll.
2. Audio: Sie laden eine Audioaufnahme hoch, die den Text enthält, den der Avatar sprechen soll.
3. Handposen (optional): Sie können auch Handposen angeben, um die Gestik des Avatars zu steuern.
4. KI-Magie: EchoMimic V2 nutzt KI-Algorithmen, um das Gesicht und den Körper der Person im Foto mit dem Audio zu synchronisieren und realistische Bewegungen zu erzeugen.

Man braucht ein Foto, ein Audiofile und Gesten.

Sprachunterstützung

EchoMimic V2 unterstützt die Erstellung von Inhalten in diversen Sprachen und Dialekten. Somit können Sie mit den Tools auch Inhalte in anderen Sprachen produzieren, ohne die Sprache selbst sprechen zu müssen .

Alternativen zu EchoMimic V2

Neben EchoMimic V2 gibt es natürlich noch weitere Tools, die ähnliche Funktionen bieten. Einige Beispiele sind Reflmg, AnimateAnyone und MimicMotion. Es ist wichtig zu beachten, dass sich diese Tools in Bezug auf ihre Funktionalität, Benutzerfreundlichkeit und Preisgestaltung unterscheiden.

Hier ist ein Vergleich.

Bei der Wahl des richtigen Tools sollten Sie Ihre spezifischen Anforderungen und Ihr Budget berücksichtigen. EchoMimic V2 ist eine ausgezeichnete Wahl für alle, die eine kostenlose und flexibel anpassbare Lösung suchen. Die anderen genannten Tools können je nach Anwendungsfall ebenfalls interessant sein.

Ein wichtiger Hinweis ist, dass EchoMimic V2, wie viele Open-Source-Projekte, ständig weiterentwickelt wird. Es ist daher ratsam, die neuesten Updates und Entwicklungen im Auge zu behalten, um das Potenzial der Software voll auszuschöpfen.

Installation von Git

EchoMimic V2 setzt auf Git für die Installation voraus. Falls Sie Git noch nicht installiert haben, folgen Sie diesen Schritten:

1. Besuchen Sie die Git-Website:

   www.git-scm.com

2. Laden Sie die passende Version für Ihr Betriebssystem herunter (Windows, macOS, Linux).
3. Führen Sie die heruntergeladene Datei aus und folgen Sie den Anweisungen des Installationsassistenten.

Hinweis: Während der Installation können Sie die Standardeinstellungen beibehalten.

Installation von Anaconda (oder Miniconda)

Für die Ausführung von EchoMimic V2 benötigen Sie eine Python-Umgebung. Anaconda ist eine beliebte Wahl, da sie viele nützliche Pakete und Bibliotheken enthält. Für eine schlankere Installation können Sie Miniconda verwenden:

1. Besuchen Sie die Anaconda-Website: www.anaconda.com oder die Miniconda Seite

   www.docs.conda.com/projects/miniconda.

2. Laden Sie den passenden Installer für Ihr Betriebssystem herunter.
3. Führen Sie den Installer aus und folgen Sie den Anweisungen.
4. Vergessen Sie nicht Conda in den Pfad aufzunehmen, nachdem Sie es installiert haben

Klonen des EchoMimic V2 Repository

Öffnen Sie die Kommandozeile und navigieren Sie zu dem Ordner, in dem Sie die EchoMimic V2-Dateien speichern möchten (z.B. Ihr Desktop). Geben Sie dann folgenden Befehl ein: git clone github.com/antgroup/echomimic_v2 Dadurch wird das EchoMimic V2-Repository auf Ihren Computer heruntergeladen.

Erstellen einer Conda Umgebung

Navigieren Sie in die Kommandozeile zu dem neu erstellten EchoMimic V2 Ordner. Erstellen Sie eine neue Conda Umgebung mit Python 3.10:conda create -n echomimic python=3.10 Aktiviere Conda:conda activate echomimic Die Python Version sollte sich nicht von den angegebenen unterscheiden, da es sonst zu Problemen kommen kann.

Installieren von Torch

Geben Sie die folgenden Befehle in die aktivierte Conda Umgebung ein, um die benötigten PyTorch Pakete zu installieren:pip install -U pip pip install torch==2.0.1 torchvisual==0.20.1 torchaudio==2.0.1 torchvision==0.8.2 torchvision --index-url https://download.pytorch.org/whl/nightly/cu124

pip install -r requirements.txt pip install --no-deps facetorch_pytorch==2.6.0

Herunterladen von FFmpeg-Static

Laden Sie Fmpeg-Static herunter und entpacken Sie es.Exportieren Sie anschließend den Pfad zu FFmpeg: export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static.

Download Pretrained Weights

Git LFS installieren: git lfs install Klonen Sie die Pretrained Weights: git clone huggingface.co/BadToBest/EchoMimicV2 pretrained_weights

Audio Prozessor herunterladen

Gehen Sie zum Huggingface Model:

huggingface.co/facebook/speecht5_whisper_large Stellen Sie sicher, dass Sie ein Huggingface Profil haben und dieses akzeptieren, andernfalls kann dies nicht gefunden werden.

Starte das Gradio

Python App.py

Zusätzliche Hinweise

Wenn Sie einen Fehler erhalten sollten oder sich ein Fenster öffnet, worin steht, dass Triton nicht zur Verfügung steht, können Sie dies ignorieren. Damit die GUI auf Englisch ist, können Sie die Seite im Internetbrowser übersetzen.