LiveLink Face / Gesichts-Mocap-App

live link face scan faceware look dev lidar scan matchmove

Epic Games' kostenlose iOS-App, die Gesichtsbewegungsdaten von der TrueDepth-Kamera des iPhones erfasst und in Echtzeit über Live Link an Unreal Engine streamt – ermöglicht zugängliche Gesichts-Performance-Capture für MetaHumans, digitale Charaktere und Virtual Production ohne teure dedizierte Hardware.

Was ist LiveLink Face?

LiveLink Face ist Epic Games' kostenlose iOS-Anwendung, die Apples TrueDepth-Kamera nutzt, um Gesichtsbewegungen in Echtzeit zu erfassen und über Live Link an Unreal Engine zu streamen. Es macht professionelle Facial-Performance-Capture für jeden zugänglich.

Grundprinzip

Aspekt	Beschreibung
Technologie	Apple ARKit TrueDepth
Blendshapes	52 ARKit-Formen
Übertragung	Live Link Protokoll
Empfänger	Unreal Engine

Hardware-Anforderungen

Komponente	Spezifikation
iPhone	X oder neuer (TrueDepth)
iPad Pro	Mit Face ID
iOS	14.0 oder höher
Netzwerk	WiFi, gleiche LAN

ARKit Blendshapes

Kategorie	Beispiele
Augen	eyeBlinkLeft, eyeLookUp
Augenbrauen	browInnerUp, browDownLeft
Mund	mouthSmileLeft, jawOpen
Nase/Wangen	noseSneerLeft, cheekPuff

App-Features

Feature	Beschreibung
Preview	Echtzeit-Gesichtsvisualisierung
Timecode	Sync-Option
Recording	Lokale Aufnahme
Multi-Source	Mehrere Geräte

Setup-Workflow

Schritt	Beschreibung
1	App installieren
2	UE Live Link aktivieren
3	IP-Verbindung herstellen
4	Character zuweisen

Unreal Engine Setup

Schritt	Aktion
Plugin	Live Link aktivieren
Source	Apple ARKit hinzufügen
Subject	Gerätename wählen
Animation BP	Blendshapes verarbeiten

MetaHuman Integration

Aspekt	Beschreibung
Direct Drive	Automatisches Mapping
Retargeting	Minimal nötig
Quality	Sehr gut
Setup	Schnell

Animation Blueprint

Knoten	Funktion
Live Link Pose	Daten empfangen
Blend Poses	Zusammenführen
Morph Target	Mesh deformieren
Post Process	Nachbearbeitung

Calibration

Aspekt	Beschreibung
Neutral Pose	Gesicht entspannt
Head Pose	Optional kalibrieren
Offset	Anpassen
Reset	Während Session

Aufnahme-Optionen

Methode	Beschreibung
In-App	Lokale Aufnahme
Take Recorder	In UE aufnehmen
Sequencer	Direkt zu Level Sequence
External	Mit Timecode sync

Timecode-Sync

Aspekt	Beschreibung
NTP	Netzwerk-Zeit
Tentacle	Externes Gerät
Manual	Clap-basiert
Precision	Frame-genau

Head Tracking

Feature	Beschreibung
Position	XYZ-Verschiebung
Rotation	Kopfdrehung
Kombination	Mit Blendshapes
Anwendung	Charakter bewegt sich

Optimierung

Maßnahme	Beschreibung
Licht	Gleichmäßig, hell
Abstand	30-60cm optimal
Stabilität	iPhone fixieren
Netzwerk	5GHz WiFi

Multi-Performer

Setup	Beschreibung
Mehrere iPhones	Parallel möglich
Subjects	Nach Gerät benannt
Zuweisung	Zu verschiedenen Chars
Sync	Via Timecode

Vergleich zu professionellem Mocap

Aspekt	LiveLink Face	Pro-System
Kosten	iPhone vorhanden	$$$$
Qualität	Sehr gut	Beste
Marker	Keine	Oft nötig
Setup	Minuten	Stunden

Limitierungen

Aspekt	Beschreibung
Auflösung	52 Blendshapes
Präzision	Gut, nicht perfekt
Okklusion	Hände stören
Latenz	Minimal, aber vorhanden

Use Cases

Anwendung	Beschreibung
Previz	Schnelle Animation
Indie Games	Erschwingliche Solution
Virtual Production	Real-Time Chars
Training	Mocap lernen

Troubleshooting

Problem	Lösung
Keine Verbindung	Firewall, gleiche LAN
Tracking verloren	Licht, Abstand prüfen
Jitter	Smoothing in BP
Lag	5GHz WiFi

Audio Recording

Aspekt	Beschreibung
In-App	Audio mitschneiden
Sync	Zu Blendshapes
Export	Mit Animation
Lip Sync	Nachbearbeitung

Export-Formate

Format	Anwendung
CSV	Raw Blendshape Data
Take	UE Sequencer
USD	Pipeline-Export
FBX	Via UE Baking

Best Practices

Praxis	Grund
Gute Beleuchtung	Tracking-Qualität
Stabile Montage	Weniger Drift
Neutral-Kalibrierung	Saubere Ausgangslage
Test Recordings	Vor wichtigen Takes

Heute

LiveLink Face hat Facial Motion Capture demokratisiert. Was früher teure Marker-basierte Systeme oder Dome-Setups erforderte, ist jetzt mit einem iPhone möglich. Für Indie-Entwickler, Previz und sogar viele professionelle Anwendungen liefert die App beeindruckende Ergebnisse zu einem Bruchteil der bisherigen Kosten.

Im Lexikon weiter