lipsync1 VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time 논문 링크: https://arxiv.org/pdf/2404.10667프로젝트 페이지: https://www.microsoft.com/en-us/research/project/vasa-1/0. Abstract단일 이미지와 발화에 대한 오디오 클립이 주어졌을 때 Visual Affective Skills (VAS)를 가지는 실제 같은 talking face를 생성하는 프레임워크 제안 → VASA첫 모델인 VASA-1은 단순히 입술만 오디오에 맞게 움직이는 것 뿐 아니라 다양한 얼굴의 뉘앙스, 자연스러운 머리의 움직임까지 적용하여 생동감있는 결과를 만들 수 있음본 논문의 혁신적인 점 → 확산 (Diffusion)을 기반으로 얼굴 잠재 공간 (latent space)에서 전체적인 얼굴이나 머리의 움직임을 생성.. 2024. 11. 19. 이전 1 다음
