开源实时交互数字人引擎,音视频同步对话,支持打断与多模型融合
LiveTalking 是开源的实时交互数字人引擎(Apache-2.0 协议,当前版本 v2.0.4),官网标语「构建 实时交互 数字人」。支持 ernerf、musetalk、 wav2lip、Ultralight-Digital-Human 多种数字人模型与声音克隆,数字人说话可被 打断,可经 WebRTC、RTMP 或虚拟摄像头输出;输入文字或音频后,LLM 生成回复 (可选)、TTS 合成语音、实时口型同步并推流。官方列出的使用场景包括 24 小时 无人直播带货、接入企业知识库的数字人客服、教师数字分身授课、大屏讲解,以及 经 API 批量生成数字人短视频。面向自部署,需 Python 3.10+,官方称已在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 环境测试通过,另提供 Gitee、GitCode 国内镜像;除免费开源版外另有需咨询的商业版,站方称已有 100+ 落地企业。



暂无相关文章。