让角色开口说话，可以拥有电影般的质感。MoCha 是由 Meta AI 的研究人员开创的一个前沿模型，专为生成“对话驱动”的电影级镜头而生。仅需一段语音和相应的文本，MoCha 就能创造出栩栩如生、正在讲话的角色视频。MoCha 的独特之处在于其端到端的生成方式，它不依赖于3D人脸模型或骨架关键点这类“拐杖”，而是直接从数据中学习，这使得模型更具扩展性和通用性。通过创新的“语音-视频窗口注意力”机制，MoCha 在并行生成所有视频帧的同时，实现了与音频高度同步的、极为逼真的唇部动作。
让角色开口说话，可以拥有电影般的质感。MoCha 是由 Meta AI 的研究人员开创的一个前沿模型，专为生成“对话驱动”的电影级镜头而生。仅需一段语音和相应的文本，MoCha 就能创造出栩栩如生、正在讲话的角色视频。MoCha 的独特之处在于其端到端的生成方式，它不依赖于3D人脸模型或骨架关键点这类“拐杖”，而是直接从数据中学习，这使得模型更具扩展性和通用性。通过创新的“语音-视频窗口注意力”机制，MoCha 在并行生成所有视频帧的同时，实现了与音频高度同步的、极为逼真的唇部动作。
