FaceSync-音频口型同步和面部动画

资源介绍

1.4.0版新增功能-音频本地化管理器 为每种语言保留其专属的预烘焙面部动画和源音频。本地化对话资源、明确的默认语言回退机制，以及可选的管理器均可与您现有的FaceSync Player配合使用。更改语言会影响下一条请求的播放；无效请求将保持当前的播放状态。包括检查器验证、无需播放的分辨率预览，以及完整的设置和C#指南。无Unity Localization依赖。此版本已支持烘焙后的对话播放；自动化的时间轴本地化和Addressables资源加载则作为后续的独立工作。 1.3.0版本新增功能-批量烘焙工具 在某个编辑器窗口中渲染所选音频片段或整个文件夹。预览队列，跳过已有输出的片段，安全取消，并恢复。创建新的动画片段，而不会覆盖现有的动画资源。批量烘焙指南。 欢迎来到Frostember FaceSync，这是专为Unity打造的顶级音频驱动面部动画生态系统。无论您是构建aaa级电影过场动画，高度优化的VR游戏还是现场VTubing化身，FaceSync都能提供准确的口型同步和程序面部动作，并且没有麻烦。 别再浪费时间手动制作混合形状动画，也别再为繁重的实时CPU负载而苦恼。FaceSync弥合了高端写实效果与完美优化之间的差距。 文档路线图 | 论坛 | YouTube 我们强烈建议安装TextMeshPro资产，以便查看演示场景中的文本！ 该插件目前不支持完整的macOS！ 🔥主要特点 零CPU离线烘焙：实时音频分析会降低移动端和VR平台的帧率。我们内置的Baker在编辑器中以60 FPS的速度模拟音频，烘烤视位，程序头噪声，并闪烁到高度优化的FaceSyncAnimationAsset中。在不进行实时音频分析的情况下回放。播放和混合形状的计算仍然由CPU完成。 原生时间轴集成：将烘焙好的数据拖放至我们的自定义FaceSync轨道中。在时间线检查器中，您可以平滑地混合动画、拖动时间轴，并动态覆盖眼睛与头部的行为。 程序化眼部与头部动作：让呆滞的凝视焕发生机。FaceSync会自动计算逼真的眨眼、眼跳以及微小的眼球抖动。头部和颈部会根据角色的语音强度，通过使用珀林噪声进行程序化响应。 一键式ARKit与CC3/CC4设置：无需再手动分配数十个混合形状。我们的VisemeMappingProfile具有标准ARKit (52个blendshapes) 和Character Creator钻机的一键自动生成功能，可立即创建高度准确的嘴形。 实时麦克风 (VTuber就绪): 切换到实时模式，并使用随附的Frostember_MicrophoneInput组件使用任何连接的麦克风实时驱动角色的面部。非常适合多人语音聊天和虚拟主播使用。 设置向导：使用自动化设置向导，可在30秒内让您的角色完成完整绑定并实现语音对话。 情绪配置文件: FaceSyncController内的专用，强大的模块，允许开发人员无缝混合自定义面部表情 (例如，快乐，悲伤，愤怒) 与活动口型同步数据。 IK视线追踪：让您的角色自动追踪场景中的任何物体或玩家！强大的逆运动学系统与程序说话的噪音和动画无缝融合，给你的角色一个动态的焦点，没有不自然的旋转捕捉。 语言实验室的整合 GP Gear Worx Productions推出的Language Lab为其对话序列器提供了可选的FaceSync集成功能。本地化的对话线可以驱动实时或烘焙的FaceSync口型同步，而语言实验室则管理相应的字幕和对话音频。 安装完这两个资源后，请通过The Language Lab启用TLL_FACESYNC脚本定义。 语言实验室是一项独立的第三方资产，不包含在FaceSync中。 💻API与脚本 使用FaceSyncPlayer组件，通过代码动态触发对话变得极其简单。只需分配烘焙后的资源并调用 .播放()。非常适合用于自定义RPG对话和任务系统。 有问题吗？ 音频本地化管理器（1.4.0）：FaceSyncLocalizedDialogue存储了语言区域到烘焙资源的映射关系。FaceSyncAudioLocalizationManager.TryPlay会在更改现有播放器之前解析所选的区域设置并验证配对数据。区域设置匹配会去除空格、忽略大小写，并将下划线视为连字符。回退仅使用显式默认值；重复的键和无效的精确匹配将被拒绝。需要激活的播放器和AudioSource，已加载的源音频，正AudioSource音调和AudioSource循环已禁用。玩家循环仍然可用。无需依赖Unity Localization、Addressables或任何付费的对话系统。现有的动画格式和原生分析器保持不变。在编辑音频后重新渲染录音。自动时间线本地化、协同暂停/恢复以及异步加载功能不在本次发布范围内。 批量烘焙工具（1.3.0）：工具> Frostember Studios > FaceSync> 批量烘焙器。仅编辑器、导入的剪辑或文件夹的顺序处理、递归扫描、重复删除、只读预览、每个剪辑的结果和取消。默认情况下，现有输出会跳过源AudioClip引用；可选的新录制始终使用唯一的资源路径。批量输入: 单声道/立体声音频剪辑，至少1/60秒，加载类型 = 加载时解压缩。导入设置未更改。使用现有的60 Hz烘焙器和数据格式，无需运行时迁移。 核心架构与功能： 音频处理：采用Oculus LipSync引擎，实现高精度的实时FFT音素检测（15个核心口型）。 离线烘焙系统: 自定义编辑器窗口 (FaceSyncBaker) 以60 FPS的速度将复杂的音频分析和程序动画烘焙到一个轻量级的ScriptableObject (FaceSyncAnimationAsset) 中。 零CPU播放: FaceSyncPlayer组件读取已烘焙的资产，消除了用于音频分析的运行时CPU成本，使其针对移动和VR进行了高度优化。 本机时间轴集成: 自定义可播放API实现 (FaceSyncTrack、FaceSyncClip、FaceSyncTrackMixer) 支持平滑混合、编辑器擦除和动态状态覆盖。 程序动画: 数学实时生成眼跳飞镖，微抖动和语音能量驱动的Perlin噪声，用于头部和颈部旋转。 自动映射配置文件: VisemeMappingProfile包括为ARKit (52个blendshapes) 和Character Creator 3/4标准自动生成映射的算法。 实时输入: 包括Frostember_MicrophoneInput脚本捕获系统音频进行实时处理 (VTubing/Multiplayer)。 性能和LOD: 内置的基于距离的细节级别 (LOD) 和视锥剔除会在网格位于屏幕外或远处时自动禁用处理。 GC优化: 使用基于数组的迭代构建运行时播放循环和时间轴混合器，以防止垃圾收集分配高峰。 C # API: 干净且可访问的API，用于通过代码 (.Play()，.Stop()) 动态触发对话。 依赖与要求： 需要免费的Oculus LipSync Unity集成包 (Meta SDK)。=> 包含在包中 与内置、URP和HDRP渲染管道兼容。 适用于任何利用SkinnedMeshRenderer blendshapes的人形或通用装备。