• Jesse
    2018年12月6日 17:46

    这篇文章我们来聊聊 Advanced Skeleton V5.570 版本中新增的功能,值得引起我们注意的是,这个版本中新增了自动口型的功能。所谓自动口型,就是当你准备好了一段音频以及该音频的文字,就可以自动匹配输出这段音频的口型。是不是很炫酷。

    这个功能用到了 Montreal Forced Aligner 这个库。好消息是这个库理论上可以支持所有语言,坏消息是 Advanced Skeleton 仅提供了英语的解决方案。

    如何使用?

    1. Advanced Skeleton 插件更新到 5.570.

    2. 角色文件含有 ctrlPhonemes_M 这个控制器

    20181206162158.png

    1. 一段英文音频,以及该音频的文本。

    这里说明一下第 2 点,你可以使用插件提供的模型,只需要更新一下就好了。具备了上面这些条件之后,引用角色模型,导入音频,点击 角色选择器 Selector:biped 或者 picker ,然后点击 Anim auto lipsync,然后会打开一个对话框,第一次使用会提示你下载相关的文件,点击下载就好。

    20181206160315.png

    下载完之后会自动打开,然后删除文本框中的内容并且输入你准备好的音频文本。

    20181206162129.png

    然后点击 Run Auto LipSync 然后等待一段时间。等运行完成之后,点击播放,一段口型就做好了。默认会添加上头部以及眼睛的动画,但这个几乎是没法用的。

    注意事项:

    1. 首先是音频需要是 .wav 格式。
    2. 其次请检查文本不能还有数字,必须全英文。
    3. 再次如果文本中出现域名等其他有发音的标点,请转换成英文。比如:stanford.edu,请转换成 stanford dot e d u
    4. 接着如果原文中有出现简写或短语,比如上例中的 edu , 请写成 e d u。否则不能识别。

    意义

    从预览效果来看,当前使用插件完成的效果并不是很理想,包括不能准确的识别背景音以及对白,口型不够饱满,还需要动画师的二次创作。但是我们会发现,近几年 AI 越来越接近我们的工作以及生活了,而且对于一些重复性的操作,以及规律性的工作,AI 具有极高的优势,举例来说,去噪点,无损放大图片的尺寸等等。此外基于大数据 AI 还可以做非常多的事情,比如制作群众角色,写实的角色,合成模型。我觉得,未来几年之内,在整个 CG 制作过程中,AI 的参与度会更高。

    如果你工作的主要内容是诸如:

    • 动捕清理
    • 临摹
    • 拓扑
    • 文件清理等
    • 复制并调整并让这些物体之间不尽相同

    那么你可能需要调整一下职业方向了。

    Refs:

    官方教学视频:Demonstration41

    自动口型测试:乔布斯斯坦福演讲

    Ending

    如果你在尝试的过程中发现问题,请留言。

    20181206162158.png

    PNG, 8.5 KB, jesse上传于2018年12月6日

    20181206162129.png

    PNG, 8.8 KB, jesse上传于2018年12月6日

    20181206160315.png

    PNG, 7.4 KB, jesse上传于2018年12月6日