抖音超900万人在用的「卡通脸」特效技术揭秘( 三 ) _特效

自研的形变 GAN 模型
由于抖音「卡通脸」的目标风格与原始人像相比有较大形变，直接用传统 p2p 框架难以训练出高质量效果，字节跳动智能创作团队自研了一套 p2p 形变 GAN 训练框架，对于训练大形变、强风格的卡通目标有很好的效果。字节跳动智能创作团队自研的形变 GAN 训练框架包含两个部分：
1、风格化初步训练，提取卡通脸风格化信息。技术团队构建了一个风格化信息交互融合的非配对训练框架，将真人和卡通脸数据集输入到该框架就可以提取卡通脸风格化信息。该框架是一个端到端的训练框架，包含了风格化特征编码、特征融合、重建训练和风格化初步训练，训练完成后得到一个卡通脸风格化信息，用于下一步精细化训练。

文章插图
2、融合卡通脸风格化信息，精细训练。由第一步得到的卡通脸风格化信息包含了风格和形变等信息，将这部分信息融合到真人图进行精细化训练，利用 p2p 相关的强监督 loss 进行配对训练，训练收敛后得到卡通脸模型。

文章插图
基于以上创新的技术方案，抖音「卡通脸」不仅简化了工程链路、大幅提升迭代效率，还在大角度、表情丰富度、效果风格还原、光影一致性和多肤色匹配等方面取得了明显的优化效果。据了解，负责「卡通脸」项目的字节跳动智能创作团队自 2021 年以来就在 3D 风格化方向重点突破优化，该技术方案已支持多款 3D 风格特效取得平台爆款的成绩。
关于字节跳动智能创作团队：
智能创作团队是字节跳动 AI & 多媒体技术中台，通过建设领先的计算机视觉、音视频编辑、特效处理等技术，支持抖音、剪映、头条等公司内众多产品线；同时通过火山引擎为外部 ToB 合作伙伴提供业界前沿的智能创作能力与行业解决方案。