笔记合成

Facebook AI最新出品的“文字风格刷”(TextStyleBrush),它只需要一张笔迹的照片,就能完美还原出一整套文本字迹来。为了同时实现图像分割文字风格转换,TextStyleBrush模型基于StyleGAN2进行了设计,后者能生成非常逼真的图像照片。

然而,StyleGAN2存在两个问题:

  • 首先,它生成图像的方式是“随便乱打”的,也就是没办法控制输出图像特征。但TextStyleBrush必须要生成指定文本的图像。
  • 其次,StyleGAN2的整体风格不受控制,但TextStyleBrush中的风格涉及大量信息组合,包括颜色、尺度和风格转换等特征,甚至是带有个人特色的笔迹细节差异。

为此,TextStyleBrush首先通过将文本信息和风格作为两个“附加条件”控制模型输出,来解决模型随机生成图像的问题。TextStyleBrush数据集 论文地址

https://lddpicture.oss-cn-beijing.aliyuncs.com/picture/image-20210831152053710.png

https://lddpicture.oss-cn-beijing.aliyuncs.com/picture/image-20210831152108869.png

0%