Ebsynth: 基于人工智能的真人视频动漫化转换工具

Ebsynth是一款基于人工智能的视频动漫化转换工具，可以用于多种图像合成任务，如引导纹理合成、艺术风格转换、内容感知修复和超分辨率。

Ebsynth的特点是能够保持源材料的真实度，不依赖于神经网络，而是使用了非参数纹理合成算法的最新实现。由于它是基于块的，Ebsynth能够产生清晰的结果，保留原始图像中的所有细节。

Ebsynth的主要功能是能够将真实视频转换为动画视频。Ebsynth适用于多种任务，如给图像和视频上色、纹理转移和图像风格化。Ebsynth是一款强大的数字图像和视频处理工具，在计算机图形学、视觉特效和视频处理等领域有广泛的应用。

特色功能

• 纹理按数字：这是一种基本的引导纹理合成方法，最早由Image Analogies论文提出。我们可以用一张自然场景的照片和它的分割图（例如，岩石涂成绿色，天空涂成蓝色）作为样式和引导，然后手工画出一个目标分割图，让Ebsynth生成一个与之匹配的“照片”。这相当于将源照片的风格转移到目标分割图上，并且尊重每个分割区域。
• StyLit：光照引导的3D渲染风格化：这是一种非真实感渲染方法。目标是将一个3D模型渲染成艺术家的风格。具体来说，我们想要捕捉艺术家表达不同光照效果（如高光、接触阴影和间接反射）的方式。可以用一张手绘画作为样式，然后用3D模型渲染出不同光照条件下的引导图，让Ebsynth生成与之匹配的渲染结果。
• 视频风格化：这是一种将真实视频转换为动画视频的方法。我们可以用一张手绘画作为样式，然后用视频中的一帧作为引导，让Ebsynth生成与之匹配的动画帧。然后我们可以对视频中的其他帧重复这个过程，或者使用Ebsynth提供的批处理功能一次性处理整个视频。

收费价格

Ebsynth目前是完全免费的，可以从官网下载Windows版本或者从GitHub下载源代码。Ebsynth支持CPU和CUDA两种后端，如果有NVIDIA显卡，可以使用CUDA加速计算。Ebsynth还提供了一个在线演示版，可以在浏览器中尝试一些简单的图像合成任务。

常见问题

Ebsynth与神经网络风格转换有什么区别？

Ebsynth与神经网络风格转换最大的区别在于它不使用任何预训练或者训练过程，而是直接从样式和引导图中提取和匹配块，然后将它们合成到输出图中。这样做的优点是能够保持源材料的真实度和细节，不会产生模糊或者失真的效果。缺点是需要提供合适的引导图，否则可能会出现不一致或者不自然的结果。

Ebsynth如何处理视频中的运动？

Ebsynth目前没有专门处理视频中的运动的功能，它只是对每一帧进行单独的图像合成。如果视频中有大幅度的运动或者视角变化，可能会导致动画帧之间出现抖动或者不连贯的现象。为了减少这种问题，可以尝试使用一些视频稳定或者光流估计的工具来预处理视频，或者手工调整引导图来适应运动。

Ebsynth支持哪些图像格式和分辨率？

Ebsynth支持PNG和JPG两种图像格式，分辨率没有限制，但是需要注意内存和计算时间的消耗。一般来说，分辨率越高，需要的内存和计算时间越多。如果内存不足，可以尝试降低分辨率或者使用CPU后端。如果计算时间过长，可以尝试降低分辨率或者使用CUDA后端。