达摩院“寻光”视频创作平台全面评测

今天早些时候收到“寻光”内测申请通过的通知，睡前发个简单的评测。

该平台定位是达摩院的“视觉技术能力应用平台”，目前应用较少（对比发布会）期待逐步开放更多视觉类应用。

寻光分为两个地址：

https://xunguang.damo-vision.com/ （寻光AI）

https://damo-vision.com/ (看样子是对不太成熟的功能进行测试的平台，放在最后讲解，这里就叫它“寻光AI小功能测试”)

寻光AI

全部功能列表，一屏根本放不下，看样子他要应用各类最新技术覆盖各类视觉编辑场景。看起来寻光要做国内的 RunwayML 。

口型控制

我们分别使用真人、动漫形象、图片、视频，四类素材查看口型同步效果。

注意：当前测试视频/图片素材分辨率总像素数（长*宽）要求（256*256～2048*2048）。

一般使用动漫形象，小幅循环视频生成效果最佳，先从这里开始：

测试效果：（压缩3倍左右）

使用图片再次生成：

动漫人物脸部光线问题，口型同步后面部光线不自然。

使用真人图片再次生成（不尝试真人视频，整体效果会比单张人物图片更好一些）：

表情控制

精准控制图像或视频中的人物面部表情，生成一段符合表情模板的视频。

测试效果：

运镜控制

测试效果：

运动幅度有些大，可以看到最后几帧截取的图片效果很差：

目标消除

视频中素材消除，提供智能选择、框选和擦除。这里尝试消除静态目标，但静态目标的背景略复杂。

可以自行尝试大幅运动的元素进行消除，列如飞驰的汽车、走路的行人、运镜中的静物。

测试效果

风格变换

不放视频了，效果略差，画面闪烁，这里截取一张略好的图像。

寻光AI小功能测试

登陆后进入首页，只看到虚拟换装和姿态编辑，功能还是比较基础的。

首页展示的三维生成功能需要单独申请。

虚拟换装评测

首先让一位穿的少的小姐姐快速正能量。这里可以看到手部正确的展示在服装上。但该大的部位可能受到模型限制，普遍被缩小，并没有按照原人物体型处理，肤色也有变化。

之前测试的单件长款服装，再实时短款上装加下装效果：

我知道有人会好奇，长款加下装会不会把长裙塞到裤子里？劝你不要这么干...

姿态编辑

这次我们换成一位专业模特来调整姿态，上传模特图片后，第一步是“获取骨架”

拖拽骨架节点，让模特掐腰，效果不尽如人意。

继续拖拽骨骼，尝试让双手展开的效果，但他的手部骨骼是无法自有推拽调整的。

使用骨架姿态模板，这里可以看到模板里的“手部骨骼”是由变化的，同时生成出正确的手部。

使用姿态模板时，可以选择“效果升级”，明显的提升图像质量。

效果升级前：（随机抽取10次，特意挑了一张比较难看的方便比较）

效果升级后：