代码编织梦想

每日读报的时候看到的。作者来自玛丽女王伦敦大学等等几个不认识的大学。

作者提出CLIP这种图文对训练,其实它的image feature把各种维度的feature都融合在一起了。

比如左图这张金鱼的照片,CLIP的一整个图片feature其实包含了三种维度的信息。从名词上来说,可以是金鱼;从形容词上来说,可以是金色的;从动词上来说,可以是游泳。

本文就是想把这些混合在一起的特征去解耦出来,效果展示在右边。(为了实现可视化,作者采用了一个基于CLIP的文生图模型)

可以看到,对于文森特梵高,CLIP出来的是文森特本人的照片,混合以他的作品的色彩风格。但是经过作者模型解耦之后,去除noun的结果,就剩下adj类的特征,所以第二行出现的是文森特作品风格的类似图片。
去除adj的结果,就是只剩下noun也就是事实性的特征,所以第三行是文森特本人。
在这里插入图片描述

个人觉得这个思路非常新颖。包括后面作者还展示了其他的一些用法,能去除artist风格影响,还能去除血腥画面风格:

在这里插入图片描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_40286308/article/details/130844477