DEEP LEARNING之三十八:利用卷积神经网络中间层进行图像风格转化 – Rethink

是什么风格转换?

是什么风格转换?呢?比方让一幅遥控器拍摄的相片不假思索的变为抽象派画风。让咱们来看一眼卷积积分神经式方法是办法造成的。
用卷积积分神经式方法来举行图片的风格转变,咱们通常需求两张相片。,物质 用C表现,这是你的出口。,需求变更的图片。本人是风格。,用S表现,这是你祝福的风格的相片。。发生出口。 image。以G表现,这是你的出口。图片举行了风格转换后达到的图片。

是什么吃水音量神经式方法想出?

咱们采取滚瓜烂熟的深卷积积分神经式方法。,每个音量都有好多透过(也称为核重大聚会)。。滤器将有本人用于卷积积分计算的促进感受性器办法。。咱们选择容许促进感受性器办法出口更大的值的出口。。后推出口图像,由于它是卷积积分。,它对应于图片上的本人区域。。卷积积分层越浅。,一致的的图像越小。,更多小事。,卷积积分层越深。,一致的的图像区域越大。,物质越多越好。。比方:

一楼单独地几条线。,三楼当然啦弯曲物。,以后,第三层和四个一组之物层具有下去图像的产地知识。。脸出现时第五层。。

办法明确本钱 Function

向咱们的风格进展成绩,应当办法明确本钱 重大聚会呢?
左右本钱重大聚会应当可以答复两个成绩。:
1. 你真理于前段的相片吗?,达到的新地图不克不及与原始图分别开来。。
2. 咱们有什么浇铸吗?。
因而它的本钱 重大聚会的精确地解释分为两一份遗产。:
J(G) = \alpha J_{content}(C,G) + \beta J_{style}(S,G)
限制因素\alpha,\beta即把持图像发生的两个成绩的测量。这两个一份遗产混物质本钱重大聚会和浇铸本钱重大聚会RES。。

办法达到图片G

  1. 达到随机图像G,比方是100*100*3的矩阵来代表析像系数为100*100析像系数的RGB3度过图片。
  2. 咱们应用梯度垂下算法来最小量咱们精确地解释的J(G)。。这一步更风趣。,在垂下以前,更新的信息体重值。,现时咱们更新的信息出口图像。。向神经式方法,其更新的信息的限制因素。咱们应用方法的体重和为装支管作为限制因素。,在这一点上,咱们应用出口作为限制因素来容许梯度垂下更新的信息。。

像,咱们的C和S图片分大概:

表示方式再算法,咱们逐渐更新的信息随机图片。:

物质本钱重大聚会

咱们的风格转换的所稍微本钱重大聚会是由两一份遗产结合的。,一一份遗产是物质本钱重大聚会,用来表现G和C.暗中的相像性。这么咱们该办法精确地解释物质本钱重大聚会呢?

layer拔取

咱们实现,深卷积积分方法的每个卷积积分层都将想出S。。这么那上床可以代表物质呢?以防选浅层,是初级的要点,如形成一层。。深奥也前提图像的已确定的结成。。因而咱们以为咱们应当选择代理人程度。。

应用目前的锻炼

咱们可以应用事先锻炼的图像辨别是非锻炼作为原始MO。,像,咱们可以应用VGG。 network。

办法精确地解释物质本钱重大聚会

现时咱们有本人表示方式锻炼的锻炼。,还选择了本人层。,像,L层。。咱们也有图像C和图像G。。
咱们的办法是比力图像的出口C和G在L级。,即,L层的值在促进感受性重大聚会以后的。。以防这两个值彼此着手处理,以后两个图是使有效的。。
J_{content}(C,G) = \frac{1}{2}{\left \| a^{[l](C)}-a^{[l](G)} \right \|}^2
下面的表现是两张图片,C.,G 表示方式深卷积积分方法,L出口矩阵对应于。

风格本钱重大聚会

风格本钱重大聚会比力有意思。是什么风格?无论如何什么风格。,以防倒塌,色、形成一层等基本要点。。和风格可以被说成结成应用的已确定的要点。。像,白色 粗线期。,白 扭曲等。。这么咱们应当办法表达风格呢?不同的CHA的相干性。像,白色与形成一层相干。,白色和扭曲是无足轻重的。。这是一种风格。,透过在咱们的卷积积分方法中可以检测出本人要点。。这么要点的相干就可以转变为同一组input应用不同的filter的出口如果相干。比方说对图像所有可能的小的块同时用检测白色的filter和检测形成一层的filter举行计算,接到两组出口矢量。。以防一下子看到这两组出口矢量是一节的相干的。以后咱们可以探出意见,这幅画的风格正宽宏大量的应用。。咱们还应当应用宽宏大量的的取消来到达图片。。

咱们作出了本人更正式的精确地解释。
率先,前提层L的出口是i*j*k。 即,一节是I.。,宽度为J,频道是K.,由于频道是K.,在这上床中,咱们检测K要点。 咱们濒看一下这k个要点在l层的出口下的两两相干性.由于计算两两相干性,咱们需求应用K*K矩阵来记忆左右相干矩阵。
向图像G和S,咱们计算L上K*k一定尺寸的的相干矩阵。。以后计算两个坐标的评价差的平方和。。就接到了风格本钱重大聚会。
为风格,咱们可以选择更多的等级。,或许应用所稍微卷积积分层来计算浇铸浪费重大聚会。,由于决议风格的要点两者都小不点儿的要点,也有结成的要点。。

现时你应当可以列出风格转换重大聚会原版的工资重大聚会了,它计入了物质本钱重大聚会和风格本钱重大聚会。以后应用梯度垂下来变更出口值。,注意到,它并没有变更分量的使丧失。。顶点,咱们接到一张图片,保存了咱们原稍微物质,并受胎新的物质。。

相干

发表评论

电子邮件地址不会被公开。 必填项已用*标注