1、模型结合了多层的信息,进行端到端的训练,以便从左视图直接生成正确的右视图。基础网络预测类似视差的概率图,然后由选择层(selection layer)以差分方式对DIBR建模,其中允许隐含的修补(inpainting)操作。
2、基于单图像的视图生成(Single-image-based view generation , SIVG)采用全卷积网络(FCN)。设计两种FCN架构。
3、第一个是基于FCN和名为DeepViewren的视图绘制网络的组合。第二个由亮度(lumi艘绒庳焰nance)和色度(chromina荏鱿胫协nce)信号的解耦网络组成,由DeepViewdec表示。采用了一个2M立体图像的大型训练数据集。DeepViewren处理速度很快,而DeepViewdec具有更高的精度。
4、编码、解码和渲染网络分别以绿色、蓝色和黄色显示。编码网络从输入图像中提取低、中和高级特征,并将它们传送到解码网络。 在解码之后,渲染网络生成概率视差图并估计右图像。 这里,使用一组平移图像(参见下面的绘制网络)。
5、softmax层将解码网络的输出归一化为疙熳阊涓信道上的概率值(Pi,i∈Ω)。 这里,信道的数量与视差范围豌溧传谴Ω= {-N,-N + 1,...,0,1,...,N}的视差数量相同。 最终右视图像R通过P与其相应平移的左图像L之间的逐像素相乘来合成。
6、DeepViewdec由两个具有相同架构的解耦网络组成,即亮度(Y)和色度(Cb,Cr)网络。 每个网络都是单独培训。每个网络中的绿色、蓝色分别定义编码和解码网络,而黄色表示RGB和YCbCr之间的颜色转换。