1.本技术涉及图像处理技术领域，图像具体涉及一种图像重建系统和方法。重建
背景技术：
2.为了实现前置摄像头拍照，系统现在的和方手机通常做法是挖出一个孔洞来布设摄像头，这种样式导致手机屏幕不规整，法流屏幕显示比例较低，图像用户体验不佳。重建
3.为了实现全面屏手机或更高的系统全屏比例，现有技术中的和方解决方案就是在摄像头上方密集布设用于屏幕显示的不透明发光二极管，以使手机屏幕兼顾显示和摄像的法流功能。
4.然而，图像现有技术的重建方案在用屏下摄像头拍照的时候，入射光会优先通过密集排布的系统二极管，从而会产生衍射，和方导致图像颜色产生偏移，法流图像质量较低。
技术实现要素：
5.针对上述技术问题，本技术提供一种图像处理系统和方法，能够减少衍射对图像质量的影响，优化图像色彩，提升图像质量。
6.第一方面，本发明提供一种图像重建系统，包括：获取模块，n个处理模块和重建模块，处理模块包括第一频率空间联合模块、第二频率空间联合模块、组合模块，n为大于等于1的正整数；
7.获取模块，用于获取待重建图像并对待重建图像进行预处理，得到待重建图像对应的第一特征图像；
8.第n个处理模块所对应的第一频率空间联合模块，用于对第n-1个处理模块得到的第n-1个第六特征图像和第n-1个第七特征图像进行学习，得到频率域对应的第n个第二特征图像和空间域对应的第n个第三特征图像；
9.第n个处理模块所对应的第二频率空间联合模块，用于对第n个第二特征图像和第n个第三特征图像进行学习，得到频率域对应的第n个第四特征图像和空间域对应的第n个第五特征图像；
10.第n个处理模块所对应的组合模块，用于分别将第n-1个第六特征图像与第n个第四特征图像、第n-1个第七特征图像与第n个第五特征图像逐元素相加，得到第n个第六特征图像和第n个第七特征图像，n为1时，第n-1个第六特征图像和第n-1个第七特征图像均为第一特征图像；
11.重建模块，用于根据第n个第六特征图像和第n个第七特征图像，确定出预重建图像；
12.重建模块，还用于通过u-net神经网络对待重建图像进行预测，得到待重建图像的每个像素对应的预测系数，并根据预测系数，对预重建图像的颜色进行优化处理，得到重建图像。
13.可选的，频率空间联合模块包括至少一个频域特征学习单元、双支传输单元、至少一个空间域特征学习单元，组合单元；
14.频域特征学习单元，用于对第一目标特征图像进行频率域学习，得到第八特征图像；
15.空间域特征学习单元，用于对第二目标特征图像进行空间域学习，得到第九特征图像；
16.双支传输单元，用于确定第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像；
17.组合单元，用于根据第八特征图像、第九特征图像、第一跨域门限特征图像和第二跨域门限特征图像，确定出第三目标特征图像和第四目标特征图像；
18.其中，频域特征学习单元为第一频率空间模块所对应的频域特征学习单元时，第一目标特征图像为第n-1个第六特征图像，频域特征学习单元为第二频率空间模块所对应的频域特征学习单元时，第一目标特征图像为第n个第二特征图像；
19.空间域特征学习单元为第一频率空间模块所对应的空间域特征学习单元时，第二目标特征图像为第n-1个第七特征图像，空间域特征学习单元为第二频率空间模块所对应的空间域特征学习单元时，第二目标特征图像为第n个第三特征图像；
20.第一目标特征图像为第n-1个第六特征图像，第二目标特征图像为第n-1个第七特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第二特征图像和第n个第三特征图像；
21.第一目标特征图像为第n个第二特征图像，第二目标特征图像为第n个第三特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第四特征图像和第n个第五特征图像。
22.可选的，频域特征学习单元，具体用于将第一目标特征图像分别通过垂直和水平方向的傅里叶变换，得到垂直方向对应的第一频谱和水平方向对应的第二频谱；
23.频域特征学习单元，具体用于对第一频谱的实部和第二频谱的实部在通道维度上进行连接处理，得到第一处理结果；
24.频域特征学习单元，具体用于对第一频谱的虚部和第二频谱的虚部在通道维度上进行连接处理，得到第二处理结果；
25.频域特征学习单元，具体用于分别通过全连接层对第一处理结果对应的频谱特征和第二处理结果对应的频谱特征进行重建，得到重建后的第一频谱和重建后的第二频谱；
26.频域特征学习单元，具体用于分别对重建后的第一频谱和重建后的第二频谱进行逆傅里叶变换，得到重建后的第一频谱对应的第十特征图像，和重建后的第二频谱对应的第十一特征图像；
27.频域特征学习单元，具体用于在通道维度上对第十特征图像和第十一特征图像进行连接处理，得到第八特征图像。
28.可选的，空间域特征学习单元，具体用于对第二目标特征图像进行特征提取处理，并将处理结果在通道维度上划分为第一通道特征图像和第二通道特征图像；
29.空间域特征学习单元，具体用于对第二通道特征图像进行特征进行处理，并将处理结果在通道维度上划分为第三通道特征图像和第四通道特征图像；
30.空间域特征学习单元，具体用于对第四通道特征图像进行特征进行处理，得到第五通道特征图像；
31.空间域特征学习单元，具体用于对第一通道特征图像、第三通道特征图像和第五通道特征图像，执行通道拼接操作，并对拼接结果进行特征提取处理得到第十一特征图像；
32.空间域特征学习单元，具体用于将第十一特征图像作为残差加入第二目标特征图像，得到第九特征图像。
33.可选的，双支传输单元，具体用于在通道维度上，对第一目标特征图像与第二目标特征图像进行连接处理，并对处理结果进行卷积处理，得到第十二特征图像；
34.双支传输单元，具体用于分别使用a*b和b*a的卷积核沿垂直方向和水平方向对第十二特征图像进行卷积处理，并对处理结果按元素相加聚合得到第十三特征图像，其中a＞b，且a、b均为正整数；
35.双支传输单元，具体用于使用sigmoid激活函数对第十三特征图像进行激活处理，根据处理结果得到第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像。
36.第二方面，本发明提供了一种图像重建方法，包括：
37.获取待重建图像并对待重建图像进行预处理，得到待重建图像对应的第一特征图像；
38.对目标特征图像进行学习，得到频率域对应的特征图像和空间域对应的特征图像，其中，目标特征图像为第n-1个第六特征图像和第n-1个第七特征图像时，频率域对应的特征图像和空间域对应的特征图像分别为第n个第二特征图像和第n个第三特征图像，目标特征图像为第n个第二特征图像和第n个第三特征图时，频率域对应的特征图像和空间域对应的特征图像分别为第n个第四特征图像和第n个第五特征图像；
39.分别将第n-1个第六特征图像与第n个第四特征图像、第n-1个第七特征图像与第n个第五特征图像逐元素相加，得到第n个第六特征图像和第n个第七特征图像，n为大于等于1的正整数，n为1时，第n-1个第六特征图像和第n-1个第七特征图像均为第一特征图像；
40.根据第n个第六特征图像和第n个第七特征图像，确定出预重建图像；
41.通过u-net神经网络对待重建图像进行预测，得到待重建图像的每个像素对应的预测系数，并根据预测系数，对预重建图像的颜色进行优化处理，得到重建图像。
42.可选的，对目标特征图像进行学习，得到频率域对应的特征图像和空间域对应的特征图像，包括：
43.对第一目标特征图像进行频率域学习，得到第八特征图像；
44.对第二目标特征图像进行空间域学习，得到第九特征图像；
45.确定第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像；
46.根据第一目标特征图像、第二目标特征图像、第一跨域门限特征图像和第二跨域门限特征图像，确定出第三目标特征图像和第四目标特征图像；
47.其中，第一目标特征图像为第n-1个第六特征图像，第二目标特征图像为第n-1个第七特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第二特征图像和第n个第三特征图像；
48.第一目标特征图像为第n个第二特征图像，第二目标特征图像为第n个第三特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第四特征图像和第n个第五特征
图像。
49.可选的，对第一目标特征图像进行频率域学习，得到第八特征图像，包括：
50.将第一目标特征图像分别通过垂直和水平方向的傅里叶变换，得到垂直方向对应的第一频谱和水平方向对应的第二频谱，
51.对第一频谱的实部和第二频谱的实部在通道维度上进行连接处理，得到第一处理结果；
52.对第一频谱的虚部和第二频谱的虚部在通道维度上进行连接处理，得到第二处理结果；
53.分别通过全连接层对第一处理结果对应的频谱特征和第二处理结果对应的频谱特征进行重建，得到重建后的第一频谱和重建后的第二频谱；
54.分别对重建后的第一频谱和重建后的第二频谱进行逆傅里叶变换，得到重建后的第一频谱对应的第十特征图像，和重建后的第二频谱对应的第十一特征图像；
55.在通道维度上对第十特征图像和第十一特征图像进行连接处理，得到第八特征图像。
56.可选的，对第二目标特征图像进行空间域学习，得到第九特征图像，包括：
57.对第二目标特征图像进行特征提取处理，并将处理结果在通道维度上划分为第一通道特征图像和第二通道特征图像；
58.对第二通道特征图像进行特征进行处理，并将处理结果在通道维度上划分为第三通道特征图像和第四通道特征图像；得到第五通道特征图像；
59.对第一通道特征图像、第三通道特征图像和第五通道特征图像，执行通道拼接操作，并对拼接结果进行特征提取处理得到第十一特征图像；
60.将第十一特征图像作为残差加入第二目标特征图像，得到第九特征图像。
61.可选的，确定第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像，包括：
62.在通道维度上，对第一目标特征图像与第二目标特征图像进行连接处理，并对处理结果进行卷积处理，得到第十二特征图像；
63.分别使用a*b和b*a的卷积核沿垂直方向和水平方向对第十二特征图像进行卷积处理，并对处理结果按元素相加聚合得到第十三特征图像，其中a＞b，且a、b均为正整数；
64.使用sigmoid激活函数对第十三特征图像进行激活处理，根据处理结果得到第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像。
65.第三方面，本发明还提供了一种终端设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第二方面及第二方面的可选方式所提供的方法。
66.第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第二方面或第二方面的可选方式所提供的方法。
67.第五方面，本公开提供了一种计算机程序产品，包括计算机程序/指令，该计算机
程序/指令被处理器执行时实现如第二方面或第二方面的可选方式所提供的方法。
68.本发明的有益效果：
69.本发明提供的图像重建系统，引入频率信息，并与空间信息进行交互和融合，可以有效地消除衍射产生的光谱偏差并恢复高强度基础衍射中心附近的纹理，通过混合不同色彩空间的系数可以实现对色温的调节，能够提升图像质量，优化显示效果，提升用户体验。
附图说明
70.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
71.图1为本发明提供的一种图像重建系统的结构示意图；
72.图2为本发明提供的一种频率空间联合模块的结构示意图；
73.图3为本发明提供的一种频域特征学习单元的结构示意图；
74.图4为本发明提供的一种空间域特征学习单元的结构示意图；
75.图5为本发明提供的一种双支传输单元的结构示意图；
76.图6为本发明提供的一种图像重建方法的流程示意图；
77.图7为本发明提供的一种实现结果示意图；
78.图8为本发明提供的一种终端设备的结构示意图。
79.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
80.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
81.现有技术中，在摄像头上方密集布设用于屏幕显示的不透明发光二极管，以使手机屏幕兼顾显示和摄像的功能的方式，由于光在通过于其波长相似的孔径时，会发生衍射，导致在用屏下摄像头拍照的时候，入射光会优先通过密集排布的二极管产生衍射，导致图像颜色发生偏移，图像质量下降。
82.该衍射在空间上会呈现周期性特征，因此通过傅里叶变换的频域特性，通过频域学习能够有效消除具有周期性的纹理。此外，当强光发生时，衍射中心强度会很大，导致成像过程中的颜色通道值过大而饱和，表现在图像上的结果就是白色耀斑，从而使得图像中强光周围的图像内容细节丢失，这种内容丢失时频域学习无法恢复的，因此通过空间域学习来能够补充损失的内容细节丢失。另外，为了有效的让频域和空间域两部分特征具有选择性的相互交互和融合，进一步通过双流转换单元生成门限，让两部分学习过的特征有选
择性的交互，能够进一步提升图像质量。最后，由于屏下相机成像过程中，入射光还会受到屏幕前涂的各种薄膜层的影响，导致图像中像素颜色偏移，通过预测一组用于混合不同色彩空间的系数来调整色温，有效优化、修正图像色彩。
83.图1为本发明提供的一种图像重建系统的结构示意图，如图1所示，图像重建系统包括：获取模块11，n个处理模块12和重建模块13。n为大于等于1的正整数。
84.示例性的，当n大于1时，图像重建系统包括多个处理模块，n个处理模块串联，即在前处理模块的输出为在后处理模块的输入。
85.其中，处理模块12，包括第一频率空间联合模块121、第二频率空间联合模块122、组合模块123。
86.获取模块11，用于获取待重建图像f并对待重建图像f进行预处理，得到待重建图像f对应的第一特征图像f1。
87.示例性的，图像重建系统对待重建图像f进行像素重建和卷积处理，得到待重建图像f对应的第一特征图像f1。
88.第n个处理模块12所对应的第一频率空间联合模块121，用于对第n-1个处理模块12得到的第n-1个第六特征图像和第n-1个第七特征图像进行学习，得到频率域对应的第n个第二特征图像和空间域对应的第n个第三特征图像
89.第n个处理模块12所对应的第二频率空间联合模块122，用于对第n个第二特征图像和第n个第三特征图像进行学习，得到频率域对应的第n个第四特征图像和空间域对应的第n个第五特征图像
90.第n个处理模块12所对应的组合模块123，用于分别将第n-1个第六特征图像与第n个第四特征图像第n-1个第七特征图像与第n个第五特征图像逐元素相加，得到第n个第六特征图像和第n个第七特征图像
91.其中，n为1时，第n-1个第六特征图像和第n-1个第七特征图像均为第一特征图像f1。
92.重建模块13，用于根据第n个第六特征图像和第n个第七特征图像确定出预重建图像f
′
。
93.重建模块13，还用于通过u-net神经网络对待重建图像f进行预测，得到待重建图像f的每个像素对应的预测系数，并根据预测系数，对预重建图像f
′
的颜色进行优化处理，得到重建图像f
″
。
94.示例性的，使用轻量的u-net网络对待重建图像f进行预测，得到一组系数t，尺寸大小为12
×h×
w，通过矩阵变换来实现颜色变换。其中t中每个坐标的元素包括9维权重系数3维偏置系数当输入是(r
in
,g
in
,b
in
)时，对应的输出(r
out
,g
out
,b
out
)可以通过以下公式计算：
[0095][0096]
对于图像中的每个坐标，权重系数可以平衡不同颜色空间的亮度。偏置系数可以调节图像亮度。这种设计提供了卓越的色彩增强效果。
[0097]
本发明提供的图像重建系统，引入频率信息，并与空间信息进行交互和融合，可以有效地消除衍射产生的光谱偏差并恢复高强度基础衍射中心附近的纹理，通过混合不同色彩空间的系数可以实现对色温的调节，能够提升图像质量，优化显示效果，提升用户体验。
[0098]
图2为本发明提供的一种频率空间联合模块的结构示意图，如图2所示，频率空间联合模块包括至少一个频域特征学习单元21、双支传输单元22、至少一个空间域特征学习单元23、组合单元24。
[0099]
频域特征学习单元21，用于对第一目标特征图像ff进行频率域学习，得到第八特征图像
[0100]
空间域特征学习单元23，用于对第二目标特征图像fs进行空间域学习，得到第九特征图像
[0101]
双支传输单元22，用于确定第一目标特征图像ff与第二目标特征图像fs所对应的频率域到空间域的第一跨域门限特征图像g
f2s
，以及空间域到频率域的第二跨域门限特征图像g
s2f
。
[0102]
组合单元24，用于根据第八特征图像第九特征图像第一跨域门限特征图像g
f2s
和第二跨域门限特征图像g
s2f
，确定出第三目标特征图像和第四目标特征图像
[0103]
其中，频域特征学习单元为第一频率空间模块121所对应的频域特征学习单元时，第一目标特征图像ff为第n-1个第六特征图像频域特征学习单元为第二频率空间模块122所对应的频域特征学习单元时，第一目标特征图像ff为第n个第二特征图像
[0104]
空间域特征学习单元为第一频率空间模块121所对应的空间域特征学习单元时，第二目标特征图像fs为第n-1个第七特征图像空间域特征学习单元为第二频率空间模块122所对应的空间域特征学习单元时，第二目标特征图像fs为第n个第三特征图像
[0105]
第一目标特征图像ff为第n-1个第六特征图像第二目标特征图像fs为第n-1个第七特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第二特征图像和第n个第三特征图像
[0106]
第一目标特征图像ff为第n个第二特征图像第二目标特征图像fs为第n个第三特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第四特征图像和第n个第五特征图像
[0107]
示例性，输入频率空间联合模块的特征图为ff，fs，其输入尺寸为c
×h×
w，分别作为频率流和空间流输入到频率空间联合模块中，表示如下：
[0108][0109][0110]
其中，flb(
·
)表示频域特征学习单元，slb(
·
)代表空间域特征学习单元，)代表空间域特征学习单元，分别代表频率空间联合模块学习到的频域和空间域的特定特征。
[0111]
组合单元确定的跨域门限特征图g
s2f
，g
f2s
，相应的频率空间联合模块输出的跨域特征图表示如下：
[0112]gf2s
,g
s2f
＝dtu(ff,fs)
[0113][0114][0115]
其中，dtu(
·
)，表示双支传输单元，flb(
·
)表示频域特征学习单元，slb(
·
)代表空间域特征学习单元，表示逐元素相乘。
[0116]
频率空间联合模块的最终输出表示为输出尺寸为c
×h×
w，表示如下：
[0117][0118][0119]
其中，表示频率流输出，表示空间流输出，代表逐元素相加，代表域特定特征图，代表跨域特征图。
[0120]
示例性的，频率空间联合模块包括两个频域特征学习单元、一个双支传输单元、两个空间域特征学习单元和一个组合单元。
[0121]
两个频域特征学习单元的输入均为ff，输出均为
[0122]
两个空间域特征学习单元的输入均为fs，输出均为
[0123]
双支传输单元的输入为ff，fs，输出为g
f2s
，g
s2f
。
[0124]
组合单元对应六个输入，分别为g
f2s
，g
s2f
。
[0125]
组合单元用于对第二频域特征学习单元的输出的与g
f2s
执行逐元素相乘操作，得到对第二空间域特征学习单元的输出的和g
s2f
执行逐元素相乘操作，得到再对第一频域特征学习单元的输出的和第一空间域特征学习单元的输出的和分别执行执行逐元素相加操作，得到和
[0126]
本发明提供的图像重建系统包括一系列处理衍射的频率空间联合模块和处理色移的重建模块。其中，频率空间联合模块包含频域特征学习单元、空间域特征学习单元和双支传输单元。基于频域特征学习单元可以消除图像中水平和垂直两个方向的衍射；基于空间域特征学习单元提取层次特征，可以进一步补充局部细节的缺失；基于双支传输单元可
以促进这两部分进行选择性地交互和联合学习。本发明相比以前的方法，引入频率信息，并与空间信息进行交互和融合，可以有效地消除衍射产生的光谱偏差并恢复高强度基础衍射中心附近的纹理，为更高质量的屏下相机图像重建提供了更好的方法。
[0127]
图3为本发明提供的一种频域特征学习单元的结构示意图，如图3所示，频域特征学习单元，具体用于将第一目标特征图像ff分别通过垂直和水平方向的傅里叶变换，得到垂直方向对应的第一频谱f
ver
和水平方向对应的第二频谱f
hori
。
[0128]
频域特征学习单元，具体用于对第一频谱f
ver
的实部和第二频谱f
hori
的实部在通道维度上进行连接处理，得到第一处理结果。
[0129]
频域特征学习单元，具体用于对第一频谱f
ver
的虚部和第二频谱f
hori
的虚部在通道维度上进行连接处理，得到第二处理结果。
[0130]
频域特征学习单元，具体用于分别通过全连接层fc对第一处理结果对应的频谱特征和第二处理结果对应的频谱特征进行重建，得到重建后的第一频谱和重建后的第二频谱
[0131]
频域特征学习单元，具体用于分别对重建后的第一频谱和重建后的第二频谱进行逆傅里叶变换，得到重建后的第一频谱对应的第十特征图像fv′
er
，和重建后的第二频谱对应的第十一特征图像f
′
hori
。
[0132]
频域特征学习单元，具体用于在通道维度上对第十特征图像f
′
ver
和第十一特征图像f
′
hori
进行连接处理，得到第八特征图像f
′f。
[0133]
示例性的，将输入的尺寸为c
×h×
w的特征图分别通过水平和垂直方向的快速傅里叶变换(fft)得到c
×h×
(w/2+1)和c
×
(h/2+1)
×
w尺寸的频谱，使用公式表达如下：
[0134][0135][0136]
其中，f
ver
和f
hori
均指代输入尺寸为(c/2)
×h×
w的特征图，fftv(
·
)和ffth(
·
)分别代表垂直和水平方向的快速傅里叶变换，别代表垂直和水平方向的快速傅里叶变换，分别代表频谱的实部和虚部。
[0137]
对频谱的实部和虚部在通道的维度上进行连接，然后使用全连接层对频谱特征进行重建。使用公式表达如下：
[0138][0139][0140]
其中，concat(
·
)代表通道拼接操作，fc代表全连接层，和分别为垂直和水平方向的频谱。
[0141]
使用逆fft变换将垂直方向和水平方向重建的频谱分别转换为特征图，并在通道的维度上进行连接作为最终的输出。使用公式表示如下：
[0142]
[0143][0144]f′f＝concat(f
′
ver
,f
′
hori
)
[0145]
其中，ifftv(
·
)和iffth(
·
)分别是垂直和水平方向的逆快速傅里叶变换，split(
·
)将频谱图划分为实部和虚部两部分，concat(
·
)代表通道拼接操作，f
′
ver
和f
′
hori
分别是垂直方向和水平方向重构的特征图，f
′f代表最终的特征图输出。
[0146]
进一步的，该系统针对衍射会导致的垂直和水平方向的周期性斑纹，将特征分别采用垂直和水平方向的快速傅里叶变换fft变换到频域，通过全连接层fc进行频域特征重建，消除频域中冗余的信息，从而使得经过快速傅里叶逆变换ifft后的特征能够有效的消除对应的周期性斑纹。
[0147]
图4为本发明提供的一种空间域特征学习单元的结构示意图，如图4所示，空间域特征学习单元，具体用于对第二目标特征图像fs进行特征提取处理，并将处理结果在通道维度上划分为第一通道特征图像f
r1
和第二通道特征图像f
c1
。
[0148]
空间域特征学习单元，具体用于对第二通道特征图像f
c1
进行特征进行处理，并将处理结果在通道维度上划分为第三通道特征图像f
r2
和第四通道特征图像f
c2
。
[0149]
空间域特征学习单元，具体用于对第四通道特征图像f
c2
进行特征进行处理，得到第五通道特征图像f
r3
。
[0150]
空间域特征学习单元，具体用于对第一通道特征图像f
r1
、第三通道特征图像f
r2
和第五通道特征图像f
r3
，执行通道拼接操作，并对拼接结果进行特征提取处理得到第十一特征图像fr。
[0151]
空间域特征学习单元，具体用于将第十一特征图像fr作为残差加入第二目标特征图像fs，得到第九特征图像f
′s。
[0152]
示例性的，空间域特征学习单元包括最基本的特征提取模块cbr(
·
)，由3
×
3卷积层，批归一化层，leakyrelu激活层级联组成。
[0153]fs
通过多个cbr模块逐步细化。每层保留一半的通道特征以供进一步细化，其余的在特征重建后输出。这个过程可以表述为：
[0154]fr1
,f
c1
＝split(cbr(fs))
[0155]fr2
,f
c2
＝split(cbr(f
c1
))
[0156]fr3
＝cbr(f
c2
)
[0157]fr
＝cbr(concat(f
r1
,f
r2
,f
r3
))
[0158]
其中，split(
·
)代表在通道维度上将特征图分为两份，concat(
·
)代表通道拼接操作，f
c1
、f
c2
表示进一步渐进细化的粗略特征。f
r1
、f
r2
、f
r3
表示细化特征，fr表示聚合后重建的特征。
[0159]
将fr作为残差加到输入的空间特征fs上，表示如下：
[0160][0161]
其中，代表对应元素相加，f
′s代表空间域特征学习单元的最终输出特征图。
[0162]
进一步的，本发明提供的图像重建系统通过学习更具备表征能力的空间特征来恢复图像的纹理细节，融合了经过不同的层卷积得到的深层特征和浅层特征。通过在不同层卷积的学习过程中，分离一半的通道用于继续学习，留下一半的通道用于最终的深浅层特
征融合，克服了简单的使用卷积网络进行逐层特征学习会导致融合多层特征的输出维度过大，计算量过大的问题。
[0163]
图5为本发明提供的一种双支传输单元的结构示意图，如图5所示，双支传输单元，具体用于在通道维度上，对第一目标特征图像ff与第二目标特征图像fs进行连接处理，并对处理结果进行卷积处理，得到第十二特征图像e
f,s
。
[0164]
双支传输单元，具体用于分别使用a*b和b*a的卷积核沿垂直方向和水平方向对第十二特征图像e
f,s
进行卷积处理，并对处理结果按元素相加聚合得到第十三特征图像e
′
f,s
，其中a＞b，且a、b均为正整数。
[0165]
双支传输单元，具体用于使用sigmoid激活函数对第十三特征图像e
′
f,s
进行激活处理，根据处理结果得到第一目标特征图像ff与第二目标特征图像es所对应的频率域到空间域的第一跨域门限特征图像g
f2s
，以及空间域到频率域的第二跨域门限特征图像g
s2f
。
[0166]
示例性的，将空间域特征图像fs和频域特征图像ff在通道维度上进行连接并使用卷积层压缩到低维空间嵌入特征图像e
f,s
，大小为2
×h×
w，表示如下：
[0167]ef,s
＝conv3×3(concat(ff,fs))
[0168]
其中，concat(
·
)代表通道拼接操作，conv3×3(
·
)代表卷积操作。
[0169]
分别使用5
×
1和1
×
5卷积核沿垂直和水平方向扩展嵌入空间e
f,s
的感受野。然后，按元素相加聚合两个方向上的嵌入空间得到e
′
f,s
，表示如下：
[0170][0171]
其中，代表对应元素相加，conv5×1(
·
)和conv1×5(
·
)代表卷积操作。
[0172]
获得空间域特征fs和频域特征ff的跨域门限特征图g
s2f
，g
f2s
，表示如下：
[0173][0174]
其中，split(
·
)代表在通道维度上将特征图分为两份，代表sigmoid激活函数。
[0175]
进一步的，本发明提供的图像重建系统，通过先将两部分特征通过卷积层嵌入到低位空间，然后在低维空间通过b*a和a*b的卷积来聚合水平和垂直方向的信息，最后将两部分加在一起(类似于一种注意力机制)。最后通过sigmoid激活函数将输出的值归到0-1之间，最终就可以作为指导两部分特征转换的门限。这样在低维空间聚合水平和垂直的做法，能够以更少的参数量，实现让网络将注意力定位到两部分交互特征区域，有效的让频率和空间特征有选择性的融合交互，提升图像重建效果，提升图像质量。
[0176]
进一步的，在训练得到本发明提供的图像重建系统的过程中，可以cosine annealing方案和adam优化器，其中β1＝0.9和β2＝0.999。学习率从最初的2
×
10-4
降低到1
×
10-6
。将批量大小设置为4，输入大小设置为图像的全分辨率，使用mse作为损失函数，表示如下：
[0177][0178]
其中，img
gt
代表输入图像对应的gt值，img
pred
代表本发明的重建图像，(w,h)代表输入图片的分辨率，(i,j)代表像素点坐标。
[0179]
图6为本发明提供的一种图像重建方法的流程示意图，如图6所示，该方法包括：
[0180]
s601、获取待重建图像并对待重建图像进行预处理，得到待重建图像对应的第一特征图像。
[0181]
s602、对目标特征图像进行学习，得到频率域对应的特征图像和空间域对应的特征图像。
[0182]
其中，目标特征图像为第n-1个第六特征图像和第n-1个第七特征图像时，频率域对应的特征图像和空间域对应的特征图像分别为第n个第二特征图像和第n个第三特征图像，目标特征图像为第n个第二特征图像和第n个第三特征图时，频率域对应的特征图像和空间域对应的特征图像分别为第n个第四特征图像和第n个第五特征图像；
[0183]
s603、分别将第n-1个第六特征图像与第n个第四特征图像、第n-1个第七特征图像与第n个第五特征图像逐元素相加，得到第n个第六特征图像和第n个第七特征图像。
[0184]
其中，n为大于等于1的正整数，n为1时，第n-1个第六特征图像和第n-1个第七特征图像均为第一特征图像。
[0185]
s604、根据第n个第六特征图像和第n个第七特征图像，确定出预重建图像。
[0186]
s605、通过u-net神经网络对待重建图像进行预测，得到待重建图像的每个像素对应的预测系数，并根据预测系数，对预重建图像的颜色进行优化处理，得到重建图像。
[0187]
可选的，s602具体包括如下步骤：
[0188]
1)、对第一目标特征图像进行频率域学习，得到第八特征图像。
[0189]
2)、对第二目标特征图像进行空间域学习，得到第九特征图像。
[0190]
3)、确定第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像。
[0191]
4)、根据第一目标特征图像、第二目标特征图像、第一跨域门限特征图像和第二跨域门限特征图像，确定出第三目标特征图像和第四目标特征图像。
[0192]
其中，第一目标特征图像为第n-1个第六特征图像，第二目标特征图像为第n-1个第七特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第二特征图像和第n个第三特征图像；
[0193]
第一目标特征图像为第n个第二特征图像，第二目标特征图像为第n个第三特征图像时，第三目标特征图像和第四目标特征图像分别为第n个第四特征图像和第n个第五特征图像。
[0194]
可选的，上述步骤1)具体包括：
[0195]
a)、将第一目标特征图像分别通过垂直和水平方向的傅里叶变换，得到垂直方向对应的第一频谱和水平方向对应的第二频谱。
[0196]
b)、对第一频谱的实部和第二频谱的实部在通道维度上进行连接处理，得到第一处理结果。
[0197]
c)、对第一频谱的虚部和第二频谱的虚部在通道维度上进行连接处理，得到第二处理结果。
[0198]
d)、分别通过全连接层对第一处理结果对应的频谱特征和第二处理结果对应的频谱特征进行重建，得到重建后的第一频谱和重建后的第二频谱。
[0199]
e)、分别对重建后的第一频谱和重建后的第二频谱进行逆傅里叶变换，得到重建
后的第一频谱对应的第十特征图像，和重建后的第二频谱对应的第十一特征图像。
[0200]
f)、在通道维度上对第十特征图像和第十一特征图像进行连接处理，得到第八特征图像。
[0201]
可选的，上述步骤2)具体包括：
[0202]
a)、对第二目标特征图像进行特征提取处理，并将处理结果在通道维度上划分为第一通道特征图像和第二通道特征图像。
[0203]
b)、对第二通道特征图像进行特征进行处理，并将处理结果在通道维度上划分为第三通道特征图像和第四通道特征图像。
[0204]
c)、对第四通道特征图像进行特征进行处理，得到第五通道特征图像。
[0205]
d)、对第一通道特征图像、第三通道特征图像和第五通道特征图像，执行通道拼接操作，并对拼接结果进行特征提取处理得到第十一特征图像。
[0206]
e)、将第十一特征图像作为残差加入第二目标特征图像，得到第九特征图像。
[0207]
可选的，上述步骤3)具体包括：
[0208]
a)、在通道维度上，对第一目标特征图像与第二目标特征图像进行连接处理，并对处理结果进行卷积处理，得到第十二特征图像。
[0209]
b)、分别使用a*b和b*a的卷积核沿垂直方向和水平方向对第十二特征图像进行卷积处理，并对处理结果按元素相加聚合得到第十三特征图像，其中a＞b，且a、b均为正整数。
[0210]
c)、使用sigmoid激活函数对第十三特征图像进行激活处理，根据处理结果得到第一目标特征图像与第二目标特征图像所对应的频率域到空间域的第一跨域门限特征图像，以及空间域到频率域的第二跨域门限特征图像。
[0211]
本发明提供的图像重建方法，通过获取待重建图像并对待重建图像进行预处理，得到待重建图像对应的第一特征图像；对第n-1个第六特征图像和第n-1个第七特征图像进行学习，得到频率域对应的第n个第二特征图像和空间域对应的第n个第三特征图像；对第n个第二特征图像和第n个第三特征图像进行学习，得到频率域对应的第n个第四特征图像和空间域对应的第n个第五特征图像；分别将第n-1个第六特征图像与第n个第四特征图像、第n-1个第七特征图像与第n个第五特征图像逐元素相加，得到第n个第六特征图像和第n个第七特征图像，其中，n为大于等于1的正整数，n为1时，第n-1个第六特征图像和第n-1个第七特征图像均为第一特征图像；根据第n个第六特征图像和第n个第七特征图像，确定出预重建图像；通过u-net神经网络对待重建图像进行预测，得到待重建图像的每个像素对应的预测系数，并根据预测系数，对预重建图像的颜色进行优化处理，得到重建图像，能够消除图像中水平和垂直两个方向的衍射；进一步补充局部细节的缺失，进行选择性地交互和联合学习，相比以前的方法，引入频率信息，并与空间信息进行交互和融合，可以有效地消除衍射产生的光谱偏差并恢复高强度基础衍射中心附近的纹理，为更高质量的屏下相机图像重建提供了更好的方法。
[0212]
下面通过实验结果分析进一步佐证本发明的有益效果：
[0213]
如表1和表2以及图7所示，本发明与其他屏下相机图像重建方法在synth数据集，p-oled数据集和t-oled数据集进行训练和验证。表中结果分别为本发明和其余方法的图像重建结果。比较多个最近的屏下相机图像重建模型可知，本发明的结果都优于现有模型，证明了本发明所提出方法的有效性。图7为本发明提供的一种实现结果示意图。
architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0228]
通信接口用于上述电子设备与其他设备之间的通信。
[0229]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0230]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0231]
本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上述方法实施例中的方法。
[0232]
该计算机可读存储介质所存储的计算机执行指令被处理器执行时能实现上述方法，其内容和效果可参考方法实施例部分，对此不再赘述。
[0233]
本发明还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述方法实施例中的方法。
[0234]
该计算机可读存储介质所存储的计算机执行指令被处理器执行时能实现上述方法，其内容和效果可参考方法实施例部分，对此不再赘述。
[0235]
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
[0236]
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0237]
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述图像质量评价的装置、电子设备及存储介质，则上述图像质量评价方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
[0238]
应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。
[0239]
该终端设备以多种形式存在，包括但不限于：
[0240]
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
[0241]
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等，例如ipad。
[0242]
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0243]
(4)其他具有数据交互功能的电子装置。
[0244]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0245]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0246]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0247]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0248]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0249]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0250]
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过internet或其它有线或无线电信系统。
[0251]
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/
或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0252]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0253]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0254]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。