关键词:
数字图像处理
壁画修复
稀疏表示
深度学习
生成对抗网络
摘要:
壁画在中国美术史上占有重要地位,具有极高的艺术价值和文化价值。敦煌壁画作为全世界现存规模最大的古代壁画资源,是我国乃至世界艺术殿堂的瑰宝。但是由于壁画年代久远,受到自然气候和人为破坏等因素的干扰,大部分壁画已出现破损、脱落、裂纹等病态问题,亟待保护。因此,对于病害壁画修复技术的研究极其重要。目前修复破损壁画主要采用人工修复的方法,但是人工修复存在着周期长、风险大且结果不可逆的问题,成为壁画修复的重大障碍。因此,将壁画修复与计算机技术相结合,利用数字化技术对壁画进行辅助虚拟修复,不仅可以为人工修复提供重要且具有实际意义的参考价值,而且可以将修复后的壁画进行数字化长期保存。本文深入学习图像修复的国内外研究现状,并通过对稀疏表示和深度学习相关图像修复算法的探索和研究,主要提出了以下三个方面的壁画修复算法:块核范数的RPCA分解与熵权类稀疏的壁画修复算法、联合双编码器增强的生成对抗壁画多尺度重建算法以及结构门控与纹理联合引导的生成对抗壁画修复算法。主要研究和贡献如下:(1)针对传统稀疏表示算法修复壁画过程中,结构信息和纹理信息分离不彻底,以及字典设计单一,导致壁画图像修复结果易出现内容修复不完整和边界效应等问题,提出了一种基于块核范数的RPCA分解与熵权类稀疏的壁画修复算法。首先,采用提出的块核范数的RPCA图像分解算法,将壁画图像分解为结构层和纹理层。然后,提出熵加权k-means方法对结构层图像进行聚类,构建稀疏子类字典,并通过类稀疏修复方法完成结构层图像的重构。接着,利用双三次插值算法修复纹理层图像。最后,将修复后的结构层和纹理层融合,得到壁画的修复结果。通过对真实敦煌壁画数字化修复,实验结果表明:本章所提算法较完整地修复了破损区域,且客观定量评价均优于对比算法。(2)针对现有深度学习算法在修复破损壁画图像时,存在特征感知能力较弱和重建细节丢失等问题,提出了一种联合双编码器增强的生成对抗壁画多尺度重建深度学习模型。首先,设计由双分支联合编码器和多尺度解码器构成的生成网络,其中,双分支联合编码器分为门控编码器分支和标准编码器分支。门控编码器分支利用门控卷积的动态特征选择机制并级联空洞卷积,提高壁画的语义特征感知能力;而标准编码器分支利用标准卷积并引入密集连接结构,以获得更加丰富的壁画信息。然后,采用多尺度解码器进行图像重构,增强破损壁画纹理细节的重构能力。最后,通过谱归一化马尔科夫判别模型进行真假判别,达到壁画修复的目的。通过真实敦煌壁画数字化修复实验结果表明,本章所提算法在峰值信噪比和结构相似性等定量评价中均优于比较算法。(3)针对现有深度学习修复方法在修复壁画过程中,缺少结构和纹理等先验信息的联合约束性引导,导致修复结果易出现结构紊乱和纹理模糊等问题,提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型。首先,构建由结构引导编码子网络和纹理引导解码子网络组成的生成网络,利用结构信息引导特征编码,并通过门控特征融合机制增强边缘轮廓信息。然后,设计纹理引导器和方向注意力模块提取分层纹理特征,指导解码器重构壁画图像,提高壁画纹理的清晰度。最后,利用谱归一化马尔科夫判别模型对抗训练,完成壁画修复。通过对真实敦煌壁画进行数字化修复实验,结果表明,本章所提算法在结构连续性和纹理清晰性等方面较对比算法均有所提升。