基于拉普拉斯平滑算法的视频去雾系统的实现

TrueLove

发布日期: 2018-10-01 22:48:38 浏览量: 379
评分:
star star star star star star star star_border star_border star_border
*转载请注明来自write-bug.com

摘 要

视频去雾一直是图像处理领域一个备受关注的题目,其主要目的是将被大雾天气所影响的视频尽可能地还原成没有被大雾情况下的真实图像。相比于雾天下的视频,去雾后的视频还原了一部分被雾天所模糊的图像细节。它减少了雾天视频对实际生活和工作中对人们带来的影响,如交通出行,户外监测系统等。举例说,早年间由于视频去雾技术受限,许多户外监测系统在大雾天气下无法正常工作,影响到了人们的正常出行和生产,所以人们希望利用有效的方法将这些雾天影响下的视频尽可能真实地还原。
本文旨在探究一种不同于现有的最小化能量函数,基于拉普拉斯平滑项建立一个新的能量函数模型。对于待处理的视频帧序列,先生成每一帧的深度图,然后通过初试的深度图去分别计算对应的颜色一致性项,几何相关项,平滑项和拉普拉斯平滑项。其中,我们提出了新的颜色一致性项和几何相关项,它们考虑到大气散射效应的影响;同样,拉普拉斯平滑项可以更好地保存物体的细节,避免失真和模糊。最后,通过迭代化解能量函数最小方程,得到对应的立体重建后的去雾视频。本文最终展示的,是基于拉普拉斯平滑项的立体重建后的图像,与原待测试视频帧序列对比后所能达到的最好效果。

【关键词】 视频去雾;立体重建;拉普拉斯平滑;场景深度

ABSTRACT

Video defogging has always been a topic of concern in the image processing field. The main purpose of the video defogging is to restore as much as possible the video that is affected by fog weather to real images without being affected by heavy fog. Compared to the video in the foggy world, the post-fog video restores a part of the blurred image details of fog.It reduces the impact of foggy video on people in real life and work, such as traffic and outdoor monitoring systems. For example, due to the limited video defogging technology in the early years, many outdoor monitoring systems were unable to work properly under heavy fog, affecting people’ s normal travel and production. So people want to use effective methods to restore the video under the influence of these fogs as realistically as possible.

This paper aims to explore a new energy function model based on the Laplacian smoothing term that is different from the existing minimum energy function. For the sequence of video frames to be processed, a depth map of each frame is generated, and then the corresponding depth map is used to separately calculate the corresponding color consistency item,geometric correlation item, smooth item, and Laplacian smoothing item. Among them, we propose new color consistency terms and geometric correlation terms that take into account the effects of atmospheric scattering effects.Similarly, Laplacian smoothing items can better preserve the details of objects and avoid distortion and blurring. Finally, by iteratively solving the minimum equation of the energy function, a corresponding stereoscopically reconstructed defogging video is obtained. The final display of this paper is based on the stereoscopic reconstruction of Laplacian smoothing terms, and the best results that can be achieved after comparing with the original video frame to be tested.

[Keywords]: video defogging; stereoscopic reconstruction; Laplacian smoothing; scene depth

第1章 引言

视频去雾是数字图像处理中一个重要的课题,应用面极其广泛。在本章节中,我们首先将介绍视频去雾,和到目前为止的研究背景、应用的领域及其具体的实际意义,并且概括性地描述本文所做的工作。

1.1 研究背景和意义

随着城市化现象的加快,人口密度的急剧增长以及全球变暖等气候变化,城市的大雾现象变得越来越普遍。大雾天气给城市交通的监测和治安的监管等方面带来了极大的影响,严重时甚至导致城市安全系统完全失效。海港,河床,岸边也会因为水汽的蒸发,而出现难以消散的雾气,这样一种雾气弥漫的情况使得这些区域的监控难以顺利进行。森林和大面积的植被也会由于呼吸作用,在清晨和黄昏时分常常会形成大面积的雾气,这通常会使得使用长焦距摄像镜头的摄像机系统丧失原有的功能,这可能对森林火灾的安全防范造成极大的影响。尤其在当今由于人类破坏环境的加剧,导致了各种极端天气现象的发生频率升高,因此变化多端的天气对目前主要依赖于智能机器设备的现代生产生活的影响比以前更加大。大雾天气则是其中一种比较常见而且影响又比较大的一种天气现象,而且对此的有效措施也比较少,视频去雾的技术研究可以给实际生产生活中带来更多的效率提升和防范危害。

视频户外系统在被大雾影响的环境下拍摄的实际图像,因为受到雾气的影响,容易出现图像分辨率降低、质量退化、失真等现象,这就使得户外的视频系统不能稳定正常地工作,因而对人们的生活造成了严重的影响,如图1-1所示为中国除雾无人机在城市上空拍摄到的图像。因此,为了增强户外视频系统的稳定性和适用性,使其在天气条件很糟糕的情况下也可以被正常地使用,就很有必要研究有雾环境下视频图像的去雾技术。针对有雾环境对户外视频系统造成的诸多不良影响,我们需要着力研究视频图像的去雾技术。

这不仅能对其他图像清晰化技术的研究起到一定的推动作用,还可以尽可能地削弱外界天气条件对图像采集造成的不良影响。近年来,在图像处理技术和计算机视觉领域,图像去雾技术已逐渐成为研究的热点问题,而现有的去雾算法多关注于单一图像的去雾,有关视频去雾的理论却很少。视频去雾与单一图像去雾有所不同,因为视频的帧与帧之间存相关性,且视频处理过程更注重自动性和实时性,这就使得视频去雾更具有挑战性。

目前,视频图像去雾技术还处在研发起步阶段,各方面可供参考的文献并不多。相较国内,国外的研究工作起步较早,进展相对快一些。由于有雾环境下图像的去雾技术本身的复杂性,虽然这方面已经取得了很大的进展,但所提出的研究算法仍存在一些有待完善的地方,需要我们以此为基础继续研究。

1.2 视频去雾问题的描述

视频去雾是将因为将由于大雾导致可见度下降的视频还原出真实的物理场景的图像处理技术。它不仅是数字图像处理方面一个具有挑战性、前景优秀且相当活跃的课题之一,同时也在社会价值上,有着不可估量的潜在经济利益。视频去雾可以有效地降低因大雾天气对户外视频系统的影响,提高户外视频系统的可用性和适应性。如图1-2为某车载视觉系统下的雾天透视效果。

图像的去雾方法大体上可以分为两种,一种是基于图像增强的去雾方法,另一种则是基于图像复原的去雾方法。而基于图像增强,多是指通过一些图像增强算法,例如,自适应直方图均衡化,自适应色阶和对比度,和多尺度Retinex等算法,它们主要是通过场景反照率,场景深度等图像,视频因素来对图像进行还原,增强。该方法能在一定程度上提高图像的对比度,使图像的细节更加突出,使图像的视觉效果更好,但可能对突出的那部分信息造成一定损失。而基于图像复原的去雾方法则是指根据物理模型的去雾方法,在提出大气衰减的物理模型的基础上,提取物理信息,然后去除无关信息而得到去雾图像的方法。基于大气退化物理模型的单幅图像去雾是通过合理的数学推演和假设,还原清晰、高品质的图像,得到近似的最优退化还原图像。这种方法有较强的针对性,一般不会造成信息的损失,得到的除雾图像也比较自然,模型中参数的估计是该类方法的关键点。在应用中,需要结合所拍摄的有雾图像的具体特点,不同方法的适用条件以及实际需要来选择合适的去雾方法,以达到较理想的去雾效果。

在图像去雾的基础上,再通过一系列的帧组成的图像,在光照,雾,色彩等因素了提供了一些列的共性,我们可以通过帧与帧之间的联系得到更为有用的信息。

而本文涉及到的视频的去雾以及立体重建,在去雾过程中,有对于物理模型的因素考虑而进行的计算工作,而在此基础上也有基于视频的有序序列特征进行的图像增强。

1.3 本文的工作

在本文中,我们联合研究立体视觉和去雾问题,设计一种同时估计场景深度和立体重建的算法。 我们的方法是基于这样一个观察结果,即立体和雾的厚度的深度线索是相互补充的(即对于附近的物体立体信息更可靠,并且雾的厚度信息对于远处的物体更可靠)。首先介绍了了一个雾模型,以及一个传统的对于视频的立体重建的能量函数,然后在该能量函数使用了基于散射效应的颜色一致性项,新的平滑项,基于传输的排序约束条件的平滑项,并且上加入拉普拉斯平滑项,使用这个新的能量函数,最后通过迭代地最小化该能量函数,得到最优的每一帧的深度图,从而完成立体重建。

1.4 本章小结

在本章节中,主要阐述了图像去雾,视频去雾等的研究背景和意义,描述了视频去雾的价值和意义,做了相应的分类和一些概念的介绍。此外,还梳理了本文的工作,大致的思想流程和会涉及到的一些方法,对后续章节的编写做一个引导和铺垫。

第2章 综述

在初步了解了视频去雾的工作背景和研究意义之后,在本章中将进一步对立体视觉,图像增强,场景深度等一些相关领域的研究做更深入的介绍,并且在介绍的过程中,会提及到对于本文有借鉴参考意义的文章或步骤,从而让读者对后续文章的实现部分有一个先前认知。

2.1 传统的视频去雾方法

视频去雾是计算机视觉领域的一个经典问题。对于一幅在雾天干扰下的图片,通过图像处理的方法尽可能地去除雾,还原图片,得到清晰的图片。基于图像增强的去雾方法是指通过改变明亮程度和对比度来改善图像的视觉效果,该方法能在一定程度上提高雾天图像的质量。但该方法在去除随空间变化的雾时,其作用会受限。基于图像复原的去雾方法基本是根据物理模型的去雾方法,多是指提出在大气衰减的物理模型的基础上,提取物理信息,去除无关信息而还原真实图像的方法。基于大气退化物理模型的单幅图像去雾是通过合理的数学推演和假设,还原清晰、高品质的图像,得到近似的最优还原图像。

下面是几种经典的基于图像增强的去雾方法

1.直方图均衡化

直方图均衡化的基本思想是通过灰度的映射来修正图像的直方图,使其分布更加均衡,该方法是一种简单而有效的图像增强方法。雾天退化图像往往会体现出比较低的对比度,其直方图的分布也常集中在某个区域,因此可以通过均衡化的方法来调整直方图的分布,从而增强图像的对比度,实现有雾图像的清晰化。全局直方图均衡化则是基于整幅图像的,即使得整幅有雾图像的直方图满足均匀分布,为了使雾天图像的对比度得到整体上的增强,可以增加像素的灰度值的动态范围。这种方法的计算量不大,且易于实现,但对于一些细节的增强还不够。而局部的直方图均衡化,则对于被处理图像的所有局部区域,都要采用直方图均衡化,并且为了使图像的局部信息得到自适应地增强,需要在局部范围内对运算进行叠加。

2.小波变换

近十几年来,小波变换的信号处理方法也逐渐发展起来。该方法可以理解为对一系列的小波函数进行缩放和平移,并用它们代替傅立叶变换中的余弦和正弦函数,再进行傅立叶变换得到的结果。小波和局部信号的相关程度可以通过小波系数反映出来,而它的计算要通过对母小波的缩放和平移操作来实现。信号的时间信息可以通过平移母小波来得到,而信号的频率特征则可以通过缩放母小波的宽度获取。小波变换具有提供局部分析和细化的能力,这是小波变换的主要优点,小波变换良好的局部特性体现在时域和频域上,在高频区域,要想聚焦到所要分析的对象所具有的任意细节,可以利用逐渐精细的时域,也可以利用空域的步长。该方法既能较好地保留图像的细节特征,又能有效地去除噪声。

3.Retinex算法

Retinex理论是由Edwin.H.Land提出的一种经典的图像增强算法,该理论是基于颜色恒常理论。颜色恒常可以体现人眼对环境光线的变化的反应,也就是说,即使环境光线发生了变化,人眼也可以对物体表面反射光线的强度的增强或减弱进行辨别,还可以保证所看到的物体的表面颜色不发生变化。而Retinex理论,即视网膜大脑皮层理论则认为:当人的眼睛感受到亮度变化的时候,人的视觉系统只会对可以体现物体本身属性的信息有印象,所以可以在一定程度上不被外界环境光线的变化所影响,而保证所看到的物体颜色恒定。因为Retinex既具有颜色不变的特性,又具有动态范围压缩的特点,并且它是一种用来描述颜色不变性的模型,所以采用该方法对那些由于光照不均而造成的低对比度的彩色图像进行增强处理时,也会取得很明显的效果。在图像去雾过程中,可以把雾天作为环境照度的变化,利用Retinex算法可以很好地保持物体原本具有的色彩,从而获得具有较好视觉效果的无雾图像。一般来说,应用Retinex处理彩色图像是分别对R,G,B通道进行Retinex处理将得到的结果作为R,G,B通道。这种方式对于三个通道比较均衡的图像来说效果比较好。但是有的图像就只有某一通道,如R通道分量特别小,然后经过Retinex强行将R通道调整到[0,255]区间,这样效果不会太好。

而基于物理模型对有雾图像进行复原的方法有多种,大体可分为以下3类,分别是基于偏微分方程的、基于深度关系的、以及基于先验信息的。这些方法常常是基于两种大气散射模型,一类是McCartney提出的单色大气散射物理模型,一类是Narasimhan等人从RGB色彩空间出发,推导出的二色大气散射模型。而单纯地基于物理模型实现去雾,由于天气的复杂多变性导致物理模型拟合的困难,而且传统立体算法中的光密度测量不考虑光传播过程中的散射和吸收现象,从而产生系统的匹配误差。

2.2 基于拉普拉斯平滑的视频去雾方法

雾对立体重建算法提出了挑战,同时也带来了补偿优势。从计算的观点来看,众所周知,立体重建对远距离图无法很好地工作。进一步的深度平滑会导致表面细节损失,例如细长的结构和孔洞。雾信息包含的深度信息在性质上是不同的,因为较厚的雾与较大的距离相关联。

在本文中,联合研究立体视觉和去雾问题,实现了一种同时估计场景深度和对输入图像除雾的算法。在立体视觉融合技术中,分为局部的和全局的立体视觉技术。局部的立体视觉技术围绕个别的像素周围的灰度值或者边缘模式进行匹配,但是其忽略了可能连接邻近点的约束。而立体视觉的全局方法,是将立体视觉问题建模为一个基于近邻像素的序列或者平滑约束的能量函数,并对其进行最小化。本文在基于传统的雾模型和能量函数上,使用了包含更加复杂的颜色一致性项,拉普拉斯平滑项,基于传输的排序约束的平滑项的新能量函数。在本文公式中,立体匹配和雾信息的深度线索相互加强,基于在计算机视觉广泛使用的散射模型,使用这个新的能量函数,可以同时实现立体重建和去雾。

立体匹配有五个约束条件:极线约束,顺序性约束,连续性约束(也称作表面平滑约束),唯一性约束,相似性约束。提出的衡量函数在一定程度上衡量了立体匹配的连续性约束和相似性约束。该方法包括四个关键特征。首先,我们改进了立体重建中的颜色一致性项以结合散射效应。当从不同的角度评估两个像素的一致性时,我们明确地模拟了由于雾而造成的外观变化。其次,我们直接从场景深度计算每个像素处的雾的传输。这确保了我们的立体效果和除雾效果相互一致。第三步,我们将有效的雾传输的先验结合到立体重建除雾公式中。具体而言,由于雾的传输可以直接从深度计算,所以我们在场景深度处加入了拉普拉斯平滑约束,这个约束有助于捕捉深度图中的细节。最后,我们还利用基于传输的排序深度信息中的可靠信息,采用了成对的场景深度排序约束。

共同优化新的能量函数中的分项有助于为立体深度恢复和除雾带来双赢,通过定义新的颜色一致性项和拉普拉斯项,有助于保存深度图中的细节,这也是由于它与光谱图像分割密切相关。

2.3 本章小结

在本章中,主要介绍了视频去雾和立体重建等问题的研究现状,总结了其优缺点,并从实际待解决的问题出发,分析了有借鉴意义的方法,提出了本文理论模型的大致框架,这也是接下来后续章节待实现和实验的概括纲要和方向。

第3章 视频去雾和立体重建方法

3.1 颜色一致性项的构建

我们知道,在视频序列中,每个点和相邻帧的同一个点的物理信息应该是近似不变的,而像素点的颜色则是最基本的一个物理性质。

3.1.1 评估深度图的颜色一致性

在立体重建中,颜色一致性f(p, V)是一种标量函数,用于测量给定三维重建p与一组图像的视觉兼容性。在3D点p处的简单颜色一致性函数被定义如下:将p投影到V中的每个可见图像中,并且将它们投影附近的图像纹理的相似度计算为颜色一致性。不是比较每个图像中的单个像素颜色,而是比较每个局部图像区域中的一组像素颜色的差异大小。

(比如说下图就是比较3*3的局部像素区域的差异)

为了评估立体重建图像和实际视频邻近帧的视觉差异,我们使用颜色一致性项。

假设我们的视频有n个连续的帧I={It|t=1,…,n},根据任意的标准structure from-motion (Sfm)算法,我们可以得到照相机参数C=(Kt,Rt,tt),其中Kt是内在矩阵,Rt是旋转矩阵,tt是传输向量。简而言之,Sfm算法是一种基于各种收集到的无序图片进行三维重建的离线算法,首先进行特征检测和特征匹配。当所有的两两匹配图像对被确定以后,就可以考虑把多个图像中都出现的共同特征匹配点连接起来,就能形成轨迹了。一旦符合的轨迹都找到后,就构造图像连接图,包含每个图像的节点,和有共同轨迹的图像边缘。最后通过不断地进行Bundle Adjustment,不断加入3D点,得到摄像机参数和场景几何信息。

也可以根据zhang等人提出的根据视频进行立体重建的方法,近似得到每一帧的深度图 D={Dt|t=1,…,n}, 因此也可以通过求倒数得到其逆深度图Z={Zt|t=1,…,n}。

为了定义颜色一致性项,按照多视图立体重建的原理,对于第i帧的每一个像素点x,其逆深度为Di(x),那么可以通过以下公式将其投影到第j帧,得到其在第j帧的相应位置

因此,我们由初始近似得到的逆深度图和邻近帧中的深度信息,可以去估计当前的逆深度图中的立体重建的效果,使用颜色一致性项Ep(Dt) :

其中N(t)是第t帧的邻近帧数,|N(t)|是邻近帧集合的大小。

3.1.2 基于散射效应的颜色一致性项的计算

由于传统的基于视频的立体重建方法并没有考虑到雾的因素,由于雾天环境下存在着散射效应,因此我们提出了基于雾天散射效应的新的颜色一致性项。

在计算机视觉中,广泛使用的一个散射模型是:

其中I:是在散射介质中观察到的图像,IJ是不受散射效应影响的真实图像,A是大气光,a是媒介传输参数,a决定了没有散射并且到达到摄像机的光的比例。当A是同质时,a可以简单的表示如下:

其中B是散射系数,其决定了传输媒介的密度,而z是该点和摄像机中心的距离,为了简化该公式,我们假设该点的场景深度如那样的方法大致估算。

为了得到A和B,为了简化该问题,我们使用的方法去估算A。根据得到的A以及一些第i帧和第j帧中匹配的像素点(这也是根据公式3.1),

根据方程3.3,它们满足于

由于Xk和Yk其实是对应于同一个场景点,可知:

因此,我们有:

其中Zi(xt)是根据zhang G等人提出的获取深度图信息的方法获得的深度信息。根据公式3.6,我们能获得每一对匹配点之间估算的B值,舍弃一些逆深度差别小于某个阈值(通常取0.001)的匹配像素点。为了简化问题,可以简单的取得到的B集合的平均值作为B值。

我们定义

其中,

是Ri的行。

是ti的行。现在我们使用投影

来计算在具有媒介传输参数ai(x)的第i帧的像素点x在第y帧的媒介传输参数a:

其中,

是矩阵的最后一行。由公式3.4,我们可以从Zi(x)得到ai(x)。因此,我们可以使用基于雾的散射效应的颜色一致性项来评估立体重建的效果:

其中,

这可以根据公式3.3简单推导得到。注意到利用公式3.4我们可以利用D(x)来表示,a(x) 因此在公式3.8中,深度D(t)是唯一的自变量。

3.2 几何相关项的构建

几何相关项专门设计用于基于视频的立体重建,以确保恢复的深度图的时间一致性和处理遮挡。我们借鉴zhang等人在2009年提出的几何相关项的计算方法。与典型的多视角立体重建方法不同,该方法不仅强加颜色一致性约束,以统计方式将几何相关性与多个帧明确关联。它们有助于可靠地减少图像噪声和多帧数据遮挡的影响,从而使我们的优化不受过度平滑的影响。它会检查相邻帧中每一像素点与所对应的共轭像素的距离。所谓共轭像素,其实也就是我们之前所说的一个像素点在相邻帧中所对应的像素点。

其中,

是第t帧中具有逆深度Dt(x)像素点x的共轭像素在t帧中的位置,与公式3.8提到的相同。让计算机自动建立多幅图像之间的匹配关系其实是立体重建最困难的一个问题。可以看出,这项是为了评估立体重建后的深度图中,每个像素点和邻近帧所对应的像素点的距离关系,在此,我们可以简单的使用街区距离来衡量,当然也可以使用欧式距离。因为如果在相邻帧中出现了较大的像素位移,而照相机显然是在非常缓慢移动的过程中,这个位移较大的点往往是误差导致的。所以我们用几何相关项来评估这个误差的。

3.3 平滑项的构建

平滑的本义是指:重新分配概率,即使没出现的事件也会赋予一个概率。而体现在数学上的平滑法,就是对不断获得的实际数据和原预测数据给以加权平均,使预测结果更接近于实际情况的预测方法,又称光滑法或递推修正法。对于实际数据接近于平稳不变的情况,可以应用一次平滑法,以消除偶然因素的影响。

3.3.1 朴素的平滑

在同一帧的图像中,邻近的像素的深度变化往往变化非常微弱,因此在相邻的像素之间,大部分情况下深度应该是近似不变的。在实际情况中,基于像素点的匹配代价并不能完全正确地反映两幅图像中两个点匹配的正确性;比如噪声、大范围的相似区域等,其结果是错误匹配的代价常常会小于正确匹配代价,从而影响算法在该点的深度估计。因此,必须增加一些额外的平滑约束到能量的定义中,这种约束通常是采用对深度或者灰度的变化的惩罚,以抑制噪声对匹配结果的影响。为了衡量立体匹配的正确性,我们在我们的能量函数中引入了平滑项。

通常,在立体重建中,平滑项被定义为如下:

考虑鲁棒性,f(Dt(x),Dt(y))通常是截断的l1函数,即:

其中t1是截断参数,w(x,y)是权重函数,表示像素点x和像素点y应该拥有相同逆深度的可能性。为了鼓励深度不连续性与颜色变化一致,w(x,y)通常基于相邻像素的色差来定义。在此处,我们简单地采用zhang等人提出的方法去定义平滑项权重系数w(x,y)。

3.3.2 基于传输的排序约束的平滑

之前介绍的朴素的平滑项,通常已经能够较好地在一般的立体重建中衡量立体匹配的效果。然而,我们的立体重建是对于受到大雾天气影响的视频进行的。与绝对深度值的传输相比,雾传输对点与点之间的深度顺序有更可靠的约束。我们可以进一步的利用雾这方面的信息。更具体地说,假设x和y是两个相邻像素,如果at(x)>at(y),我们期望Dt(x)>=Dt(y)。 理论上,公式3.4通过简单的推导可以得出该结论。

因此,当这个条件被违反时,我们分配一个大的惩罚t2。 在数学上,我们将公式3.10中的f(Dt(x),Dt(y))修改为

见图3-2,这是我们专门分别对某一帧的利用朴素的平滑项和基于传输的排序约束的平滑项实验的效果,可以看出,朴素的平滑项明显的有很多边缘模糊的现象,而使用基于传输的排序约束的平滑项可以比较好地保持物体的边缘细节。不过在某一些帧的效果上可能现象没有那么明显,这也可能跟某一帧的场景中的物体细节和边缘部分是否比较多有关。因此我们挑出对比效果较为明显的其中一帧的对比效果,原图中场景深度较小的物体拥有比较多的边缘和细节部分,而基于传输的排序约束的实验结果也较好地保存下了细节部分。

3.4 拉普拉斯平滑项的构建

在实际情况中,很有可能出现一种零概率问题,就是在计算某概率时,由于某个分子项为0,而导致整个项的结果也为0。这个问题也常出现在人工智能领域的文本分类上。这是不合理的,不能因为某个分子项为0而认为整个项的最后结果都是0。为了解决零概率问题,法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率,所以拉普拉斯平滑也叫做加法平滑。

雾的出现也开启了丰富重建深度细节的可能性。为此,我们将拉普拉斯约束作为细节保留平滑项。雾透射图应该满足拉普拉斯平滑先验。考虑到该点,我们发现拉普拉斯先验不仅可以重新定义传输的图像,而且有助于保存深度图中的细节部分,可能是因为其和光谱图像分割有密切的联系。拉普拉斯项定义为如下:

其中vec(at)将at转化成向量形式,It是拉普拉斯矩阵,与Levin提出的一致,它的第i行第j列的元素定义为如下:

由图3-2可知,相比之下,使用拉普拉斯平滑项能够较好地保留深度图中的细节。

3.5 立体重建深度图的构建

之前提出了若干个评估立体重建中邻近帧之间差异的项,这些在一定程度上都体现了立体重建的实际效果。为了能够同时评估上述项,我们构建了新的能量方程,并且在各项前加入权重系数。此时的能量方程的唯一自变量就是逆深度图Dt,通过能量方程的最优化,可以使得我们选择到对应的最优逆深度图,从而得到立体重建后的深度图,由此,便最后可得到立体重建后的视频去雾图像。

3.5.1 能量方程的构建

在有雾的视频中测量颜色一致性通常很困难,因为场景辐射的衰减与不同的相机位置不同。为了克服这个困难,我们提出一个更复杂的颜色一致性项来考虑散射效应。同时,雾的出现也为丰富重建深度的细节提供了可能性。为此,我们利用传输提供的排序约束,在逆深度施加平滑度。最后,我们将拉普拉斯约束作为细节保留平滑项。

在目前传统的已有的立体重建方法中,该能量方程已经较为准确地评估了颜色一致性,几何相干项,平滑项所表示的立体重建的效果。在本文中,我们参考HeK等人提出的方法,新加入了拉普拉斯平滑项,以满足拉普拉斯先验,并且提出了优化之后的颜色一致性项,基于传输约束的平滑项,因此综上,我们可以得到一个新的衡量立体重建效果的能量方程,如下:

其中Eg(Dt)是不变的几何相干项,Eps(Dt),Eso(Dt)和Elop(Dt)分别对应于新的颜色一致性项,新的基于排序约束条件的平滑项和以及拉普拉斯平滑项n 和p,^是平衡这些项的参数。共同优化这些项有助于为立体重建深度恢复和除雾带来共同利益。特别是,远距离物体的模糊性被解除,并且深度和颜色细节都被更好地恢复。

3.5.2 能量方程的最优化

参考zhang等人的方法,我们也采用了两步优化策略。我们通过忽略第一步中的几何相关项来初始化深度图,然后在第二步中迭代地求解方程3.14的完整版本。由于拉普拉斯项的存在,方程3.14并不能轻易求解。因此,我们基于引入一个辅助变量来解耦术语和交替更新的想法。这种策略在许多计算机视觉算法中被广泛使用,并表现出良好的性能。

我们将函数分成两部分:能量函数可以重新写成:

我们迭代地最小化新的目标函数,直到收敛或迭代次数超过最大限制。在每次迭代中,我们在固定at时求解Dt,然后在固定Dt时求解at。因此,2个新的子问题是:

由于方程(3.16)中的最后一项是一元的,并且具有排序约束的Eso(Dt)不会带来额外的困难,因此方程(3.16)可以通过图像分割来求解。第二个子问题方程(3.17)是一个无约束的凸问题并且具有封闭形式的解:

通过最小化能量方程,我们最终得到了最优情况下的逆深度图,继而可以得到深度图,从而实现了立体重建。

3.6 本章小结

在本章中,主要分部分介绍了整个立体重建的过程,是模糊概念转到实现原理的过程。分别对颜色一致性项,几何相关项,平滑项,拉普拉斯平滑项进行了阐述,通过这些分项的和来共同评估立体重建的效果。每一小节都对具体的项所对应的算法或详或略进行了介绍,下一章中将对输出结果进行展示。

第4章 实验和分析

4.1 实验结果展示

我们使用了ZhuwenLi等人用以测试视频去雾效果的视频序列来对我们的算法进行测试和展示,并且将中间过程产生的拉普拉斯平滑图像也展示出来,以对实验的过程和效果有一个感知。下列为其中的部分结果,每组结果上方彩色图为原图,左下方为中间过程的拉普拉斯平滑图像,右下方的是对应的去雾后的图像。



4.2 实验结果与问题分析

从得到的结果可以看出,整个程序能较好地通过拉普拉斯平滑得到细节保存较为完整的深度图,从而从深度图中恢复出对应的立体重建和去雾之后的实际图片。

但是,也有一些明显的问题和缺点:

  • 算法运行的使用时间较长,这是因为我们在迭代求优化的最小值的时候,尽可能地迭代多次以达到最优效果,因此处理完整个帧序列的运行时间会稍微比较长。
  • 部分图像的细节存在比较严重的失真现象,这可能是由于我们认为的大气光是一种同质的介质,简化了计算媒介传输参数与像素点的场景深度的方法。但是在实际中,大气光往往不是同质的,而且构成也比较复杂,尤其是在一些空气环境不够单一的情况下会更为复杂。
  • 部分图像的可见边变得模糊,对比度减小,且有一定的色彩失真,可能是由于我们在计算时,没有按照等人的比较准确但是计算量较大的方法,而是为了降低算法复杂度,简单地取一个平均值,所以随之效果也会有一部分的衰减,导致了边缘的部分模糊。
  • 视频图像的帧与帧之间具有一定的相关性,即使单帧图像的处理效果很好,但如果不能保证相邻两帧亮度的相似性,就会使处理后的视频序列中出现频闪,忽明忽暗,亮度不均等不稳定的现象,会对视觉效果有一定影响。这个可能跟我们对于颜色一致性项的权重系数和局部窗口的大小有关,当颜色一致性项的权重系数较小或者局部窗口较小时,相邻帧之间的相关性会被一定程度的弱化,就会导致上述的一些现象。

4.3 本章小结

本章中展示了部分基于拉普拉斯平滑的立体重建和视频去雾的效果图,总结了实际立体重建和视频去雾中出现的一些很明显的问题和缺陷,并对每一个问题和缺陷可能出现在什么地方、哪一个步骤中进行了原因分析和解释,为后续工作总结、展望改进指明了方向。

第5章 总结与展望

至此,我们实现了一种基于拉普拉斯平滑的视频去雾和立体重建的方法,该方法相较于其他的着色方法有优势也有不足,并且自身也存在一定的缺陷,今后的工作将围绕着改善立体重建和视频去雾结果、优化运算方法、 减少程序运行时间花费的方向进行。

5.1 研究成果总结

本文提出的视频去雾方法,理论上只需要指定对应路径的视频帧序列,就可以通过对应分别计算对应的项,最小化能量函数而得到对应的立体重建后的图像,从而实现视频去雾的效果。

区别于传统的视频去雾方法,本文主要是提出新的颜色一致性项,基于排序约束的平滑项和拉普拉斯平滑项,从而得出一个有别于传统的能量函数的新的表达式,继续可以通过最小化该能量函数获得立体重建的最佳效果。同时相较于现有的视频去雾方法,虽然本文的方法在实验结果上仍有不足,但是对于对应的视频帧序列,大部分的物体细节都能够较好地保留下来,而没有因为立体重建的影响导致失真或者模糊的现象。然而本文的方法是建立在能量函数的迭代最小化基础上,迭代的次数在理论上也会影响最终实验的结果,那么不可避免的一个带来的问题就是程序运行时间可能会比较长。那么为了在一定程度的减短程序运行时间,可能会使得处理的效果还没有达到最优。

但是如上一章中提到的,本文的方法在实际实现的过程中,还存在着许多的问题和缺陷,这些问题由不同步骤中使用的算法产生。例如, 由于我们认为的大气光是一种同质的介质,简化了计算媒介传输参数与像素点的场景深度的方法。但是在实际中,大气光往往不是同质的,而且构成也比较复杂,尤其是在一些空气环境不够单一的情况下会更为复杂;在计算时,没有按照等人的比较准确但是计算量较大的方法,而是为了降低算法复杂度,简单地取一个平均值。所以随之效果也会有一部分的衰减,导致了边缘的部分模糊;能量函数的各个子项的权重系数的权衡等等。

5.2 本章小结

本章中将本文算法与一些传统视频去雾算法进行比较,并大致总结了本文算法的优劣所在,同时对算法的薄弱的地方提出了可能有效的方法和设想,今后将着重围绕这些部分进行修改和完善。

参考文献

[1] Zhang G, Jia J, Wong T T, et al. Consistent Depth Maps Recovery from a Video Sequence[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009, 31(6):974-988.

[2] 涂雅瑗. 雾天降质图像的对比度增强方法研究[D];大连海事大学;2009

[3] Bobick A F, Intille S S. Large Occlusion Stereo[J]. International Journal of Computer
Vision, 1999, 33(3):181-200.

[4] Boykov Y, Veksler O, Zabih R. Fast approximate energy minimization via graph cuts[C]// The Proceedings of the Seventh IEEE International Conference on Computer Vision. IEEE, 2002:377-384 vol.1.

[5] 纪松.多视匹配策略与优化方法研究[D].郑州:信息工程大学测绘学院,2012.

[6] 李学明 . 基于Retinex 理论的图像增强算法[J]. 计算机应用研究, 2005(02):235-237.

[7] Caraffa L, Tarel J P. Stereo reconstruction and contrast restoration in daytime fog[C]// Asian Conference on Computer Vision. Springer-Verlag, 2012:13-25.

[8] Carr P, Hartley R. Improved Single Image Dehazing Using Geometry[C]// Digital Image Computing: Techniques and Applications. IEEE, 2010:103-110.

[9] Cozman F, Krotkov E. Depth from Scattering[C]// Computer Vision and Pattern Recognition, 1997. Proceedings. 1997 IEEE Computer Society Conference on. IEEE, 1997:801-806.

[10] Fattal R. Single image dehazing[C]// ACM SIGGRAPH. ACM, 2008:72.

[11] Felzenszwalb PF, Huttenlocher D P. Efficient Belief Propagation for Early Vision[J].International Journal of Computer Vision, 2006, 70(1):41-54.

[12] 赵莹.基于单幅图像的去雾算法研究 [D].天津大学,2009.

[13] 董长虹, 高志, 余啸海.Matlab小波分析工具箱原理与应用.北京:国防工业出版社, 2004

[14] Geman D, Reynolds G. ConstrainedRestoration and the Recovery of Discontinuities[M]. IEEE Computer Society,1992.

[15] 潘泉, 张磊, 梦晋丽, 等.小波滤波方法及应用[M]. 北京: 清华出版社, 2004: 40−78.

[16] 董卫军, 周明全, 黎晓, 耿国华. 基于小波分析的边缘检测技术研究[J]. 计算机工程与应用 2004(25)

[17] He K, Sun J, Tang X. Single ImageHaze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis& Machine Intelligence, 2011, 33(12):2341-2353.

[18] Jiang N, Cui Z, Tan P. A Global Linear Method for Camera PoseRegistration[C]// IEEE International Conference on Computer Vision. IEEE,2014:481-488.

[19] Kopf J, Neubert B, Chen B, et al. Deep photo: model-basedphotograph enhancement and viewing[J]. Acm Transactions on Graphics, 2008,27(5):1-10.

[20] Krishnan D, Fergus R. Fast image deconvolution usinghyper-Laplacian priors[C]// International Conference on Neural InformationProcessing Systems. Curran Associates Inc. 2009:1033-1041.

[21] Levin A, Lischinski D, Weiss Y. A closed-form solution to naturalimage matting.[C]// IEEE Computer Society Conference on Computer Vision andPattern Recognition. IEEE Computer Society, 2006:61-68.

[22] 纪松, 范大昭, 戴晨光, 等. 线阵影像GC3多视匹配及其扩展模型研究[J]. 测绘科学技术学报,2009,26(6): 44-47.

[23] Zhuwen Li, Tan, Ping, Tan,Robby T, et al. Simultaneous video defogging and stereo reconstruction[J].2015:4988-4997.

[24] 陈永亮, 灰度图像的直方图均衡化处理研究[D];安徽大学;2014[25] Narasimhan S G, Nayar S K. Contrast restoration of weather degradedimages[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2003, 25(6):713-724.

[26] 肖燕峰, 基于Retinex理论的图像增强恢复算法研究[D];上海交通大学;2007

[27] 张璇, Retinex理论及其在压缩域图像增强中的应用研究[D];合肥工业大学;2010

上传的附件 cloud_download 视频去雾和重建的实现.7z ( 2.47mb, 2次下载 )
error_outline 下载需要13点积分

发送私信

放空的心,是最好的礼物;独走的路,是最美的风景

9
文章数
14
评论数
最近文章
eject