代码编织梦想

摘要

本文介绍了一种用于移动机器人平台上图像处理和计算机视觉应用的自动调节相机曝光的新方法。由于大多数图像处理算法严重依赖于主要基于局部梯度信息的低级图像特征,因此我们认为梯度量可以确定适当的曝光水平,从而使相机能够以对照明条件具有鲁棒性的方式捕捉重要的图像特征。然后,我们将这一概念扩展到多相机系统,并提出了一种新的控制算法,以实现相邻相机之间的亮度一致性和每个相机的适当曝光水平。我们用现成的机器视觉相机实现了我们的原型系统,并在实际应用中证明了所提出算法的有效性,包括行人检测、视觉里程计、环绕视图成像、全景成像和立体匹配。

1、介绍

最近,用于物体检测、识别和跟踪的图像处理和计算机视觉技术的改进使各种视觉系统能够自主运行,从而使自主移动平台成为可能[1]。

在这种基于实时视觉的系统中,从相机捕获的图像直接作为输入输入到后续算法中。捕获图像的质量强烈影响算法的成功;然而,针对鲁棒图像捕获的摄像机控制研究一直被忽视;对相机控制的研究远远少于对计算机视觉算法本身的研究。

大多数移动平台视觉系统依赖于相机内置的标准自动曝光方法,或者由用户手动调整固定曝光。传统的自动曝光方法是通过评估图像的平均亮度来调整相机曝光[2,3,4]。使用这种简单的方法,不希望曝光的图像是常见的,特别是当一个场景有一个显著的照明差距之间的动态范围感兴趣的区域和背景。这种常见情况会降低后续计算机视觉算法的性能。因此,在图像捕获阶段克服多样化和具有挑战性的照明条件是开发鲁棒视觉系统的必要先决条件。

更具体地说,图1显示了在室外环境中,标准内置自动曝光和固定曝光方法所产生的图像的一些比较。

当场景的动态范围较窄时,这两种方法都能捕捉到曝光良好的图像。因此,在较窄的动态范围内,可以很容易地确定单个具有代表性的参数。相反,这两种方法都会在突然变化的照明条件下产生不良的曝光图像。这些结果背后的原因可以概括为:1)自动曝光控制算法的适应性有限(即预测),2)没有考虑相机有限的动态范围,3)使用较弱的标准来评估曝光状态。我们使用基于模拟的方法解决第一个和第二个问题,使用基于梯度的度量来解决第三个问题。
在这里插入图片描述
图1:不同光照条件下的图像。从左到右的图像分别来自内置自动曝光方式、手动调整固定曝光设置和我们的方法的相机。内置的自动曝光方法和手动设置都无法捕获曝光良好的图像,而我们的方法捕获的图像适合用计算机视觉算法处理。

本文提出了一种利用梯度信息自动调节相机曝光的新方法。为了处理剧烈的光照变化和场景亮度的大动态范围,我们在梯度域模拟了场景的适当曝光;这个过程之后是一个反馈机制来执行自动曝光。由于梯度域对光照变化具有鲁棒性,并且已被许多计算机视觉算法所利用,因此所提出的方法适用于捕获具有丰富图像特征的曝光良好的图像,这些特征对计算机视觉算法有益。

图2显示了我们提出的方法的总体框架。为了构建实时反馈控制系统,我们使用了一种γ校正技术[5],该技术模拟暴露变化,然后确定最佳γ值。我们的框架隐式地指导了反馈系统中曝光更新的方向,以最大化梯度信息。此外,在多相机的情况下,我们的方法还考虑了相邻相机来调整相机的曝光。
在这里插入图片描述
图2:我们相机曝光控制的整体框架。我们的方法调整相机曝光,以最大限度地提高所捕获图像的梯度信息。我们应用γ校正技术模拟曝光变化引起的信息变化,然后使用实时反馈系统更新曝光设置。此外,我们还通过分析相邻相机之间的亮度差异来平衡多台相机的曝光。

在第二节中,我们回顾了现有的替代方案,包括直接曝光控制和后处理;然而,我们强调,这些替代方案都没有考虑后续算法的性能,这些算法可能受益于图像中的丰富梯度。在第III-A节中,我们描述了基于梯度的标准的发展,在此基础上,在第III-B节中描述了基于仿真的控制机制。我们扩展了我们的预览工作[6],1)在第III-C节中提高曝光更新的稳定性,2)在第IV节中将所提出的方法扩展到多相机系统,以及3)在第v节中提供进一步的技术实现细节并全面分析所提出方法的行为。最后,我们在第VI节中进行了讨论。我们的贡献总结如下:

  • 我们提出了一种新的相机曝光控制机制,利用图像梯度信息来确定适当的曝光水平。具体来说,我们应用了基于模拟的曝光预测的新概念,即通过新提出的控制函数更新相机的曝光状态。该算法具有快速收敛到目标曝光水平的特点。
  • 我们扩展了多相机设置的方法,在相机之间出现曝光平衡问题。
  • 我们实现了一个带有同步相机的移动系统,以证明所提出的方法的概念,并进行完全可控和容易的实验。我们通过大量的计算机视觉实际应用实验来验证我们的方法。

2、相关工作

有几种方法可以控制到达相机传感器的光量:调整快门速度、光圈大小或增益(ISO)[7],安装某种类型的密度滤镜[8,9,10],或设计新的相机概念,如计算相机[11]。每种方法都有优点和缺点。快门速度影响图像模糊,增益与图像噪声有关,光圈大小改变景深。上面列出的其他方法需要外部设备,例如密度滤波器或新的光学设备。在这些可能的方法中,调整快门速度和增益在移动平台的视觉应用中是最受欢迎和理想的,因为它们理想地保持了辐照度和强度测量之间的线性关系。

虽然改变光圈大小或安装密度滤镜等方法在某些有利的情况下可能是很好的补充,但它们可能分别通过改变景深(造成空间变化的模糊)或引起颜色偏移来引入伪影2。这些方法将非线性伪影引入到后续的视觉算法中。在本文中,我们重点回顾了控制快门速度和增益的方法,并比较了它们的标准,以确定适当的参数。

然后,我们讨论了克服曝光控制限制的算法努力以及联合调整多个相机的扩展。
实现自动曝光的一种传统方法是提取图像统计量并控制相机参数以满足一定条件的统计量。最简单的方法是测量整个图像或特定区域的平均亮度,并将其调整到一个中间范围(例如,8位图像的128)[4,12]。这种基于亮度的方法可以在照明强度均匀分布于所有区域和场景动态范围较窄的场景中产生适当的曝光水平。然而,在实践中,一个场景在一个图像上有多个强度分布;因此,这种简单的方法可能导致重要图像细节的欠饱和或过饱和。为了克服这一限制,各种尝试都采用了其他可能对场景照明变化更稳健的措施,如熵[13]和直方图[14,15]。在本文中,我们最大化图像梯度的对数响应之和,以丰富图像的梯度信息

几种方法测量感兴趣区域(ROI)上的统计数据,以创建对场景变化具有鲁棒性的算法[14,16,17,18]。这些方法通过分离背景[16]或背光区域[17]来测量ROI的统计信息,例如图像中心[12]、移动物体或面部区域[18]、用户预定义的ROI[14]或前景区域。然而,由于这些方法根据图像中的特定感兴趣区域来控制相机曝光,因此它们仅在特定的个人应用中比在一般情况下更可取。尽管如此,基于roi的方法还是很有用的,因为它们可以组合和扩展,允许在类似的框架中采用多个度量。在这里,我们采用ROI方法来评估仅在感兴趣的区域进行环视成像应用的合适曝光水平,如第V节所述。

其他方法利用对场景的先验知识来确定适当的相机曝光。给定捕获图像中预定义的参考区域(黑白、亮度或颜色模式),根据强度直方图[19]、颜色直方图[15]和图像熵[13]来调整曝光。虽然基于先验信息的方法在已知环境中工作得很好,但很难假设先验信息总是存在于任何场景中,特别是在大多数户外移动平台的图像处理应用中。因此,我们的重点是在没有参考的情况下测量暴露的拟合优度。

Zhang 等人的工作与我们的方法 [20] 密切相关,因为它主要侧重于提高视觉里程计应用程序的性能,并采用梯度信息的加权版本。 主要区别在于它们更新曝光的方法,该方法源自梯度幅度的导数。 为了从梯度测量到曝光得出直接更新规则,他们高度依赖辐射校准。 我们的方法不需要辐射校准。 相反,我们直接根据模拟过程更新曝光。
为了克服硬件和曝光控制的限制,高动态范围(HDR)成像提供了一种获得视觉和物理上都引人注目的曝光良好的图像(即恢复辐照度)的方法。由于自动曝光的所有困难都源于相机传感器的动态范围有限,因此组合多次曝光图像可以作为一种替代的典型HDR方法[21,22]。

最大化HDR结果中的视觉信息需要一组不同曝光的图像[23,24]。然而,这种多重曝光曝光方法并不适用于动态场景。虽然存在动态场景的HDR方法[25,26,27],但当输入在不同时间被捕获时,恢复动态部分的真实辐照度是具有挑战性的[28]。即使同时捕获一对来自立体摄像机的低动态图像来生成HDR图像[29],由于立体匹配不完美,图像仍然可能存在不对准伪影。这个问题导致了HDR捕获的实用硬件实现的发展[8],它可以同时捕获同一视图的几个不同曝光图像。在这项工作中,我们不是采用昂贵的专业硬件设置,而是开发了一种从现成的相机获得曝光良好的图像的方法。

以往的研究大多依赖于单相机设置,而多相机曝光控制很少进行研究。在移动平台的实际图像处理应用中,多摄像头设置非常流行,并且在许多应用中需要在相机之间获取相似亮度的图像。然而,相机之间的曝光差异是常见的,当每个相机单独应用曝光控制时,由于不同的观点,这种差异可能会相当大。传统的多相机视觉应用已经开发出专门设计的算法来补偿或克服亮度差异。这些算法包括对应匹配[30]、全景成像[31]和视觉里程计[32,33]等。然而,所有这些方法都应用于图像采集后的后处理步骤。

不可避免的是,在拍摄图像后,超出相机动态范围的场景信息难以恢复;因此,后处理方法的工作范围受到输入的限制。相比之下,我们的扩展多相机设置允许所有的相机获得连贯曝光的图像;因此,后续的图像处理算法受益于这种图像的稳定性和鲁棒性。

3、基于梯度的自动曝光控制

A、从图像处理的角度看图像质量

强度梯度是图像处理和理解的重要线索之一。大多数图像特征,如边缘、角、SIFT[34]和HOG[35],都利用了亮度梯度对光照变化的鲁棒性。

此外,梯度信息还可以很好地表征物体的外观和形状;因此,它通常用于需要对图像内容有中级理解的应用程序(例如,对象检测、跟踪、识别以及同时定位和映射(SLAM))。因此,捕获具有丰富梯度信息的图像是许多视觉算法成功的重要第一步。在本节中,我们将解释如何根据梯度量来评估场景的曝光质量。
为了从计算机视觉的角度评估图像质量,利用梯度域是很自然的,因为梯度是许多计算机视觉算法的主要视觉信息来源[36]。我们将曝光良好的图像定义为具有丰富梯度信息的图像;因此,我们通过图像中梯度信息的总量来评估曝光。

自然场景的梯度大小呈重尾分布[37,38];因此,相对于最大梯度值,大多数梯度值都很小(包括噪声或零),并且只存在稀疏的强梯度。因为这些强梯度通常出现在物体边界附近,所以它们很有可能嵌入重要信息。另一方面,梯度对细微的强度变化很敏感(即,小幅度梯度,如图像噪声,应适当过滤)。

为了平衡弱梯度和强梯度的重要性,我们使用对数函数来映射梯度大小与梯度信息量之间的关系。

然而,对数映射可能会过分强调由于图像噪声而产生的小梯度。为了执行对图像噪声具有鲁棒性的映射,我们修改映射函数,使用一个简单的阈值来丢弃小的噪声值,定义如下:
在这里插入图片描述
式中N = log(λ(1−δ) + 1), mi为像素位置i处的梯度幅度,δ为激活阈值,λ为调整映射趋势的控制参数,¯mi表示梯度幅度对应的梯度信息量。另外,N是一个归一化因子,它限制了函数的输出范围为[0,1]。

Eq.(1)有两个用户控制参数,δ和λ,允许用户根据他们的需要调整我们的方法。参数δ决定激活阈值:映射函数将小于δ的梯度值视为噪声而忽略。参数λ决定映射趋势。我们可以通过将λ设置为一个小值来强调强烈的强度变化,或者通过将λ设置为一个大值来强调细微的纹理变化。图3显示了具有不同控制参数的映射函数图。

使用Eq.(1),我们计算图像中梯度信息的总量为M = ∑mi。我们的方法将M值越大的图像视为曝光更好的图像,在场景中包含更丰富的梯度信息。在本工作的所有实验中,我们经验地将δ和λ分别设置为0.06和103。相关实验见第V -A2节。

在这里插入图片描述
图3:根据控制参数δ和λ,我们的梯度大小和梯度信息量之间的映射函数Eq.(1)。我们通过分析一般梯度特征来设计映射函数。

B、自动调节相机曝光

我们的方法通过增加公式(1)中提出的标准来调整相机在每一帧的曝光。一个挑战是曝光时间和感测梯度(或强度)之间的真正关系是未知的[40];相反,现代相机中存在复杂的成像管道。揭示此类管道的影响是另一个具有挑战性的研究领域。

因此,我们提出了一种替代方法,而不是明确地建模复杂的关系,从而避免了建模成像管道所涉及的困难。我们开发了一个基于模拟的反馈系统,使我们能够找到要更新的曝光的大致方向。

我们简单地采用γ-映射来模拟曝光变化,这大致近似于非线性成像管道以及欠饱和或过饱和效应。
我们从当前输入图像Iin生成γ映射图像Iout = Iγ in

当γ<1时,图像较暗;当γ>1时,图像较亮。使用这种方法,我们模拟一批γ映射图像的曝光变化,计算每张图像的梯度信息的数量,然后找到一个使梯度信息最大化的γ:

在这里插入图片描述
对所有可能的γ值计算Eq.(2)对于高分辨率图像系统来说不是一个可以忽略不计的操作。

然而,在如此精细的尺度上计算梯度信息可能是不必要的,因为曝光在某种程度上对图像域的细微梯度差异不敏感;因此,作为计算成本和精度之间的权衡,必须确定有效的锚图像数量和图像分辨率。为了确定一个合适的选择,我们在章节V-A3中通过综合实验揭示了权衡关系。

在运行时,为了提高γ估计的精度,我们首先计算每个锚点图像的梯度值,然后用五阶多项式拟合梯度值。

我们选取多项式函数在γ =[1/1.9, 1.9]范围内的最大值,并将其对应的γ值赋给γ。量程参数由经验确定;相关的实验可以在补充材料中找到。

C、相机曝光更新功能

在本节中,我们描述给定γ的相机曝光的更新规则。更新规则的设计使得当前曝光将向最终导致γ为1的值移动。
我们提出了两种更新相机曝光的方法:线性更新函数及其扩展到非线性版本。这两个功能被设计成与γ成反比来调节相机的曝光。图4 (a - c)显示了基于控制参数Kp和d的线性和非线性更新函数的工作原理。带有控制参数的更新函数的详细描述如下。
在这里插入图片描述
图4:具有不同控制参数Kp和d值的线性和非线性更新函数示例。

线性更新功能

线性更新定义为在这里插入图片描述
式中Et为时刻t的曝光水平,Kp为通过调整曝光更新比的最大值和最小值来控制收敛速度的比例增益。图4 (a)显示了该函数随Kp的变化趋势。如图所示,在收敛速度和更新函数的稳定性之间存在权衡。高Kp值会使反馈系统快速赶上,但可能会引起振荡和超调。

非线性更新函数

线性更新函数的振荡和超调问题是由于曝光更新比在收敛点(γ = 1.0)(图4 (a)中的弯曲点)的不平滑过渡引起的。为了解决这一问题,我们设计了一种新的参数化非线性更新函数。这个非线性更新函数定义如下:
在这里插入图片描述
其中使用与Eq.(3)相同的α。R映射是为了实现曲线形状而设计的。非线性更新函数有两个控制参数Kp和d。图4 (b)和©显示了参数Kp和d如何控制曝光更新比率的收敛速度和稳定性。

与线性更新函数一样,Kp控制从当前曝光水平到期望曝光水平的收敛速度。附加的控制参数d控制更新函数的非线性。如图所示,d值越小,更新比率斜率的非线性越大,从而使收敛点处的过渡更平滑。

4、多相机系统的曝光平衡

图5显示了一个环绕视图成像应用程序的示例,它将多个相机图像拼接在一起。

尽管每个摄像头拍摄的图像质量合理,但图像之间的亮度不一致会降低环视图像的整体质量。这种类型的问题在多相机系统可以很容易地观察到在许多应用,如360度全景成像和多相机跟踪时,每个相机单独控制其曝光。相反,当所有相机共享相同的相机曝光以达到恒定的亮度水平时,系统只捕获一个狭窄的动态范围,可能会丢失重要的场景信息。
在这里插入图片描述
图5:该图中的图像显示了由于图像间一致性低而导致的环绕视图应用程序性能最差的情况之一。图(a)和图(b)分别显示了使用内置相机自动曝光和建议方法拍摄的环绕视图图像的原始图像和结果。每个相机都是单独调整的,没有曝光平衡。

使用我们基于梯度的曝光控制方法,我们还解决了多相机系统的高级曝光控制问题,这在自动驾驶汽车等许多视觉系统中都很流行。虽然独立控制每个相机可以捕获更好的图像特征,但存在许多情况下,多视图图像处理,如全景成像和立体匹配,有利于在相邻相机之间保持一致的亮度。为了解决这种情况,我们提出了一种曝光平衡算法,该算法既可以实现基于梯度的相机控制,又可以同时保持相邻图像之间的亮度一致性。
在我们基于梯度的曝光控制之上,我们制定了一个优化问题,通过考虑个人图像质量和亮度恒定之间的平衡来确定相机曝光。给定由Eq.(4)得到的相机期望曝光,我们的优化函数将期望曝光视为一元项,将重叠区域的亮度相似度视为两两项。优化函数定义如下:
在这里插入图片描述
式中,i为需要更新曝光等级的目标摄像机,j为与摄像机i视场重叠的相邻摄像机,N为相邻摄像机的个数,t为时间序列。这里,Ei∗t+1表示相机i在第t+1帧(下一帧)的估计最佳曝光,Eit+1是由式(4)得出的相机i的估计曝光值。P表示两台相机之间重叠的一组补丁,mean§是平均补丁强度,rij是来自相机i和j的对应patch之间的相对亮度比的中值。我们使用平均patch的中值比来使我们的解决方案对图像噪声和重叠区域的不对齐具有鲁棒性。

通过Eq.(5)中的曝光平衡方法平衡相机之间的曝光值。Eq.(5)中的控制参数α调整一元项和两两项的权重。为了更好地考虑光照条件的变化,我们将α更新如下:
在这里插入图片描述
其中i为相机指数,R为更新函数当前曝光值与估计曝光值之间的曝光比,Ri = Eit+1/ Eit∈[0.5,2.0]。因此,当曝光水平变化较大时,我们给予一元项较大的权重,以便快速适应场景;当曝光水平基本平稳时,我们增加两两项的影响,以便快速收敛到曝光平衡点。

在此优化中,Eu(·)和Ep(·)分别为一元项和两两项,两项由α平衡。因此,大的α在场景中鼓励更多的梯度信息,而小的α加强相机之间的亮度相似性。式(4)有一个封闭解。对于每一帧,我们只对每个相机i求解一次Eq.(4)和Eq.(5),因为它们最终会通过我们的反馈系统收敛。这个过程允许曝光参数逐渐适应场景。算法1描述了该方法的整个过程。

在这里插入图片描述

5、实验结果

为了验证我们提出的方法的性能,我们进行了合成实验和实际实验。在合成实验中,我们分析了我们提出的方法的各个组成部分,分别涉及图像质量度量、曝光估计以及III-A节、III-B节和III-C节中描述的更新函数。

在实际的实验中,我们通过五种图像处理应用证明了该方法的有效性。

监控和汽车视觉里程计实验证明了所提出的单相机曝光控制方法(Ours-single,从今以后)的结果。我们还使用所提出的多相机曝光控制方法(以下简称our -multi)进行了环绕视图、全景成像和立体匹配应用的实验。

我们将该方法与两种传统方法进行了比较,即相机内置自动曝光法(AE,从今以后)和手动调整固定曝光设置(ME,从今以后)。我们使用具有线性相机响应功能的机器视觉相机进行所有实验,并使用AE方法配置初始相机曝光。在所有的实验中,我们的方法中的所有参数都是固定的。

您可以在我们的项目网页上找到其他材料,如视频剪辑。

A、分析我们提出的方法

  • 使用HDR的合成实验:我们设计了一个基于合成模拟器的实验,以方便在可重复的测试环境中进行复杂的比较过程。我们模拟了一个简化的相机成像管道,用于根据所需的曝光时间从高动态范围图像(HDR)渲染低动态范围图像(LDR),并预先计算了γ和曝光的基本真值。在这个可控的模拟器上,我们测试了不同的设置来观察曝光时间和梯度度量之间的关系,根据2)中的λ和δ值,3)中锚点数量和图像分辨率之间的权衡关系,以及4)中更新函数的收敛速度。
  • 图像质量度量分析:我们根据第III-A节中描述的用户参数分析样本HDR场景的梯度统计。图6显示了梯度分布,从中我们可以观察到λ和δ值变化对场景特征和期望曝光时间的影响:(a)显示了激活阈值δ引起的直方图变化。在计算梯度大小时,高δ值会消除相当多的梯度信息,并对暴露估计产生不利影响;(b)表示整个梯度范围内的梯度幅度;©表示估计暴露量与两个参数之间的关系。
    根据实验结果,我们将δ和λ分别设为0.06和103。与其他参数值相比,这些值表现出较好的梯度分布规律,在综合模拟中表现出较好的一致性。我们在随后的所有实验中都固定了这两个参数。
  • 根据锚点数量和图像分辨率进行性能分析:图7显示了根据锚点数量和图像分辨率的性能变化。我们通过利用所有精细量化的候选γ值来测量接地真值γ的误差。图7 (a)显示,至少需要五个锚点来实现稳定的γ估计。计算速度取决于图像分辨率和锚点的数量。(b)显示了不同图像分辨率下所提出方法的处理时间,©显示了图像分辨率对估计曝光精度的影响。就我们提出的度量而言,我们考虑从2560 × 1280像素的图像分辨率计算的曝光作为参考。
    在本节中,我们将研究锚点图像的有效数量与图像分辨率之间的关系,以了解计算成本和精度之间的权衡。为了确定合适的值,我们通过图7中的综合实验提供了权衡关系。

根据本次实验的结果,我们选择7个锚点γ∈[1/1.9,1/1.5,1/1.2,1.0,1.2,1.5,1.9],并将其固定在本工作后续的所有实验中。这些锚与其他大型锚集具有相似的误差,但实现了合理的处理时间。对于图像分辨率,我们采用320 × 240像素的分辨率来实现实时性能(使用英特尔酷睿i56260U@1.80GHz不并行处理14.15ms);这种分辨率保留了原始图像中的大部分主要结构。

4)更新方法的收敛速度分析:为了确定线性和非线性更新函数的合适参数值,我们进行了参数扫描实验。为了进行本实验,我们将环境控制在可控照明的暗室中,原因有二:1)参数只与收敛速度和稳定性有关;2)参数与照度绝对值不变,只与照度绝对值的变化有关;因此,我们可以将结果推广到实际环境中
我们使用了五个LED光源。每个LED在数字计时器控制的不同时间间隔内反复打开和关闭。所有参数集都以0.1的间隔进行测试,并对每个参数集的收敛速度和稳定性进行了经验评估。图8显示了使用最佳性能参数的结果,其收敛速度快,超调低,振荡小。

由于非线性更新函数在收敛点(1,1)附近斜率平滑,非线性更新函数很少出现超调或振荡,而线性更新函数则同时出现超调和振荡。
我们将本文提出的更新方法与Zhang等人[20]和标准PID[41]进行比较,采用V -A1节中描述的合成实验。为了实现Zhang等人的方法,使用8个强度边界值作为附加控制参数来限制操作范围,避免出现不可控的情况。当捕获图像的平均强度在预定义的边界内时,该方法的效果合理。但是,当平均强度超出边界范围时,该方法仅依靠图像强度来控制曝光。因为这个参数8我们从作者那里获得了原始代码,我们使用了作者建议的所有参数。强度边界参数(70,190)是作者使用的原始参数。

导致Zhang的方法存在明显的行为差异,我们在图9中使用不同的边界参数进行了测试,即(70,190),(50,210),(30,230)和(10,250)。例如,Zhang -(70,190)仅当捕获图像的平均强度在70和190之间时,才根据其梯度度量来控制曝光。在图9-(上)的第1帧到第20帧范围内,Zhang -(70, 190)、-(50,210)和-(30,230)仅使用平均强度控制曝光,因为给定的平均强度在预定义的边界之外。之后,他们将控制方案转换为基于梯度的方法。Zhang -(10,250)没有更新曝光,因为相机响应函数无法提供能够从初始帧在低强度下更新的梯度。我们还观察到Zhang等人对辐射校准的质量很敏感。

我们还使用标准PID控制器实现了一个参考方法。因为我们可以考虑当期望曝光时,最优的γ值应为1,所以我们使用估计的γ与1之间的差值作为输入误差来实现基于pid的方法。我们基于Ziegler-Nichols整定方法对PID参数进行整定[41,42]。虽然我们试图进一步调整PID更新函数并找到最有效的模型,但我们没有找到比我们提出的具有小超调和小振荡的非线性更新方法更快收敛的参数。我们的线性更新函数的性能与Zhang等人基于pid的方法相当,我们的非线性更新函数在曝光收敛速度方面优于所有其他方法,而其在收敛点的定性结果是相当的(参见补充材料)。

B、单机实验

  1. 实现:图10 (a)显示了用于评估单相机曝光控制的相机系统。为了进行比较评估,我们使用了三台Flea3相机,每台相机都配备了索尼ICX424 CCD 1/3’'传感器,分辨率为640 × 480,动态范围为58.72 dB。 三个摄像头被放置在平行和同步使用内部软件触发器。每台相机的曝光参数由AE、ME和our -single确定。
    我们使用了两个相机参数,快门速度(曝光时间)和增益,因为控制快门速度会影响帧速率,而帧速率对于应用程序通常是至关重要的。我们将这两个参数描述为Eq.(3)中的曝光水平E。在我们的实现中,为了增加E,我们首先根据E的值控制快门速度,直到它达到预定义的最大值(我们将其设置为25.51ms,用于以下两个应用,监视和汽车视觉里程计)。
    然后,在快门速度达到最大值后,我们增加增益。在相反的情况下,当快门速度小于最大值时进行调整。
  2. 监视应用程序 为了在监控应用程序中验证our -single,我们每天从8:00到18:00每两小时记录一次图像序列。我们收集了两类数据集。

Dataset

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/HY_shen/article/details/130734840

cvpr2017论文摘要汇总_super_chicken的博客-爱代码爱编程

1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering

iccv2017论文摘要汇总_super_chicken的博客-爱代码爱编程

1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: E

图像传感器与信号处理——自动曝光算法-爱代码爱编程

图像传感器与信号处理——自动曝光算法 图像传感器与信号处理——自动曝光算法1. 如何实现自动曝光?2. 基于直方图统计的算法2.1 Acquisition of Agronomic Images with Sufficient Quality by Automatic Exposure Time Control and Histogram Matc

论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》-爱代码爱编程

论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》 《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gra