视频图画中的车辆检测盯梢和分类

时间:2022-01-05 19:49:15 来源:yabo亚博网站首页手机登录

  :介绍了一种在固定的单摄像头拍照的交通图画序列中检测、盯梢、分类车辆的办法。该办法大致可分为三部分:抽取布景图画和;依据针孔模型的摄像机定标,核算透视投影矩阵;运用区域特征进行匹配盯梢,树立方针链,康复方针三维信息,选用

  在现代交通管理和路途规划中,交通流量和通行车辆的类型、速度是重要的参数。主动获取这些数据的办法大致能够分为两类:一类是运用压电、红外、环形磁感应线圈等传感器取得车辆自身的参数,这类办法盯梢辨认率较高,可是简略损坏,装置也不方便;还有一类便是依据图画处理和模式辨认的办法,克服了前面一类办法的限制,因为图画处理辨认技能的前进和硬件性价比的大幅进步,有必定实用价值的体系现已呈现。这些体系的运用证明:图画处理辨认车型的办法日趋老练,环境适应才能较强,能长时间安稳作业,可是核算量大,辨认正确率不如感应线圈、激光读卡等办法高。本文的研讨归于后者,运用装置在高处的单个停止摄像头监督路面,运用运动切割与模型匹配的办法,检测并核算多车道的车流信息。

  整个辨认进程分三步:切割、盯梢和车型断定。运动方针的切割常选用帧差法。在监控场合,摄像头大多是固定的,布景底子没有改变或许改变缓慢,能够从图画序列中逐步取出布景图画,然后运用帧差法检测出方针区域,一起还能够检测停止方针。因为辨认进程中运用二值边际图画,所以本文在图画切割中对输入图画进行了梯度二值化处理。三维空间和二维图画平面之间映射联系的确认,选用依据针孔模型的摄像机定标来核算。对方针区域的盯梢,选用了区域特征向量的匹配盯梢办法,减小了运算量。因为图画处理的办法很难提取轮数、轴距等车辆自身参数,所以在图画车型辨认中一般都选用三维模型在图画上投影和车辆边际相匹配的办法。

  因为摄像头固定,布景改变缓慢,因而,能够运用图画序列逐步康复出布景图画。其底子原理是:对每一个像素进行监控,假如在较长时间内灰度不发生明显改变,则以为该像素归于布景区域,将该像素灰度值仿制到布景缓冲区,不然归于远景区域[1]。因为光照以及车辆暗影等影响,选用这种办法康复出来的布景图画存在较大噪声。因而在实验中对原始输入图画进行了梯度二值化处理,然后进行布景重建。这样能够减小暗影的搅扰,加速布景重建速度。因为辨认是运用边际信息,所以梯度化对后边的辨认进程没有影响。

  在得到布景鸿沟图画后,运用帧差法能够切割出感兴趣的方针。可是,假如方针区域和布景鸿沟重合(值都为1),相减之后该方针区域被过错断定为布景区域 (值为0)。为了减小过错判定区域,本文在切割时参阅了相邻两帧的二值化帧差fdmask,判定原则如下:假如fdmask中某像素为0,则输入图画和布景图画相应像素相减;不然直接仿制输入图画中相应的像素值。切割成果通过噪声消除、形态学滑润鸿沟、种子填充、区域符号等后续处理,就别离出了方针。

  在模型匹配中,需求从二维图画康复方针三维信息,一起将三维模型投影到图画平面上,因而有必要核算三维空间到图画平面的投影联系矩阵。这个进程便是摄像机定标。本文选用依据针孔模型的摄像机定标办法,其底子原理是运用给定的一组三维国际的点坐标和这些点在图画中的坐标,求解线性方程组,核算透视投影矩阵中的各个元素[2]。透视投影矩阵如下:

  其间:(u,v)是图画坐标,(Xw,Yw,Zw)是三维坐标,M为投影矩阵,Zc为三维空间中点到摄像机镜头的矢量在主光轴上的投影间隔。要求解M的各个元素,依据文献[2]介绍需求6个点的投影联系组成12阶的方程组,一般方程组不独立,没有仅有解,选用近似核算的差错较大。在(1)式基础上通过变形,将12阶方程分拆成三个4阶方程组,只需求运用4个点的投影联系,方程组的阶次也只要4阶,能够有用防止呈现奇特矩阵,求出仅有解。由式(1)能够得出:

  在区域切割后,接下来进行区域盯梢,运用相邻两帧的区域匹配从而在图画序列中树立方针链,盯梢方针从进入监督规模到驶离监督规模的整个进程。首先要确认匹配原则。常用的图画匹配办法有 Hausdorff 间隔匹配法和图画互相关。这两种办法都需求逐一像素的核算。为了减小核算量,选用区域特征盯梢法。方针区域的特征包含区域形心坐标、区域围住矩形、区域运动速度及运动方向和区域面积。本文匹配原则选用了两个假定:同一方针所对应区域在相邻两帧中面积附近;同一方针在前一帧中的区域形心加上运动速度所得到的形心猜测值与后一帧中区域形心间隔附近[3]。盯梢进程如下:

  (2)依据判定原则,假如某方针链中的区域在当时帧找到了匹配区域,则用找到的匹配区域特征更新该方针链中的区域特征。

  (3)假如在形心猜测值所在方位,当时帧区域和方针链中区域面积相差很大,则能够以为发生了兼并或许割裂现象。对方针链中的区域围住矩形,在本帧查找该矩形掩盖了几个区域,假如多于一个区域,则以为发生了割裂现象。对割裂现象呈现的新区域,发动新的方针链。同理,关于本帧区域的围住矩形,查找该矩形掩盖了几个方针链中的区域,假如多于一个,则以为发生了兼并现象,运用兼并区域发动新的方针链,一起停止那些被兼并区域的方针链。

  (4)关于方针链中的区域,假如在本帧没有与之相匹配的区域存在,则以为发生了消失现象。方针链并不当即停止,只要在通过数帧仍没有找到匹配之后,才停止该方针链。

  选用这种办法能够快速盯梢图画序列中的方针,一起得到车辆在监督规模的均匀速度。在计数时,只要方针在接连数帧里呈现才以为是一个真实的方针区域,只要方针在接连数帧都没有呈现才以为消失,因而能够消除那些暂时消失引起的计数过错。

  车辆分类是个很杂乱的问题。图画处理办法要获取轮数、轴距等车辆自身参数比较困难,因而图画辨认车型一般选用模型匹配办法。现有的研讨大多是先抽取马辆的几条直线边际,然后用线条和模型边际匹配。因为在图画中抽取直线自身的核算量相当大,所以本文没有抽取车辆边际直线,而是直接运用了Canny边际检测的全体成果与模型相匹配。Canny边际与模型边际之间存在较大的形变,Hausdorff间隔匹配对形变不灵敏,所以采只Hausdorff间隔作为匹配原则是很适合的[4]。

  bj-ai(A,B)被称为从A到B的有向Hausdorff 间隔,它反映了A到B的不匹配程度。h(B,A)的含义与h(A,B)类似。在详细核算Hausdorff 间隔时,一般选用间隔改换的办法。车型分类过程如下:

  (1)在切割成果的基础上,对方针区域进行Canny算子边际检测[5],只是处理切割出的方针区域的边际,减小了运算量。

  (2)对Canny边际,选用串行间隔改换,得到间隔边换图画。间隔改换图画的每个像素灰度值等于该像素到方针边际的最近间隔。

  (3)对各切割方针,康复车辆的三维信息,只核算长度和宽度。因为二维图画平面上一点对应了摄像机坐橱中不同深度的一系列点,所以在从图画上一点康复到该点在国际坐标中的信息时,首先要给定该点在国际坐标中一个重量以削减不确认度(这样康复出来的数值有些差错,一般给出Z方向高度值Zw)。

  (4)在核算方针区域长度和宽度的一起,能够求出车辆底盘形心在地面上的方位(X,Y),依据速度方向判别车辆在地面上的视点α。运用车辆自身的三维模型数据以及(X,Y,α),通过式(1)透视投影,消隐处理,能够确认车辆模型在图画平面上的投影。

  (5)当方针进入指定区域后,以模型投影图画为核板,将投影图画在间隔改换图画上移动,在每一个方位,求出模型投影图画下间隔改换图画被模型概括线掩盖的像素值之和,以这个和值作为在该方位当时模型与实践车辆的匹配程度。将当时模型在各方位所得匹配程度的最小值作为当时模型与车辆的实践匹配程度,该最小值除以模型概括线的像素数目,即该模型与车辆之间的Hausdorff间隔。对各种模型,别离求出它们与车辆之间的Hausdorff间隔,取其间最小值对应的那种模型即为车型辨认成果。实验进程中为了减小核算量,查找办法选用了三步查找法。

  本实验所选用的352x288视频图画,来自选用单千固定CCD摄像机于杭州天目山路拍照的交通场景片断。首要算法在Trimedial300 DSP上用C言语完成,在图画切割进程中进行了较多的梯度、下降噪声、填充和符号运算,均匀处理一帧大约耗时0.3s。算法流程的全进程如图1所示。

  实验证明,抽取布景和当时帧之间进行差异检测,切割较为精确。关于比较淡的暗影,用梯度二值化办法能够部分消除暗影影响。因为只监督边际改变部分,布景重建速度比直接运用灰度图画重建布景快许多,搅扰也较小。梯度二值化处理之后重建布景只需150-200帧,而不通过梯度二值化处理在上千帧之后依然没有较好的布景,而且点状噪声和云雾状含糊比较严重。

  盯梢计数的成果表明,运用形心和面积作为特征,能够快速盯梢图画序列中的方针,计数正确率可达95%。计数差错首要在于遮挡引起的割裂兼并处理不能彻底照实反映方针的运动,把兼并区域当作新呈现的区域。假如兼并区域再次割裂,割裂出来的区域就会被当作新区域,形成计数偏大。为了简化盯梢算法,实验仅在相邻两帧之间进行盯梢匹配,这样处理割裂兼并的才能并不强,假如在多帧之间进行盯梢,作用会好一些,可是算法比较杂乱。

  关于巨细相差悬殊的车辆,如公共汽车和轿车,依据长度、宽度信息就很简略别离开来,底子不必进行后边的模型匹配。所以本文实验首要针对了大街上常见的巨细相差不太大的车辆,将它们分成了轿车、轻卡和面包车。实验证明:直接运用Canny边际,依据Hausdorff间隔匹配能够有用地对车型加以判别。因为没有逐条抽取边际直线来与模型概括线匹配,核算量大为减小,算法完成简略。因为轿车的外形巨细改变相对较小,辨认正确率最高,可达90%;轻型货车次之;面包车的辨认率最低,大约50-60%,过错部分首要被辨认成轿车,首要原因是面包车的巨细相差很大,模型匹配办法的一个缺乏也在于此。要进步辨认率,模型细分是必需的作业。本实验中摄像头装置在大街的前方,因为车辆最明显的外形特征在于侧概括,所以假如摄像头装置在大街周围拍撼车辆的旁边面图画,能够以为辨认作用应该会更好一些:别的,Canny算子的边际作用不是很好,噪声比较大,也影响了判定成果。假如选用Hough改换抽取车辆边际的直线,核算量较大。假如暗影比较严重,还需求进行专门的去暗影处理。这些都是下一步作业要处理的问题。

  2 孙慧,张燕.核算机视觉摄像机定标中投影矩阵的核算.河北师范大学学报,2001;126(1):26-28

上一篇:智能化引导未来汽车的设计趋势 下一篇:一种改善的YOLOv4-tiny车辆方针检测办法