厚势按：机器视觉是汽车驾驶辅助系统应用领域的重要技术，文章主要综述了机器视觉在车道检测技术、交通标志识别技术、车辆识别技术、行人检测技术和驾驶员状态检测技术等领域的应用，着重介绍了机器视觉技术在上述领域目前的研究现状，为机器视觉在汽车驾驶辅助领域的进一步研究提供了参考。

本文来自 2017 年 10 月 10 日出版的《上海汽车》，作者是中国汽车技术研究中心的张琳琳和郑碧琪。

随着我国汽车工业的快速发展，机动车的保有量逐年攀升，道路交通事故对人类生命和财产安全造成的重大危害也不断凸显。世界卫生组织发布的《道路安全全球现状报告 2013》中指出，全世界每年约有 124 万人死于道路交通，道路交通伤害是全球第 8 大死因之一。

为了改善道路交通安全状况，国内外众多的科研机构、汽车企业均投入大量精力在汽车安全防护系统的研究和开发领域。研发内容从最早的机械和电子装置，发展到今时今日关注的热点———先进辅助驾驶系统（ADAS）。

以 ADAS 为代表的系统在硬件上应用了多种传感器，如超声波传感器、视觉传感器、雷达、GPS 等，在行车过程中感知车辆自身状态及环境变化，采集车辆数据和环境数据，依据这些数据，进行交通场景识别、交通事件预测，并给出相应的驾驶建议和应急措施，辅助驾驶人员进行决策，避免交通事故发生，减少事故造成的伤害。

在实际驾驶过程中，驾驶员获取绝大部分信息均来自于视觉，比如：路面状况、交通标志、标线和信号、障碍物等，研究表明大约有 90% 的环境信息来自于视觉，如果能很好地利用视觉传感器理解路面环境，对实现车辆智能化是一个很好的选择。基于视觉导航的交通标志检测、道路检测、行人检测和障碍物检测的车辆驾驶辅助系统，可以降低驾驶员的劳动强度，提高行驶安全性，减少交通事故。

驾驶辅助系统在为驾驶员提供决策建议的过程中，使用了大量的视觉信息数据，在这方面视觉图像具有无法比拟的优势：

• 视觉图像包含的信息量大，例如可视范围内物体的距离信息、物体形状、纹理和颜色等；

• 视觉信息的获取是非接触的，不会破坏路面和周围环境，也不需要对现有道路设施进行大范围的配套修建；

• 一次视觉图像的获取，可同时实现道路检测、交通标志检测、障碍物检测等多项工作；

• 视觉信息的获取过程中不会出现车辆相互干扰的情况。

综上所述，智能车辆机器视觉技术在智能交通、汽车安全辅助驾驶、车辆的自动驾驶等方面有着广泛的应用前景。

1. 机器视觉在先进辅助驾驶系统中的应用

目前，视觉传感器及机器视觉技术被广泛应用到了各类先进辅助驾驶系统中。其中，行车环境的感知是基于机器视觉的先进辅助驾驶系统的重要组成部分之一。

行车环境的感知主要是依靠视觉技术感知车辆行驶时的道路信息、路况信息和驾驶员状态，为辅助驾驶系统提供决策所必需的基础数据。其中，

• 道路信息主要是指车外的静态信息，包括：车道线、道路边沿、交通指示标志和信号灯等；

• 路况信息主要是指车外的动态信息，包括：行车前方障碍物、行人、车辆等；

• 驾驶员状态属于车内信息，主要包括：驾驶员的疲劳、异常驾驶行为等，通过提醒驾驶员可能发生的不安全行为，避免车辆发生安全事故。

借助机器视觉技术对行车环境进行感知，可获取各种车内、外的静态信息和动态信息，帮助辅助驾驶系统做出决策判断。

根据上述分类，可知目前应用较多的基于机器视觉的先进辅助驾驶系统的关键技术包括：车道线检测技术、交通标志识别技术、车辆识别技术、行人检测技术和驾驶员状态检测技术等。

1.1 车道线检测技术

目前已有的车道线检测技术研究成果中，主要涉及设备和算法两个方面。车道线检测技术的数据采集基于不同的传感器设备，例如激光雷达、立体视觉、单目视觉等。对采集到的信息，需要匹配适合的算法，例如基于模型的方法和基于特征的方法进行计算和决策。

• 激光雷达的机器视觉原理是通过不同的颜色或材质有不同反射率的特点进行道路识别；

• 立体视觉与激光雷达相比精确性高，但实现图像匹配难度大，设备成本较高，且由于算法复杂，导致了实时性较差；

• 单目视觉在应用中主要通过基于特征、模型、融合和机器学习的方法实现，是目前进行车道线识别最主流的方法。

基于特征的算法首先进行图像特征提取，比如边缘信息。利用这些特征信息，按照预定规则获得车道线标记。例如 Lee 等人在 2002 年就提出了一种基于特征的车道线检测方法，他们使用边缘分布函数来统计全局的梯度角累积分化找出最大的累积量，结合左右车道线的对称特性，确定出车道线的位置。此类算法的主要优点在于其对车道线的形状不敏感，在噪声干扰较强的情况下（如阴影、标志线磨损等）仍具有较好的鲁棒性，能较为可靠地检测出车道线的直线模型。

Lopez 等人于 2010 年提出使用图像的「脊峰」替代图像边缘信息提取车道线特征数据的方法。「脊峰」可以反映图像邻域像素点的汇聚程度，在车道线标志线区域中，它的表示形态是在车道线中间的具有局部极大值的明亮区域。与图像边缘相比较，「脊峰」更加适合应用于车道线检测的应用场合。

基于模型的车道线识别方法是运用数学的思维建立道路模型，分析图像信息获取参数，从而完成车道线检测。Shengyan Zhou等提出了一种基于 Gabor 滤波器与几何模型的车道线识别方法。在智能车前方存在车道标示线的前提下，可以用车道线原点、宽度、曲率、起始位置这 4 个参数对其进行描述。先对摄像机进行预标定，在计算完模型参数后筛选出若干车道线模型。算法通过局部 Hough 变换和区域定位估算所需参数，确定最终使用模型并完成与实际车道线的匹配。

一般来讲，基于模型的车道线识别方法主要分为简单的直线模型和较为复杂的模型（如二次曲线和样条曲线），实际应用中需要根据具体的使用场合和道路特点选择不同的方法。例如大多数的车道偏离预警系统均采用简单的直线模型来刻画车道线；而需要灵活拟合车道线的场合下，如车道线预估与跟踪问题，则通常使用较复杂的模型算法。

1.2 交通标志识别技术

交通标志识别可提示驾驶员道路环境中的交通标志，帮助驾驶员做出正确决策，提高驾驶安全性。交通标志通常都具有较明显的视觉特征，如颜色、形状等，利用此类视觉特征可以检测出不同交通标志，在交通标志检测方法研究的相关文献中，颜色特征和形状特征相结合的相关检测方法较为广泛。但由于实际情况下，交通标志的图像采集数据的质量可能会受到光照、天气变化等影响;同时，交通标志被遮挡、扭曲、磨损等，也会影响算法准确性。

目前交通标志识别技术的实现方法，大部分都是通过设定颜色分量的阈值范围实现图像分割，从复杂的背景区域中得到感兴趣区域（ROI），然后在感兴趣区域上进行形状的过滤，从而检测出交通标志的所在区域。常见的算法有直接彩色阈值分割算法，直接在 RGB 颜色空间对图像所有像素进行分割，通过角点检测确定目标区域是否有交通标志，该算法对光照影响和遮挡问题的解决效果不佳，因此许多学者都对该算法进行了改进，常用的是将 RGB 图像转化到 HSV、HIS 等更符合人类对颜色的视觉理解的颜色模型下再进行图像分割和提取，有效地克服了交通标志的光照影响和遮挡难题。

交通标志识别技术最具代表性的应用是在智能交通系统（ITS）之中。2010 年，美国马萨诸塞州大学研制的 TSR 系统，该识别系统采用颜色阈值分割算法和主成分分析方法进行目标检测与识别，系统的识别准确率高达 99.2%，针对轻微目标遮挡以及能见度较低的天气情况，该算法都能取得不错效果，具有一定的鲁棒性和适用性，处理速度为每帧 2.5 s，系统的主要不足就是难以满足实时性要求。

2011 年德国举办了交通标志识别大赛（IJCNN 2011），促进了交通标志检测和识别研究的快速发展。2011 年，Ciresan 等人在 IJCNN 大赛上对 GTSRB 数据库采用深度卷积神经网络的识别方法，获得了比人类平均识别率更高的结果。

2012 年，Greenhalghd 等人在归一化的 RGB 空间中选取Ｒ和 B 通道的最大值以及结合 RGB 图像提取 MSEＲ区域并利用 SVM 进行交通标志判断，该方法有较好的实时性。2013年 Kim J.B. 认为颜色形状容易受周围环境影响，增加了视觉显著性模型进行交通标志检测并具有较高的实时性。

1.3 车辆识别技术

在车辆识别技术方面，目前许多专家学者都在研究多传感器融合技术。这是由于单一的传感器在复杂的交通环境下检测车辆的难度加大，且不同车辆具有各自不同的外形、大小和颜色，在物体之间的遮挡、杂乱且动态变化的背景下，多传感器融合可以达到作用互补的效果，是车辆识别技术的发展趋势。

雷达在检测车辆前方障碍物的位置、速度、深度等信息方面具有明显优势，种类主要包括激光雷达、毫米雷达、微波雷达，其中激光雷达又可分为单线、四线及多线。基于车载摄像头的视觉信息，可以对外部环境进行立体视觉或单目视觉的检测。立体视觉检测的目的在于获取障碍物的深度信息，但在实际应用中，较大的计算量难以保证高速行驶中的实时性，且由于车辆颠簸等影响，双目或多目摄像头的标定参数往往会有较大偏差，产生较多的误检及漏检情况。单目视觉在实时性方面拥有较大优势，是目前最常用的检测方法，主要包括：基于先验知识的检测方法、基于运动的检测方法、基于统计学习的检测方法。

• 基于先验知识的检测方法：提取车辆的某些特征作为先验知识，原理与车道检测技术中基于特征的检测算法类似，经常作为先验知识的车辆特征包括：车辆的对称性、颜色、阴影、边缘特征、纹理特征等信息。该方法在图像空间中进行搜索，找到与先验知识模型匹配的区域，即可能存在车辆的区域（ROI）。对于确定出的 ROI 区域通常还会采用机器学习的方法进一步确认。

• 基于运动的检测方法：由于在不同的实际环境中物体运动时产生的图像信息不同，基于此特点，通常需要对多幅差异较大的图像进行处理，积累足够的信息后对运动物体进行识别，实现对障碍物的检测。但此方法由于计算量大的局限，实际应用中实时性欠佳。基于运动的检测方法中，主要是光流法，该方法是机器视觉和模式识别中检测运动物体常用的方法之一，它利用了同一平面内运动物体的图像像素序列灰度分布的变化，建立坐标系检测并获取障碍物位置。

• 基于统计学习的检测方法：首先需要采集足够多的前方车辆样本，样本需涵盖不同的环境、天气、远近等情况。在训练样本数据的过程中，一般采用神经网络、Haar 小波等方法。训练完成后，便可应用于要实现的具体功能上。

1.4 行人检测技术

行人检测技术与现行的智能驾驶辅助技术相比具有一定的特殊性，主要体现在行人兼具刚性和柔性物体的特性，对行人的检测易受到行人自身行为、穿着、姿态等因素的影响。行人检测技术，即从传感器采集到的图像中提取行人位置，对行人运动行为进行判断的方法，通过提取视频中运动目标区域的信息，使用背景减除法、光流法、帧差法等，结合人体形态、肤色等特征判断。在获取的静态图片中，使用的方法主要有模板匹配方法，基于形状检测方法，基于机器学习的检测方法。由于前两种方法存在明显缺点，近年来实际应用较少，本文着重介绍基于机器学习的检测方法的发展现状。

基于机器学习的行人检测方法的性能提升主要依赖行人特征描述以及分类器的训练。特征描述的复杂程度又影响了检测方法的实时性，HOG 是目前广泛使用的行人特征描述方法，另外 Haar、LBP 及其改进方法也是行人特征描述的常用方法。机器学习的分类器涉及到行人检测的检测率，神经网络、支持向量机和 Boosting 方法是常见的机器学习分类器。

许多行人检测技术的算法都是以上述方法及其改进方法的基础上进行研究，从而在不同方面优化了行人检测技术。以 HOG 与线性向量机（SVM）结合为例，HOG 刻画了图像的局部梯度幅值和方向特征，基于梯度特征、对块的特征向量进行归一化处理、允许块之间相互重叠，因此对光照变化和小量的偏移并不敏感，能有效地刻画出人体的边缘特征。HOG 特征和 SVM 在场景简单的 MIT 行人数据库测试中，该组合检测率近乎 100%。

1.5 驾驶员状态检测技术

早期驾驶员状态检测的方法主要是基于车辆运行状态的检测方法，包括车道偏离报警、转向盘检测等，此类方法对驾驶员本身特征敏感度不高，容易因环境因素误判，因此在近年来的研究中很少单一使用。本文将分别介绍基于驾驶员面部特征的检测技术，以及该技术与多传感器融合的驾驶员状态检测技术。

目前在基于驾驶员面部特征的检测技术中比较常用的是驾驶员的头部特征，驾驶员头部的可视化特征可集中反映驾驶员的精神状态，比如眼睛的眨动状态和频率、嘴部运动特征、头部姿势等，这些特征都可通过摄像头采集，不会对驾驶员正常驾驶产生影响，这种非接触式的方法也逐渐成为此类技术的主流方法。

FaceLAB 是基于眼部特征的驾驶员状态检测技术的代表，该技术通过检测驾驶员头部姿态、眼睑运动、凝视方向、瞳孔直径等特征参量，进行多特征信息融合，实现对驾驶员疲劳状态的实时检测，系统采用眼睛睁闭和注视方向检测方法，解决了在暗光照、头部运动和驾驶员佩戴眼镜条件下的视线跟踪问题。2008 年，最新版的 FaeeLAB0 v4 系统采用领先的红外光主动照明技术，进一步增强了视线检测的准确度和精度，且能独立地跟踪每一只眼睛。

基于驾驶员面部特征与多传感器融合的检测技术，其主要代表是欧盟名为「AWAKE」的项目研究，该项目利用图像、压力等多种传感器，通过对驾驶员眼睑运动、视线方向、转向盘握紧力等驾驶状态，及车道跟踪、周边车距检测、油门加速度计和制动器的使用等的分析，将驾驶员的疲劳程度划分为清醒、可能疲劳和疲劳 3 种状态，对驾驶员状态进行较为全面的检测和综合评价。

该项目的驾驶员报警系统，由声音、视觉、触觉报警器组成，当检测到疲劳发生时，可根据疲劳程度的不同，通过强弱不同的声光刺激和安全带抖动来提高驾驶员的警觉性。在此研究基础上，日产公司研制出一种报警系统，当该系统判断驾驶员处于疲劳驾驶状态时，电子报警器就会鸣响，并向驾驶室喷放一种含有薄荷和柠檬等醒脑物质的香气，及时消除司机睡意，如果驾驶员疲劳状态得不到改善，该系统会使用声光报警，并且自动停车。

2. 结语

汽车技术的发展进入了智能化时代，机器视觉在众多汽车驾驶辅助技术中均有应用，机器视觉领域的技术进步无疑将推动汽车驾驶辅助技术的发展。因此图像采集质量的提升、图像处理算法的优化，如何更快速地实现图像智能生成、处理、识别并给出决策建议，都是机器视觉领域需要解决的重要问题。

未来，随着各类传感器的技术革新、图像处理算法复杂度的降低，机器视觉技术将更好地满足行车过程中实时性、准确性的要求。

参考文献

[1] 朱明珠，赵云，沈英．车载机器视觉的应用概述 [J].机电技术，2014，37( 1) : 50 ~ 52.

[2] Lee J W.A Machine Vision System for Lane-Departure Detection [J]. Computer Vision and Image Understanding，2002，86(1) : 52 ~ 78.

[3] Lopez A, Serrat J. Robust Lane Markings Detection and Road Geometry Computation [J]. International Journal of Automotive Technology，2010，11( 3) : 395 ~ 407.

[4] Zhou S Y， Jiang Y H． A Novel Lane Detection Based on Geometrical Model and Gabor Filter [C]. USA: 2010 IEEE Intelligent Vehicles Symposium University of California，2010.

[5] Fleyeh H. Color detection and segmentation for road and traffic signs [C]. IEEE Conference on Cybernetics and Intelligent Systems，2004，2: 809 ~ 814.

[6] Baehring D, Simon S, Niehsen W, etc. Detection of Close Cut-in and Overtaking Vehicles for Driver Assistance Based on Planar Parallax [C]. USA: Proceedings of IEEE Intelligent Vehicles Symposium，2005.

[7] 苏松志，李绍滋，陈淑媛. 行人检测技术综述[J]. 电子学报，2012，40( 4) :814 ~ 820.

返回第一电动网首页 >