探索无人车自动驾驶：视觉识别技术_北京智能佳科技有限公司-中国智能服务机器人领域的专业制造者

有一天，我会放开双手，任由汽车带我遨游山河。

有一天，我会放松身心，透过车窗看这美丽景色。

通过对SLAM自主建图和多传感器融合技术的学习，相信你一定对自动驾驶技术的未来发展更加充满信心，今天，我们继续探究自动驾驶的涉及技术之一——视觉识别技术（利用双目摄像头和RGB摄像头可以识别车道线、道路标识标线、障碍物等）。

双目 · 摄像头

首先，我们先要了解的是，自动驾驶中用到的双目摄像头到底是何物。

双目摄像头是利用仿生学原理，通过标定后的双摄像头得到同步曝光图像，然后计算获取的2维图像像素点的第三维深度信息。为了对不同的环境场合进行监控提出了一种新的基于双目计算机视觉的自适应识别算法。

该算法首先利用像素点的深度信息对场景进行识别判断，然后采用统计的方法为场景建模，并通过时间滤波克服光照渐变，以及通过深度算法特性克服光照突变。与单摄像头相比，利用该算法实现的视频监控原理系统，可应用于更多场合，并利用深度信息设置报警级别，来降低误检率。

知道了什么叫做双目摄像头，那么我们就要进一步了解双目摄像头都能干什么？

1. 做距离相关的应用：人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近。

2. 双摄像头可以做光学变焦：若两个摄像头的FOV 不一样，一个大FOV ，一个小FOV ，再通过算法实现两个光学镜头之间的效果，就可以轻松做到光学变焦。

双目摄像头原理

知道了双目摄像头是什么，有什么用，那么它的原理自然也就能够明白了，实际上双目摄像头的原理并不难理解。

双目摄像头就是模拟人眼的应用。简单的说，测距离的话，就是通过算法算出，被拍摄物体与左/右摄像头的角度θ₁和θ₂，再加上固定的y 值（即两个摄像头的中心距），就非常容易算出z 值（即物体到摄像头的距离）。

但是，任何事物都不是轻易就能够完成的，双目摄像头自然也是，它也有自身的难点。

双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高，这使得双目系统的产品化、小型化的难度较大。所以在芯片或FPGA 上解决双目的计算问题难度比较大。

其次，双目摄像头对ISP 的性能比较高。双摄像头的算法，不得不提到ISP ，ISP 主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP 才能在不同的光学条件下都能较好的还原现场细节，ISP 技术在很大程度上决定了摄像机成像质量。

机器视觉 · 系统

了解了双目摄像机的一些知识以后，我们向更深的领域探索，接下来，就让我们一起来看看，自动驾驶涉及的技术之一——机器视觉系统

机器视觉系统简介

视觉系统就是用机器代替人眼来做测量和判断。

视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号。

图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。

机器视觉系统的特点是提高生产的柔性和自动化程度。

在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。

同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。可以在最快的生产线上对产品进行测量、引导、检测、和识别，并能保质保量的完成生产任务。

基本构造

一个典型的工业机器视觉系统包括：光源、镜头（定焦镜头、变倍镜头、远心镜头、显微镜头）、相机（包括CCD相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。

系统可再分为：

一、采集和分析分开的系统。

主端电脑（Host Computer)、影像撷取卡（Frame Grabber)与影像处理器、影像摄影机、定焦镜头镜头、显微镜头、照明设备、Halogen光源LED光源、高周波萤光灯源、闪光灯源、其他特殊光源、影像显示器、LCD、机构及控制系统、PLC、PC-Base控制器、精密桌台、伺服运动机台。

二、采集和分析一体的系统

智能相机（图像采集和分析一体）

其他配套外围设备：光源、显示、PLC控制系统等等。

图像 · 采集

图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。

比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机，然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。

视觉处理器

视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以视觉处理器用的较少了。

机器 · 选型

在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。系统之所以成功，首先要保证图像质量好，特征明显。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。

光源选型基本要素：

对比度：对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。

亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够；由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次，光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。

鲁棒性：另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性，这不利于后面的特征提取。

好的光源需要能够使你需要寻找的特征非常明显，除了是摄像头能够拍摄到部件外，好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。光源选择好了，剩下来的工作就容易多了。具体的光源选取方法还在于试验的实践经验。

应用 · 类别

图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。

Color检测

一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红（R）绿（G）蓝（B）三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。

Blob检测

根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积，以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。

Blob分析（Blob Analysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（Binary Thresholding）处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE）来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。

机器视觉系统 · 工作原理

机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。

机器视觉系统 · 优点

1、非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高系统的可靠性。

2、具有较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展了人眼的视觉范围。

3、长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务。

机器视觉系统在应用领域越来越广泛，在医疗、交通、工业、安全、金融等方面都有机器视觉系统的出现，可以说，机器视觉系统出现在了我们生活的方方面面。

通过今天的学习，是不是又学到了新的关于自动驾驶的知识了？相信你对自动驾驶方面的理解会越来越深刻的。

联系我们 Contact Us

探索无人车自动驾驶：视觉识别技术

相关阅读

电话邮箱

在线客服