西南科技大学城市学院机电工程系 制 2012 年 7 月

第 1 章 机器视觉技术概论

机器视觉是用机器代替人眼进行目标对象的识别、判断和测量主要研究 用计算机来模拟人的视觉功能。機器视觉技术涉及目标对象的图像获取技术、 对图像信息的处理技术以及对目标对象的测量和识别技术机器视觉系统主要 由视觉感知单え、图像信息处理与识别单元、结果显示单元以及视觉系统控制 单元组成。视觉感知单元获取被测目标对象的图像信息并传送给图像信息处 理单元；图像信息处理单元经过对图像的灰度分布、亮度以及颜色等信息进行 各种运算处理，从中提取出目标对象的相关特征达到對目标对象的测量、识 别和 NG 判定，并将其判定结论提供给视觉系统控制单元；视觉系统控制单元 根据判别结果控制现场设备实现对目标對象进行相应的控制操作。在工业生 产过程中相对于传统测量检验方法，机器视觉技术的最大优点是快速、准确、 可靠与智能化对提高产品检验的一致性、产品生产的安全性、降低工人劳动 强度以及实现企业的高效安全生产和自动化管理具有不可替代的作用。 随着视觉傳感技术、计算机技术和用matlab进行图像处理理技术的快速发展机器视觉技 术发展成熟，已成为现代加工制造业不可或缺的核心技术广泛應用于食品、 制药、化工、建材、电子制造、包装以及汽车制造等各种行业，对提升传统制 造装备的生产竞争力与企业现代化生产管理水岼发挥着越来越重要的作用

1.1 机器视觉技术发展与应用

机器视觉技术是一项综合技术，包括视觉传感器技术、光源照明技术、光 学成像技術、数字用matlab进行图像处理理技术、模拟与数字视频技术、计算机软硬件技术和 自动控制技术等机器视觉技术的特点不仅在于模拟人眼功能，更重要的是它 能完成人眼所不能胜任的某些工作作为当今最新技术之一，机器视觉技术在 电子学、光学和计算机等技术不断成熟和唍善的基础上得到了迅速发展 1.1.1 机器视觉技术及发展 人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中 约 80％的信息昰通过视觉器官获取的视觉感知环境信息的效率很高，它不仅 指对光信号的感受还包括对视觉信息的获取、传输、处理、存储与理解嘚全 过程。对人类而言视觉信息传人大脑之后，由大脑根据已有的知识进行信息 处理进而判断和识别。机器视觉系统就是通过摄像机囷计算机来对外部环境 进行测量、识别和判断但是，机器视觉和人类视觉有着本质上的不同机器 视觉系统主要应用于不适合人工作业戓者人类视觉无法达到要求，以及高速大 批量工业产品制造自动生产流水线的一些场合由于机器视觉较易实现信息集 成，因此使其成为實现计算机集成制造的基础技术 机器视觉技术是计算机视觉理论在具体问题中的应用。20 世纪 70 年代 DavidMarr 提出了视觉计算理论，该理论从信息處理的角度系统概括了当时解

剖学、心理学、生理学、神经学等方面已取得的成果明确规范了视觉研究体 系。计算机视觉以视觉计算理論为基础为视觉研究提供了统一的理论框架。 由于实际中的视觉问题常常是具体的包含丰富的先验知识，所以将计算机视 觉理论应用於解决具体实际问题就产生了机器视觉 20 世纪 80 年代以来，机器视觉技术一直是非常活跃的研究领域并经历 了从实验室走向实际应用的发展阶段，从简单的二值用matlab进行图像处理理到高分辨率多灰 度的用matlab进行图像处理理以至于彩色用matlab进行图像处理理从一般的二维信息处理到彡维视觉模型和 算法的研究都取得了很大进展。作为一种先进的检测技术机器视觉技术已经 在工业产品检测、自动化装配、机器人视觉導航、虚拟现实以及无人驾驶等许 多领域的智能测控系统中得到广泛应用。 目前发展最快、使用最多的机器视觉技术主要集中在欧美、ㄖ本等发达 国家和地区。发达国家在针对工业现场的实际情况开发机器视觉硬件产品的同 时对软件产品的研究也投入了大量的人力和财仂。机器视觉的应用普及主要 集中在半导体和电子行业其中 40％～50％集中在半导体制造行业，如 PCB 印制电路板组装工艺与设备、 SMT 表面贴装工藝与设备、 电子生产加工设备等 此外，机器视觉技术在其他领域的产品质量检测方面也得到了广泛应用如在 线产品尺寸测量、产品表媔质量判定等。 在国内由于半导体及电子行业属于新兴领域，机器视觉技术产品普及还 不够深入导致机器视觉技术在相关行业的应用┿分有限。值得一提的是借 助于国际电子、半导体制造业向我国珠三角、长三角等地区的延伸和转移，这 些行业和地区已成为机器视觉技术应用最前沿和最优质的集聚地随着我国制 造业的快速发展，给机器视觉技术泛应用创造了条件许多致力于机器视觉专 门应用系统研发与推广的企业也相继诞生。相信随着我国配套基础建没的完善 以及技术、资金的积累各行各业对机器视觉的应用需求将快速增长。目前 国内许多大中专院校、研究所和企业单位都在图像和机器视觉技术领域进行着 积极探索和实验，逐步开展机器视觉技术在工业现场囷其他领域的应用 国内在机器视觉产品(包括视觉软件、相机系统、光源等)研发方面虽然取 得了一些成果，但与国外先进的机器视觉技术與设备相比还有较大的差距目 前国内在机器视觉产品研发方面主要存在技术水平较低、应用面窄、基本处于 软硬件定制的专用视觉系统研发和应用阶段，开发成本高、效率低；在机器视 觉算法研究方面仍采用经典的数字用matlab进行图像处理理算法和通用软件编程开发，组态 集成开发能力弱；在产品方面具有自主知识产权的机器视觉技术与系统产品 较少，不利于批量生产和广泛推广在我国高校，机器视觉敎学与科研方面也 有喜有忧在科研领域，涌现出大量机器视觉科研机构和学者对机器视觉算 法研究取得了长足进步，发表了大量学术論文但在机器视觉应用，特别是机 器视觉教学方面与工业应用不相适应，有的没有开设相应课程有的没有开 设相应实验，有的甚至認为机器视觉属于科学前沿未能将机器视觉应用技术 列入教学计划和课程体系，这些问题和不足主要是我们的教学与实际生产严重

脱节慥成的因此加快发展我国自主知识产权的机器视觉产品是当务之急，在 高等院校自动化专业、计算机专业、机电一体化专业开设机器视覺应用技术与 系统实验也迫在眉睫 1.1.2 机器视觉技术的应用 机器视觉技术正在被广泛地应用于各种生产活动，可以说需要人类视觉的 场合几乎都有机器视觉的应用特别是在许多人类视觉无法感知的场合，如在 精确定量感知、高速检测判定、危险场景感知和不可见物体感知等凊况下机 器视觉技术更显示出其无可比拟的优越性。机器视觉技术的应用主要包括如下 几个方面 1、在工业检测中的应用 工业检测是指茬工业生产中运用一定的测试技术和手段对生产环境、 工况、 产品等进行测试和检验，其检测结果是对生产过程进行控制的重要指标直接 影响着生产效率和质量。 在现代自动化大生产中视觉检测往往是不可缺少的重要环节。如汽车零 件结构尺寸、药品包装正误、IC 字符印刷质量、电路板焊接好坏等都需要工 人通过卡尺、量规或者显微镜等工具进行观测检验。人工检测的弊端很多主 要体现在以下 6 个方面。 (1)人工检测劳动强度大、生产效率低 (2)人工检测没有严格统一的质量标准，直接影响产品的检验一致性 (3)在一些高速的生产环节，人工检測无法实现实时全检只能对部分产品 进行抽检。 (4)在高精度检测要求下人工检测很难达到精度要求，而且检测成本居高 不下 (5)在某些高溫或有毒生产现场，无法通过人工方式对产品质量进行检测 (6)人工检测的数据无法及时准确地纳入质量管理系统，不利于测控管系统 集成 随着现代工业的发展和进步，特别是在一些高精度加工产业传统的检测 手段已远远不能满足生产的需要。机器视觉技术则因其具备在線检测、实时分 析、实时控制的能力以及高效、经济、灵活的优点成为现代检测技术中一种 重要的技术手段。 机器视觉技术在微尺寸、夶尺寸、复杂结构尺寸和异型曲面尺寸检测中具 有突出的优势和特点：对于微尺寸测量机器视觉技术不仅具有非接触的特点， 还可以通過调节摄像系统的分辨率和放大倍数方便地实现不同测量范围的高精 度测量；对于大尺寸测量机器视觉技术可以通过拼接零件不同部位嘚图像， 分析得到零件的完整结构尺寸；对于复杂结构零件(如齿轮、螺纹、凸轮等)测 量机器视觉技术只需要一幅或多幅图像就可以获得複杂结构的轮廓信息。 机器视觉工业检测就其检测性质和应用范围而言分为定量检测和定性检 测两大类，每类又分为不同的子类除了對各种零件几何尺寸的测量，机器视

觉技术在工业在线检测的应用还包括印制电路板检查、钢板表面自动探伤、大 型工件平行度和垂直度測量、容器容积或杂质检测、机器零件的自动识别和分 类等 2、在医学诊断中的应用 目前医学图像已经广泛用于医学诊断，成像方法包括傳统的 x 射线成像、 显微图片、B 超、红外、层析成像(CT)和核磁共振图片(MRI)等主要通过人眼 对图像中的信息进行分析和判断，从而对病情、病因莋出诊断 机器视觉在医学图像诊断方面有两类应用：一是对图像进行增强、标记、 染色等，帮助医生诊断疾病并协助医生对感兴趣的區域进行测量和比较；二 是利用专家知识系统对图像进行分析和解释，给出建议诊断结果此外，三维 机器视觉方法可以分析物体的三维信息与运动参数如一种称为计算机辅助外 科手术的技术，其基本原理就是用 CT 或 MRI 图像对体内物体进行三维定位并 引导自动手术刀或辐射源實行手术或治疗 3、在智能交通中的应用 机器视觉技术在智能交通中可以完成自动导航和交通状况监测等任务。在 自动导航中机器视觉鈳以通过双目立体视觉等检测方法获得场景中的路况信 息，然后利用这些信息进行道路识别、障碍识别等自动导航装置可以将立体 图像囷运动信息组合起来，与周围环境进行自主交互这种技术已用于无人汽 车、无人飞机和无人战车等。另一方面机器视觉技术可以用于茭通状况监测， 如交通事故现场勘察、车场监视、车牌识别、车辆识别与“可疑”目标跟踪等 在许多大中城市的交管系统中，机器视觉系统担任了“电子警察”的角色其 “电子眼”功能在识别车辆违章、监测车流量、检测车速等方面都发挥着越来 越重要的作用。

1.2 机器视覺系统组成

机器视觉系统是指通过机器视觉产品(图像采集装置)获取图像然后将获 得的图像传送至处理单元，通过数字化用matlab进行图像处理悝进行目标尺寸、形状、颜色等 的判别进而根据判别的结果控制现场设备。一个典型的机器视觉系统涉及多 个领域的技术交叉与融合包括光源照明技术、光学成像技术、传感器技术、 数字用matlab进行图像处理理技术、模拟与数字视频技术、机械工程技术、控制技术、计算机 軟硬件技术、人机接口技术等。 机器视觉系统由获取图像信息的图像测量子系统与决策分类或跟踪对象的 控制子系统两部分组成 图像测量系统又可分为图像获取和用matlab进行图像处理理两大部分。 图像测量子系统包括照相机、摄像系统和光源设备等例如观测微小细胞的显 微圖像摄像系统，考察地球表面的卫星多光谱扫描成像系统在工业生产流水 线上的工业机器人监控视觉系统，医学层析成像系统(CT)等图像測量子系统 使用的光波段可以从可见光、红外线、X 射线、微波、超声波等。从图像测量 子系统所获取的图像可以是静止图像如文字、照爿等；也可以是运动图像，

如视频图像等；既可以是二维图像也可以是三维图像。用matlab进行图像处理理就是利用数 字计算机或其他高速、夶规模集成数字硬件设备对从图像测量子系统获取的 信息进行数字运算和处理，进而达到人们所要求的效果决策分类或跟踪对象 的控淛系统主要由对象驱动和执行机构组成，它根据对图像信息处理的结果实 施决策控制如在线视觉测控系统对产品 NG 判定分类的去向控制、洎动跟踪 目标动态视觉测量系统的实时跟踪控制，以及机器人视觉的模识控制等 目前市场上的机器视觉系统可以按结构分为两大类：基於 PC 的机器视觉 系统和嵌入式机器视觉系统。基于 PC 的机器视觉系统是传统的结构类型硬 件包括 CCD 相机、视觉采集卡和 PC 等，目前居于市场应用嘚主导地位但价 格贵，对工业环境的适应性较弱嵌入式机器视觉系统将所需要的大部分硬件 如 CCD、内存、处理器以及通信接口等压缩在┅个“黑箱”式的模块里，又称 之为智能相机其优点是结构紧凑、性价比高、使用方便、对环境的适应性强， 是机器视觉系统的发展趋勢 典型的机器视觉系统硬件结构如图 1-1 所示。

在机器视觉系统中好的光源与照明方案往往是整个系统成败的关键。光 源与照明方案的配匼应尽可能地突出物体特征参量 在增加图像对比度的同时， 应保证足够的整休亮度;物体位置的变化不应该影响成像的质量光源的选择必 须符合所需的几何形状、照明亮度、均匀度、发光的光谱特性等，同时还要考 虑光源的发光效率和使用寿命照明方案应充分考虑光源囷光学镜头的相对位 置、物体表面的纹理、物体的几何形状以及背景等要素。 摄像机和图像采集卡共同完成对目标图像的采集与数字化昰整个系统成 功与否的又一关键所在。 高质量的图像信息是系统正确判断和决策的原始依据 在当前的机器视觉系统中，CCD 摄像机以其体积尛巧、性能可靠、清晰度高等 优点得到了广泛使用CCD 摄像机按照其使用的 CCD 器件可以分为线阵式和

面阵式两大类。 用matlab进行图像处理理系统是機器视觉系统的核心它决定了如何对图像进行处理和运 算，是开发机器视觉系统的重点和难点随着计算机技术、微电子技术和大规 模集成电路技术的快速发展，为了提高系统的实时性可以借助专用图像信号 处理卡等硬件完成一些成熟的用matlab进行图像处理理算法，而软件則主要完成那些复杂的、 尚需不断探索和改进的算法

1.3 机器视觉方法分析

作为一种先进的检测技术，机器视觉技术与系统开始越来越多地絀现在各 种生产和科研活动中并建立了如产品质量检测、自动化装配、机器人视觉导 航和无人驾驶等具有一定代表性和通用性的智能测控系统，形成了一些典型的 机器视觉测量对象和方法下面对这法作些方法简要介绍。 1.3.1 尺寸测量 在检测技术中被测物体的外形往往具有某种几何形状，通常情况下其 长度、角度、圆孔直径、弧度等都是典型的待测几何参数。在传统的尺寸测量 中典型的方法是利用卡尺戓千分尺在被测工件上针对某个参数进行多次测量 后取平均值。这终检测手段具有简便、成本低廉的优点但测量精度低、测试 速度慢，測试数据无法及时处理不适合自动化的生产。 基于机器视觉的尺寸测量方法具有成本低、精度高、安装简易等优点其 非接触性、实时性、灵活性和精确性等特点可以有效地解决传统检测方法存在 的问题。另外基于机器视觉的尺寸测量方法不但可以获得尺寸参数，还可鉯 根据测量结果及时给出反馈信息修正加工参数。避免产生更多的次品减少 企业的损失。 被测物的尺寸测量通常包括多个参数尺寸洳距离测量、圆测量、角度测 量、线弧测量、区域测量等。图 1-2 是对某一工件的齿宽和齿间距离进行测量 以判断该工件是否合格;图 1-2(b}是荫罩孔径自动检测和判定系统，该系统可以 对多种型号的荫罩孔径的内、外侧尺寸、桥宽、槽宽等参数进行自动测量和判 定

1.3.2 缺陷检测 在现代笁业连续、大批量自动化生产中，涉及各种各样的质量检测如工 件表面是否有划痕、印刷品是否有油污或破损、字符印刷正误和电路板線路正 误检查等。质量检测系统的性能优劣在一定程度上直接影响着产品质量和生产 效率 能够对产品进行在线高速缺陷检测已经成为高質量和高效率生产的保证。 产品缺陷检测方法可以分为三种第一种是人工检测法，这种方法不仅成 本高而且在对微小缺陷进行判别时，难以达到所需要的精度和速度人工检 测法还存在劳动强度大、检测标准一致性差等缺点。第二种是机械装置接触检 侧法这种方法虽嘫在质量上能满足生产的需要，但存在检测设备价格高、灵 活性差、速度慢等缺点第三种是机器视觉检测法，即利用用matlab进行图像处理理囷分析对 产品可能存在的缺陷进行检测这种方法采用非接触的工作方式，安装灵活 测量精度和速度都比较高。同一台机器视觉检测设備可以实现对不伺产品的多 参数检测为企业节约大笔设备开支。 待检测物品的缺陷表现在图像上 即为缺陷处的灰度值与标准图像的差異。 将缺陷图像的灰度值同标准图像进行比较判断其差值(两幅图灰度值的差异程 度)是否超出预先设定的阈值范围，就能判断出待测物品囿无缺陷 在实际应用中，不同产品对缺陷的定义也不一样一般来说，产品表面缺 陷分为结构缺陷、几何缺陷和颜色缺陷等几种类型瑺见的工件完整性检测属 于结构缺陷检测，尺寸规格检测属于几何缺陷检测而印刷品质量检测中常需 要进行颜色缺陷检测。 机器视觉缺陷检测软件通过对目标表面图像进行预处理并与标准图像对 比，找到其中存在的缺陷然后识别并判断缺陷种类和严重程度，对产品进荇 分类分级处理

图 1-3 是利用机器视觉技术完成产品缺陷检侧的一些实例，包括陶瓷镯、 瓶盖、电池、摄像机镜头等

1.3.3 模式识别 “模式”是┅个抽象的概念。客观世界和主观世界即物质和意识的所有方 面、所有个体、所有单元、所有事物都可以称为模式客观世界的事物，比洳 人的长相人的声音，汽车等形形色色种类万千，每一种事物都叫一个模式 人类通过自己的感觉器官从外界获取信息，然后经过思栲、分析和判断建立 对客观世界各种事物的认识，这就是模式识别比如通过视觉获得形状、大小、 色彩等特征信息，映人脑海中构成┅幅幅图像;通过听觉取得各种音响的信息; 通过嗅觉闻到种种气味;通过触觉得知温度、湿度、材料强度等随着计算机的 出现以及人工智能嘚兴起，人们希望能用计算机来代替或扩展人类的部分脑力 劳动模式识别技术就是试图让计算机或机器实现人的视觉、听觉等模式识别 能力，使计算机成为一种会看、会听、会说、会思考的高级智能人造系统 严格一点说，模式识别是指对表征事物或现象的各种形式的(数徝的、文字 的和逻辑关系的)信息进行处理和分析以对事物或现象进行描述、辨认、分类 和解释的过程。它是信息科学和人工智能的重要組成部分这里所说的模式识 别主要是对各种声波、电波、图片和文字符号等对象的具体模式进行分类和辨 识。 模式识别的应用非常广泛目前技术比较成熟的有文字和语音识别、生物 特征与生物信息处理、视觉与图像分析等三大类。其中文字识别主要用于手写 汉字输人、 票据自动识别和处理等;语音识别技术主要用于语音输入、 自动翻译、 声音识别等;生物特征与生物信息处理包括指纹识别、声音识别、人脸識别、虹

膜识别、笔迹识别、步态识别等个人身份鉴定技术视觉与图像分析在许多行 业都有应用，如遥感图像识别用于农作物估产、资源勘察、气象预报和军事侦 察等;医学图像识别用于癌细胞检侧、 射线照片分析、 X 血液化验、染色体分析、 心电图诊断和脑电图诊断等;交通監控视频识别用于车流量分析、车辆分类和统 计等图 1-4 是一个简单的钥匙识别例子。

1.3.4 图像融合 由于受照明、环境条件(如噪声、云、烟雾、雨等)、目标状态(如运动、密 集目标、伪装标等)、目标位置(如远近、障碍物等)以及传感器固有特性等因素 的影响通过单一传感器所获得的圖像不足以用来对目标进行准确的检测、分 析和理解， 因此需要通过某些方法将不同条件下获取的图像有效地融合在一起 这就是图像融匼技术。 图像融合是指将一个或多个传感器在同一时间或不同时间获取的关于某个 场景的多幅图像加以综合生成一个新的关于这一场景嘚解释。通过图像融合 可以减少图像信息的不确定性提高信息的可信度，同时提高系统获取信息的 效率和容错能力经过图像融合可以獲得目标更为准确、全面、可靠的图像描 述，进而更有效地实现特征提取、目标识别与跟踪及三维重构等处理 图像融合可根据图像信息嘚来源分为 3 种形式:多传感器不同时间获取的图 像融合;多传感器同时获取的图像融合;同一传感器在不同环境条件下获取的图 像融合。基本原悝都是利用多幅图像间在时间或空间上的冗余或互补信息依 据一定的融合算法合成一幅满足某种需要的新图像。例如红外传感器可以探 测日标的工作状态，可.见光图像则包含丰富的细节信息它们的融合较单一传 感器而言，可以大大提高目标的可探测性和识别可靠性 20 卋纪 90 年代以来，人们对图像融合技术的研究呈不断上升趋势应用 领域遍及智能交通、安全监控、医学成像与诊断、地理信息系统、智能淛造以 及军事目标探测与识别等。在机器视觉方面图像融合技术被认为是克服某些 难题的重要技术手段;在航空、航天运载平台上，各种遙感设备所获得的大量不 同光谱、不同波段或不同时相、不同角度的遥感图像的融合为信息的高效提 取提供良好的技术手段;在国土资源勘浏方面，图像融合技术可以用于土地利用

情况动态监测森林、海洋资源调查，环境调查与监测洪涝灾害的预测与评 估等;在医学上，通过对计算机断层扫描图像(CT)和核磁共振〔NMR)图像的融 合 可以帮助医生对疾病作出准确诊断。 l-5 显示了利用图像融合方法将一幅 图 CT 扫描图像和┅幅核磁共振图像进行融合处理的结果

1.3.5 目标跟踪与导航 所谓目标跟踪，是指对图像序列中的运动目标进行检测、提取、识别和跟 踪获嘚运动目标的运动参数，如位置、速度、加速度和运动轨迹等进而实 现对运动目标的行为理解，以完成更高一级的检测任务运动目标檢测是目标 跟踪的第一个环节，它实时地在被监视的场景中检测运动目标并将其提取出 来。运动目标跟踪是在目标检测的基础上利用目标的有效特征，使用适当的 匹配算法在序列图像中寻找与目标模板最相似的图像的位置，即目标定位 在实际应用中，运动目标跟踪鈈仅可以提供目标的运动轨迹和位置信息为下 一步的目标行为分析与理解提供可靠的数据来源，而且可以为运动目标检测提 供帮助形荿一个良性循环。 目标跟踪在很多领域都有非常重要的作用最常见的是对于民宅、停车场、 银行等公共场合的监视。目标跟踪系统能够對可疑人员进行有效的检测通过 跟踪轨迹对运动目标行为模式进行判定，有效地提供异常行为报警从而防止 偷盗或破坏行为的发生，保障社会的安定如对停车场进行监控，以防止车辆 被盗在提取出运动目标之后，能够对运动目标的行为进行跟踪通过跟踪轨 迹对运動目标行为模式进行判定，有效地提供异常行为报警从而确保停车场 的安全。在交通系统中目标跟踪主要用于交通流量控制、车辆异瑺行为检测、 行人行为判定、智能车辆等方面。智能车辆是利用安装在车辆上的摄像头实现 对道路、前方车辆和行人的检测与跟踪以保證车辆的安全行驶。在军事上 为了对敌人实施精确打击，需要对战场环境中的敌方目标进行快速准确的搜索 和跟踪因此高性能的口标哏踪系统对现代战争也具有重要的实际意义。 运动目标检侧算法分为静态背景下运动检测和动态背景下运动检测静态 背景下运动目标检測常用方法包括相邻帧间差分法.、背景差分法和光流法。相 邻帧间差分法是将连续

两帧进行比较从中提取运动目标的信息;背景差分法通過将当前图像与背 景模型进行比较， 判断出像素点是属于运动目标区域还是背景区域;光流法通过计算位移向 量光流场来初始化目标的轮廓利用基于轮廓的跟踪算法检测和跟踪目标。 动态背景下运动检测由于存在目标与摄像头之间复杂的相对运动所以算 法比较复杂，常用嘚算法是匹配块法、光流估计法、图像匹配法以及全局运动 估计法等 图 1-6 显示了交通场景中对运动车辆的跟踪结果。

1.3.6 三维重构 三维重构是通过分析一幅或者多幅图像的灰度信息结合某些先验知识获 得物体三维表面形状的技术。随着机器视觉在众多工程领域的广泛应用如哬 准确、快速地自动获取和分析图像中所包含的三维信息成为视觉研究人员非常 关注的问题。 计算机视觉中被动式三维形状重建或恢复技術主要是指由图像的结构或结 构特征信息重建三维形状技术根据 Marr 的计算视觉理论，该技术利用对图像 的低级处理阶段得到的结果获得蘊涵在图像中的三维物体表而的 2.5 维图， 通常以针图或深度图形式表示典型的重建三维形状技术有立体视觉法、光度 立体法、纹理恢复形狀、运动恢复形状、轮廓恢复形状、阴影恢复形状以及单 幅图像灰度明暗变化重建三维形状等。 三维重构技术在许多领域都有用武之地唎如在医疗方面，牙科医生可以 通过牙齿的三维成像模型对牙齿发育情况进行监测确定矫正方法;外科手术 时， 可以利用器官的只维形状數据协助诊断组织局部的病变状况;在空间技术方 面通过对卫星返回的地表图像进行三维形状恢复，可以获得星球表面山峦河 流等地貌分咘 进而建立该地区的全景模型， 进行地结构分析等;在工业检测中 利用工件的三维几何信息进行多维度的特征提取和识别，有助于提高笁件识别 效率图 1-7 是利用三维重构技术恢复人体某器官内部三维形状的结果。

1.4 机器视觉发展趋势

机器视觉是人类视觉的扩展和延伸随着研究的不断深入，新的描述方式、 求解手段的不断探索和创新以及微处理器性能的快速提高机器视觉的研究必 将会迎来一个更加繁荣的時代，机器视觉技术与产品将会被广泛地应用于更为 复杂的场合机器视觉的未来发展趋势主要包含以下几方面。 1.4.1 多传感器信息融合方法研究 在机器视觉研究中仅仅利用理想环境下获取的静止或瞬时视觉信息作为 输人远不能满足认识复杂客观世界的要求。如果能将机器视覺、机器听觉、机 器嗅觉、机器触觉等有机地结合起来将多种信息相互融合，则有可能突破单 一视觉信息的局限性这里的融合不仅包括多传感器融合，还包括系统内部各 信息通道的融合、系统模块的融合和各类信息处理方法的融合 1.4.2 深层初级视觉理论和方法研究 初级视覺是光学成像的逆问题，它研究从二维光强度阵列恢复三维可见表 面物理性质的方法包含一系列复杂的处理过程。因为各过程的输入数據及计 算目的都是能够明确描述的所以人们在这方面已研究了一些专用方法，如边 缘检测、立体匹配、由运动恢复结构等但由于二维卋界投影成二维图像的过 程中损失了很多信息，导致病态问题的产生因此进一步加强对初级视觉过程 及其约束条件的研究是十分重要的。 1.4.3 主动视觉的研究 主动视觉是指观察者以确定的或不确定的方式运动或通过转动视线来跟 踪目标物体的技术和方法。在主动视觉中观察者和目标物体也可同时运动。 观察者的运动为研究目标的形状、距离和运动提供了附加条件同时，主动视 觉还可以在己知摄像机运动參数时 把一些原来的非线性问题转化成线性问题。 主动视觉是一个有发展前途的解决病态结构间题的研究方向 1.4.4 完整三维场景重构 现有彡维场景重构理论和算法基本都局限于对目标“可视”部分的重构，

如果用 Md rr 视觉计算理论来说还主要停留在 25 维表达上，这种表达仅提供 叻物体可见轮廓以内的三维信息如何恢复物体完整表面的信息，即包括物休 表面不可见部分是一个复杂但也亟待解决的问题。 1.4.5 视觉并荇计算结构的研究 视觉本身具有内在的并行性但要完成视觉并行计算还有许多理论上、算 法上和技术上的间题要解决。视觉并行计算结構的一个发展趋势是在越来越大 的结构中采用越来越小的处理单元即实现由许多只能进行几种基本逻辑运算 的简单处理单元组成庞大的網络，同时通过设计一些精巧的算法有效地利用并 行性提高视觉计算的速度。 1.4.6 通用视觉信息系统的研究 机器视觉研究的一个重要目的是偠建成能完成各种视觉任务的通用视觉信 息系统从目前的研究水平和技术水平来看，在短期内建立可以类比于人类视 觉系统的机器视觉系统的可能性不大不过可以首先针对具体应用建立局部性 的专用视觉系统，进而发展到更为完善的一般系统这是达到.上述最终目标的 ┅条途径。 随着中国加工制造业的发展 对于机器视觉技术与产品的需求将逐渐增多。 机器视觉产品将更加丰富检测技术水平不断提高，基于机器视觉的自动化检 测系统将广泛用于生产、生活的各种领域和场合机器视觉系统将使人们的生 产活动朝着更智能、更便捷的方姠发展。

第 2 章 机器视觉构成与图像获取 （机器眼技术）

机器视觉是用机器觉硬件系统模拟人的视觉功能获取视觉图像机器视觉 构成即机器眼睛的硬件系统可分为光学模块、图像捕捉、图像数字化、数字图 像处理、智能判断决策和控制执行等硬件模块，其组成结构如图 2-1 所示机 器视觉硬件系统包括光源、镜头、CCD、图像采集卡以及计算机等环节。其中 光源为视觉系统提供足够的照度;镜头将被测场景中的目标成潒到图像传感器 CCD 的靶面上将其转变为电信号;图像采集卡将电信号转变为数字图像信息， 即把每一点的亮度转变为灰度级数据并存储为┅幅或多幅图像;计算机实现图 像存储、处理，并给出测量结果和输出控制信号

机器视觉系统的应用范围特别广泛， 因此在不同系统中会選用不同的部件 但无论何种系统都离不开最基本的 组成单元，即光源、镜头、相机、图 像采集模块和用matlab进行图像处理理软件实际 上， 目前的摄像机与图像采集卡已集 成为一体化 逐步替代了摄像机与采 集卡分离的结构模式。 图 2-2 为某机器视觉系统设备实 物图 从图中可以看出该机器视觉系 统设备由前光源、背光源、数字摄像 机、计算机组成。待检测工件放置于背光源上的成像台上数字相机对其进行 图像采集，进而将采集的图像及其处理结果在计算机上显示

镜头是集聚光线，使成像单元能获得清晰影像的结构镜头一般都由光学 系统和機械装置两部分组成，它决定着拍摄的景物广阔程度和清晰度按照焦 距大小镜头可分为长焦镜头、标准镜头、广交镜头等。机器视觉行業通常将镜 头分为宏镜头（macro lens） 、定倍镜头（fixed-mag lens） 、变焦镜头（zoom

lens）远心镜头 、 （telecentric lens） 高精度或百万像素镜头 、 （high resolution or million pixels lens）等 普通的镜头与人眼一样，甴于视场角的缘故看物体都存在“远大近小”的 现象如果这样的镜头用于测量系统中，物距常发生变化从而使像高发生变 化，所以测嘚的物体尺寸也发生变化即产生了测量误差；另一方面，即使物 距是固定的也会因敏感表面不易精确调整在像平面上，同样会产生测量误差 在实际视觉检测系统中，往往选用物方远心镜头物方远心物镜可以消除位置 不准带来的测量误差，且该镜头景深大、焦距固定可获得平行光输出，因而 它的畸变小检测精度高。 光学镜头目前有监控级和工业级两种监控级镜头主要适用于对图像质量 要求不高、 价格较低的应用场合;工业级镜头由于图像质量好、 畸变小、 价格高， 主要应用于工业零件检测和科学研究等应用场合视场角和焦距是咣学镜头最 重要的技术参数，滤光镜的使用也是镜头技术的重要组成部分 2.1.1 视场角 在介绍视场角前先了解什么是视场，如图 2-3 所示视场(简稱 FOV）就是 整个系统能够观察的物体的尺寸范围，进一步分为水平视场和垂直视场也就 是 CCD 芯片上最大成像对应的实际物体大小，定义为 其ΦL 是 CCD 芯片的高或者宽;M 是放大率，定义为 其中h 是像高;H 是物高;U 是物距;V 是像距。FOV 即是相应方向的物体 大小当然，FOV 也可以表示成镜头对视野嘚高度和宽度的张角即视场角， 定义为 经常可以看到镜头用视场角来给出视场的大小且按照其视场大小可以把 镜头分为鱼眼镜头、超廣角镜头、广角镜头和标准镜头。

焦距是光学系统中衡量光的聚集或发散的度量指从透镜中心到光聚集焦 点的距离， 亦是相机中从镜片Φ心到底片或 CCD 等成像平面的距离 简单地说 焦距是焦点到面镜顶点之间的距离。 镜头焦距的长短决定着视场角的大小焦距越短，视场角僦越大观察范 围也越大，但远物体不清楚;焦距越长视场角就越小，观察范围也越小很远 的物体也能看清楚，短焦距的光学系统比长焦距的光学系统有更佳的聚集光的 能力由此可知，焦距和视场角一一对应一定的焦距就意味着一定的视场角。 因此在选择焦距时应该充分考虑是要观察细节还是要较大的观测范围如果需 要观察近跟离大场面，就选择小焦距的广角镜头;如果要观察细节应该选择焦 距较夶的长焦镜头。以 CCD 为例计算焦距参考如下公式(设视场角为 a，焦距 为 f)

其中SR 为景物范围;WD 为工作距离 d 为 CCD 尺寸。这里注意 SR 和 d 要保持一致性即哃为高或同为宽。实际选用时还应留有余量应当选择比计 算值略小的焦距。 自动调焦 在机器视觉系统中调焦直接影响光测设备的测量效果，特别是光测设备 在对运动目标进行拍摄过程中目标与光测设备的距离随时发生变化，因而需 要不断地调整光学系统的焦距从而調整目标像点的位置，使其始终位于焦平 面上以获得清晰的图像。对光学镜头进行手动调焦其调节过程长，调焦精 度受人为影响较大成像效果往往不能满足需要，而自动调焦技术能很好地解 决这一问题 自动调焦相机的调焦利用电子测距器自动进行，当采集图片时根据被摄 目标的距离，电子测距器可以把前后移动的镜头控制在相应的位置上或旋转 镜头至需要位置，使被摄目标成像达到最清晰 自動调焦有几种不同的方式，目前应用最多的是主动式红外系统这种系 统的工作程序是从相机发光元件发射出一束红外线，照射到被摄物主体后反射 回相机感应器接收到回波。相机根据发光光束与反射光束所形成的角度来测 知拍摄距离实现自动对焦。采用这种方式的自動调焦相机因为是由自身发 出照射光，所以其对焦精度与被摄物的亮度和反差无关即使是室内等较暗的 环境下，也可以顺利地拍摄泹是，由于这种方式是以被摄物反射的红外线为 检测对象所以对反射率较低或面积太小的被摄物，有时不能发挥其功能 2.1.3 滤光镜 滤光镜嘚简单解释就是拍摄时放在镜头前面的一块玻璃片或者塑料片。光 线通过滤光镜后会发生改变 并通过镜头投射到 CCD 芯片上， 产生不同的摄潒

效果 1、滤光镜原理 滤光镜是图像采集中重要的光学器件，如图 2-4(a)所示它能按照规定的 需要改变入射光的光谱强度分布或使其偏振状态發生变化。滤光镜的原理就光 学行为而言主要是透射、反射、偏振、密度衰减和散射等。图 2-4(b)是某种 滤光镜对不同波长光波的光通量示意圖

2、滤光镜的种类 滤光镜的种类繁多，下面介绍机器视觉系统中常用的几种 对比滤光镜： 在摄像中改变被摄物体某一色调以提高对比喥的滤光镜， 称为对比滤光镜 又称反差滤光镜。对比滤光镜的运用原则是：要使某色彩在成像时的色调变浅 采用通过该色光的滤光镜;偠使某色彩在成像时的色调变深， 采用吸收该色光的 滤光镜较重要的对比滤光镜有以下六种。 (1)红色滤光镜:吸收绿蓝紫色主要通过红色，次为橙黄色 (2)黄色滤光镜:吸收蓝紫色，主要通过黄色次为红橙绿色。 (3)橙色滤光镜:介于红色和黄色滤光镜之间 (4)绿色滤光镜:吸收红橙蓝紫色，主要通过绿色次为黄色。 (5)黄绿色滤光镜:介于黄色和绿色滤光镜之间 (6)蓝色滤光镜:吸收红橙黄绿色，主要通过蓝色次为紫色。 紫外线滤光镜： 简称 UV 镜紫外线是看不见的光线，但软片对其的感应却很强所以拍摄 时可利用紫外线滤光镜来吸收紫外线，以减小其对成潒的干扰加强影像的清 晰度。 中色滤光镜： 简称 ND 镜 中色滤光镜对各种光的吸收率相等， 用来降低通过镜头的光量 当摄像时使用最小咣圈或最快快门还曝光过度时，便需要中色滤光镜来降低曝 光值

红外线滤光镜： 吸收红外线以外的所有可见光线，仅通过红外线专用於红外线摄像。 2.1.4 镜头选用方法 如果把摄像机比喻为人的眼睛镜头就好比是眼球，它直接关系到监看物 体的远近、范围和效果镜头的选鼡应考虑一下几点： (1)镜头尺寸应等于或大于摄像机成像面尺寸。例如：1/3″摄像机可选 1/3″～1″整个范围内的镜头但水平视角的大小都是一樣的。只是使用大于 1/3″的镜头能够更多地利用成形更精确了镜头中心光路，所以可提高图像质 量和分辨率 (2)选用合适的镜头焦距。焦距樾大监看距离越远，水平视角越小监视 范围越窄；焦距越小，监看距离越近水平视角越大，监视范围越宽镜头焦 距可按照以下公式估算。 f=A?L/H (f--镜头焦距；A--摄像机 CCD 垂向尺寸；L--被摄物体到镜头距离；H--被摄物 体高度)

}

}