到现在为止，机器人视觉系统已经经历了三代的发展，从第一代的按规定流程对图像进行处理并输出结果，到第二代由计算机、图像输入设备、结果输出硬件构成的视觉系统，及现在最新的采用高速图像处理芯片，并进行算法，具有高度的智能和普通适用性，能模拟人的高度视觉功能。典型的机器人视觉系统组成包括：图像采集部分、图像处理部分、运动控制部分。

    机器视觉系统主要应用在检测、识别、测量、定位等方面。目前机器人视觉主要存在的问题：

    1、如何准确、高速（实时）地识别出目标。

    2、如何有效地构造和组织出可靠的识别算法，并且顺利地实现。这期待着高速的阵列处理单元，以及算法（如神经网络法、小波变换等算法）的新突破，这样就可以用极少的计算量高度地并行实现功能。

    3、实时性是一个难以解决的重要问题。图像采集速度较低以及图像处理需要较长时间给系统带来明显的时滞，此外视觉信息的引入也明显增大了系统的计算量，例如计算图像雅可比矩阵、估计深度信息等等。图像处理速度是影响视觉系统实时性的主要瓶颈之一。

    4、稳定性是所有控制系统首先考虑的问题，对于视觉控制系统，无论是基于位置、基于图像或者混合的视觉伺服方法都面临着如下问题：当初始点远离目标点时，如何保证系统的稳定性，即增大稳定区域和保证全局收敛；为了避免伺服失败，如何保证特征点始终处在视场内。

    机器人视觉应当进一步研究的问题：

    1、图像特征的选择问题。

    视觉伺服的性能密切依赖于所用的图像特征，特征的选择不仅要考虑识别的指标，还要考虑控制指标。从控制的观点看，用冗余特征可抑制噪声的影响，提高视觉伺服的性能，但又会给图像处理增加难度。因此如何选择性能最优的特征，如何处理特征以及如何评价特征，都是需要进一步研究的问题。针对任务有时可能需要从一套特征切换到另一套，可以考虑把全局特征与局部特征结合起来。

    2、结合计算机视觉及图像处理的研究成果，建立机器人视觉系统的专用软件库。

    3、加强系统的动态性能研究。目前的研究多集中于根据图像信息确定期望的机器人运动这一环节上，而对整个视觉伺服系统的动态性能缺乏研究。

    4、利用智能技术的成果。

    5、利用主动视觉的成果。

    主动视觉是当今计算机视觉和机器人视觉研究领域中的一个热门课题。它强调的是视觉系统与其所处环境之间的交互作用能力。与传统的通用视觉不同，主动视觉强调两点，一是认为视觉系统应具有主动感知的能力，二是认为视觉系统应基于一定的任务（TaskDirected）或目的，主动视觉认为在视觉信息获取过程中，应更主动地调整摄像机的参数，如方向、焦距、孔径等并能使摄像机迅速对准感兴趣的物体。

    更一般地，它强调注视机制，强调对分布于不同空间范围和时间段上的信号采用不同的分辨率有选择性地感知，这种主动感知既可在硬件层上通过摄像机物理参数的调整实现，也可以在基于被动摄像机的前提下，在算法和表示层上通过对已获得的数据有选择性地处理实现。同时，主动视觉认为不基于任何目的的视觉过程是毫无意义的，必须将视觉系统与具有的目的（如导航、识别、操作等）相联系，从而形成感知／作用环。

    6、多传感器融合问题。视觉传感器具有一定的使用范围，如能有效地结合其它传感器，利用它们之间性能互补的优势，便可以消除不确定性，取得更加可靠、准确的结果。