2.1 摄像机成像过程
针孔（Pinhole）模型是一种理想的摄像机成像模型，早在公元前4世纪，我国就做过针孔成像的实验，并对其进行了分析和解释。《墨经》中提到：“景到，在午有端，舆景长，说在端。”这里说的是小孔成像最后形成的是倒像，成像的大小与位置无关。欧洲16世纪文艺复兴时期，很多宫廷画家也通过小孔成像原理进行绘画。原始的针孔成像过程如图2.1所示。在针孔模型下，图像的成像过程涉及的坐标系[77-81]有像素坐标系（Pixel Coordinate System）、成像平面坐标系（Retinal Coordinate System）、摄像机坐标系（Camera Coordinate System）和世界坐标系（World Coordinate System）。
图2.1 原始的针孔成像过程
2.1.1 像素坐标系
由摄像机采集的图像存储在计算机中是以像素（Pixel）为单位的，因此，在计算机中，图像常作为一个数组进行存储，数组中的每个值为图像的灰度值（若采集的图像为黑白图像，则用一个具体的灰度值表示；若采集的图像为彩色图像，则用红、绿、蓝3种颜色的强度进行表示）。以像素作为单位的坐标系称为像素坐标系，具体可以表示为u-v坐标系统，图像上的点可以用齐次坐标表示为(u,v,1)T，如图2.2所示，O为图像坐标系的原点。
图2.2 像素坐标系
2.1.2 成像平面坐标系
像素坐标系只表示图像中像素所在的行数和列数，并没有通过具体的物理单位（如毫米）表示出该像素在图像中的物理位置。因此，像素坐标系中的像素坐标需要转换为以物理单位（如以毫米为单位）进行表示的成像平面坐标系。成像平面坐标系可以表示为x-y坐标系统，图像上的点可以用齐次坐标表示为(x,y,1)T，如图2.3所示。
图2.3 成像平面坐标系
成像平面坐标系为x-y坐标系，原点O1为摄像机光轴与图像平面的交点，称为主点（Principal Point）。若成像平面坐标系原点O1在像素坐标系下的坐标为(u0,v0)，像素坐标系的每个像素在x轴和y轴上的物理尺寸分别为dx、dy，则像素坐标系上任意点(u,v,1)T与成像平面坐标系上的对应点(x,y,1)T之间存在以下转换关系。
2.1.3 摄像机坐标系
基于成像平面坐标系，以摄像机光心为原点的摄像机坐标系，如图2.4所示。
图2.4 摄像机坐标系
在图2.4中，C点为摄像机光心，定义为摄像机坐标系的原点，光轴为摄像机坐标系下的z轴，光心与图像平面I的距离为摄像机焦距f；图像平面为平面I，A为图像平面I上的一点，B为对应的空间点。根据针孔成像原理，B点和C点的连线与图像平面I的交点为A点，即在理想情况下，B点与C点和A点在同一直线上。设A点的坐标为(x,y,1)T，B点的坐标为(xC,yC,zC,1)T。因此，摄像机坐标系与成像平面坐标系之间存在以下关系。
采用齐次坐标，式（2-2）可以表示为
式（2-3）描述了成像平面坐标系与摄像机坐标系之间的转换关系。其中，符号“≈”表示在相差一个常数因子意义下的相等。
2.1.4 世界坐标系
由于被测物体一般定义在自身的坐标系下，即物体坐标系或世界坐标系，因此，要描述成像过程，需要建立世界坐标系与摄像机坐标系之间的关系。
如图2.5所示，世界坐标系原点为W，摄像机坐标系经过旋转和平移转换为世界坐标系。设R为旋转矩阵，T为平移向量，摄像机坐标系下任意点的坐标为(xC,yC,zC,1)T，世界坐标系下对应点的坐标为(xW,yW,zW,1)T，则空间点在摄像机坐标系与世界坐标系下的坐标可以通过下式转化。
图2.5 世界坐标系
从上面4个坐标系之间的转化关系可以看出，从世界坐标系到像素坐标系之间的转化关系为
式中，K为摄像机的内参数矩阵，R、T为摄像机的外参数矩阵。鉴于目前CCD相机的加工技术一般都能保证像素坐标系的u轴和v轴相互垂直，即内参数没有扭曲因子（Skew Factor），其中扭曲因子用s表示。若考虑扭曲因子s，则内参数矩阵可以表示为
在考虑扭曲因子的情况下，世界坐标系到像素坐标系之间的转化关系（物体的成像模型）为
从式（2-7）中可以看出，世界坐标系中的任意点(xW,yW,zW,1)T一定有一个对应的图像点(u,v,1)T。已知一个图像点(u,v,1)T，即使知道了摄像机的内外参数，在没有其他信息时，也无法确定对应的空间点(xW,yW,zW,1)T。原则上来说，已知一个图像点(u,v,1)T，在内外参数已知的条件下，仅能确定该图像点对应的投影直线。求摄像机参数的过程称为摄像机标定。