视觉中的二维射影变换及多视角几何

---

本文将整理总结下射影几何中的欧式变换、相似变换、仿射变换、射影变换及多视角几何中的外极线约束、本征矩阵、基础矩阵及其估计等知识。

二维射影变换

---

由摄像机成像的几何模型,可以看出被拍摄物体的成像过程实际是一个射影变换过程。

二维射影变换的定义

二维射影变换的层次

二维射影变换有欧式变换、相似变换、仿射变换、射影变换等几种层次。如下图所示：

基本变换形式的表示

一般变换形式有平移、缩放、旋转三种，各个变换的示意图和数学表示如下；

求解单应变换矩阵

多视角几何

---

尽管图像中包含着丰富的信息，但是从一幅图像无法直接获得图像中物体的深度信息，需要由两幅或多幅不同视角拍摄的图像来获得。多视角几何就是研究这些图像之间的代数几何关系。下面主要介绍双目视角，从外极几何、本征矩阵、基础矩阵这几个点来介绍。

下图是一个外极几何的示意图：

图中PP是待观测点，OO,O′O′是两台摄像机的光学中心，pp和p′p′是PP点所成的像。这5个点都位于两条相交光线OPOP和O′PO′P所形成的外极平面上。两个光学中心的连线OO′OO′称做基线，点ee,e′e′称为两个摄像机的外极点，直线l′l′是与pp关联的外极线，ll是与p′p′关联的外极线。

对于pp和p′p′这种同一个点的不同像点，p′p′一定位于与pp相关联的外极线上，反之亦然，这种约束成为外极线约束。外极线约束在很大程度上限制了寻找两幅图像中点对应关系的搜索范围。

如果假定每台摄像机的内部参数已知，可认为图像（物理）坐标系上的点p=^pp=p^，其中^pp^代表像素点的坐标。显然，外极线约束说明了三个向量−→OpOp→,−−→O′p′O′p′→和−−→OO′OO′→共面。等价地，其中一个向量在其他向量所在的平面上，即

−→Op⋅[−−→OO′×−−→O′p′]=0Op→⋅[OO′→×O′p′→]=0

使用与第一台摄像机相关联的坐标系可以将上述与坐标无关的方程改写为

p⋅[t×(Rp′)]=0p⋅[t×(Rp′)]=0

其中tt是区分两个坐标系的坐标平移向量−−→OO′OO′→，RR是旋转矩阵，即在第二个坐标系统中坐标为w′w′的自由向量在第一个坐标系中的坐标为Rw′Rw′。

上式可以最终写为

pTεp′=0pTεp′=0

其中ε=[t×]Rε=[t×]R，[t×][t×]表示斜对称矩阵，[t×]x=t×x[t×]x=t×x是向量tt和向量xx的叉积。

矩阵εε即是本征矩阵，坐标向量εTp(εp′)εTp(εp′)代表了再第二幅图像中与点p(p′)p(p′)关联的外极线。

本征矩阵（3×33×3）可以通过旋转矩阵RR的3个自由度和决定平移向量tt的恋歌自由度来参数化，即其有5个自由度。

实质上基础矩阵和本征矩阵是一种性质的，只是基础矩阵是在不知道摄像头内部参数信息推导出来的。当内部内部参数未知时（非标定的摄像机），可以写成p=K−1^pp=K−1p^和p′=K′−1^p′p′=K′−1p^′。其中，KK和K′K′是3×33×3的标定矩阵。则有：

pTFp′=0pTFp′=0

上式中的矩阵F=K−TεK′−1F=K−TεK′−1即为基础矩阵。类似本征矩阵，基础矩阵也是提供了三维点到二维的一个约束条件，即：Fp′(FTp)Fp′(FTp)代表了再第一（二）个像中的点p′(p)p′(p)对应的外极线。

基础矩阵同样也是3×33×3的矩阵，同本征矩阵一样秩为2，秩为2的限制意味着基础矩阵只允许有7个独立的参数（自由度为7，因为相差一个常数因子和行列式值为0减掉两个自由度）。利用本征矩阵和相机内参数矩阵相乘可以得到基础矩阵。

弱标定就是通过两幅图中冗余对应点集合来估计外极几何（基础矩阵估计）。

将上文中pTFp′=0pTFp′=0写为

进行展开变换可得

可以看出，由对应的8组点对即可得到基础矩阵。和由两幅图像的匹配点对求解变换的单应矩阵不同（每一组点对可以展开为两个线性约束方程），其每组对应点只能展开为一个线性约束方程，所以弱标定至少需要8组对应点（单应变换矩阵虽有8个自由度但只需要四组）。

---

本文整理自模式识别重点实验室的上课课件、计算机视觉-一种现代方法及计算机视觉的多视角几何。结合摄像机成像的几何模型进行阅读会更好的理解。

---

[1] 模式识别重点实验室上课课件

[2] Computer Vision: A Modern Approach, Second Edition, David A. Forsyth and Jean Ponce

[3] Multiple View Geometry In Computer Vision, Second Edition, Richard Hartley and Andrew Zisserman