Camera

Biuld a camera with a sensor

  • 物体会向传感器的各个位置传光，导致传感器各个位置接收到物体各个位置传来的光，最后的成像模糊不清

image.png

Pinhole Camera(小孔成像)

  • 大部分的光被阻隔，使得每个图像点对应传感器上的一个像素点

  • 小孔成像呈现倒立的像

image-1.png

  • 小孔成像的数学模型：数学上为了方便，将所成的像沿小孔对称使其与物体在同一侧，从而可以根据相似关系求解

image-2.png

image-3.png

Coordinate Frames(重点)

  • 世界坐标 -> 相机坐标(以相机为原点) -> 图像坐标 -> 像素坐标

image-4.png

  • 相机矩阵：建立了从三维到二维的投影关系。成像的过程就是三维空间坐标到二维图像坐标的变化，是一个投影的过程

  • 用[xw yw zw]来表示一个空间点的坐标，用[x y]来表示对应于成像平面上的一个图像点的坐标（不是像素坐标），那么这两个点肯定是有一种变换关系联系起来的，把这个变换关系记为P：

image-5.png

Camera Parameters

  • 图像坐标系：以图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数

  • 图像坐标系的主点：相机光轴与图像平面的交点（一般位于图像平面的中心处）

  • 由于我们拿到的图像是以像素来衡量的，因此还需要将图像坐标系转化为像素坐标系。由于(u,v)只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，所以，我们还要建立以物理单位（如毫米）表示的图像坐标系x-y，主要的用途：求主点坐标

Extrinsic Camera parameters

  • 外参矩阵：将世界坐标系转换成相机坐标系。由平移矩阵和旋转矩阵二合一而成。记为M

  • 世界坐标系：世界坐标系是为了描述相机的位置而被引入的

  • 相机坐标系：O点为摄像机光心（投影中心），Xc轴和Yc轴与成像平面坐标系的x轴和y轴平行，Zc轴为摄像机的光轴，和图像平面垂直。光轴与图像平面的交点为图像的主点O1,由点O与Xc,Yc,Zc轴组成的直角坐标系称为摄像机的坐标系。OO1为摄像机的焦距

  • 平移向量t和旋转矩阵R可以用来表示相机坐标系与世界坐标系的关系

image-8.png

image-9.png

  • 由于是齐次坐标系，最后是1，所以实际上是三维

Intrinsic Camera Parameters

  • 内参矩阵：将相机平面投影到图像平面

image-10.png

  • 其中f是焦距，起到缩放作用、cx,cy是二维空间上的平移，也就是主点的实际位置，单位是像素。Projection最后一行如果为1则是正交投影(比例不变)，如果是0则是透视投影

  • 一个重要的相似关系：xs/f = xc/zc

  • 将图像的主点定义为该坐标系的原点O1，且x轴与u轴平行，y轴与v轴平行，假设(u0,v0)代表O1在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系：u = x / dx + u0; v = y / dy + v0;(dx,dy的单位是：长度/像素)

  • 可将上式用齐次坐标与矩阵形式表示为：

image-7.png

  • 等式右边的前三个矩阵合并，得到下式的内参矩阵：

image-11.png

  • 正交投影和透视投影：

image-12.png

  • summary:

image-13.png

  • s是错切，一般为0；α控制缩放x,y的比例不同，一般相同α = 1

Properties of Projection(投影的性质)

  • 投影不是线性变化

  • 直线投影后还是直线，点投影后还是点

  • 投影后角度会发生变化

  • 平行线会相交于vanishing point。穿过vanishing point的直线成为Vanishing line

image-14.png

Vanishing Points

  • 在其次坐标的思想下，无穷远点可描述，因此Vanishing point可以用其次坐标的思想描述

image-15.png

  • 由于相同方向的平行线有相同的Vanishing point，两点确定一条直线。所以找Vanishing line的方法：两点透视法，找两组方向不同的平行线，相交于两个Vanishing point，从而确定Vanishing line

image-16.png

Lens(镜头)

Pinhole Camera

  • 孔太小的问题：图像暗、需要长曝光，可能发生衍射；孔太大的问题：图像模糊

image-17.png

image-18.png

Camera with Lens

  • 镜头可以得到大光圈和清晰的图像

  • 镜头的作用是捕捉更多的光线，同时尽可能地保留理想针孔相机的抽象性。同时，镜头可以改变光的路径

image-19.png

  • 薄透镜方程：(通过相似△推导)

image-20.png

Depth of Field (视野、景深DoF)

  • 对于固定焦距和图像平面，对象“聚焦”的距离是特定,。其他点被投影到图像中的“混淆圈”

image-21.png

  • 景深：场景中最近和最远的对象之间的距离，这些对象在图像中看起来清晰得可以接受

  • 影响景深的因素：

    1. 光圈大小：光圈越小，景深越大。小光圈减少了光量，从而需要增加曝光，图像噪点更多
      image-22.png
    2. 焦距：焦距越大，景深越小。视野是照相机观察到的世界的角度范围
      image-23.png
    3. 拍摄距离：拍摄距离越远，景深越大

Lens Aberrations(镜头像差/畸变)

Radial Distortion

  • 短焦、广角易产生Radial Distortion，本质：图像的内容多而传感器的显示有限

  • 在镜头边缘尤为明显

image-24.png

Chromatic Aberration (色差)

  • 玻璃的折射率随波长略有变化

  • 简单镜头会受到色差的影响，即不同颜色的光倾向于聚焦在略有不同的距离（模糊、色偏）

  • 为了减少色差和其他类型的像差，大多数摄影镜头是由不同的玻璃元件（具有不同的涂层）制成的复合镜头

Vignetting(暗角)

  • 暗角是亮度向图像边缘下降的趋势

  • 机械暗角：光束的阴影部分永远不会到达图像

Color

  • Two-types of Light Sensitive Receptors
    1. 视锥细胞：一共有三种，对颜色敏感
    2. 视杆细胞：对颜色不明感，对明暗敏感

Image Sensing