可视计算与交互概论 test2复习笔记
考试加油鸭!!!
可视计算与交互概论 notes整理第15-17章
第十五章 全局光照
渲染管线主要形式:
光栅化:高效、易行,但却牺牲了渲染质量,难以处理软阴影、镜面反射、间接光照等全局现象
光线追踪:法善于解决上述困难,而其代价则是渲染时间的成倍提升
光线投射
在渲染一幅画面的过程中,屏幕上任意一个点所对应的颜色应该来自于场景中的哪一个物体?从人眼 (摄像机) 向屏幕上的点连一条射线,该射线在场景中击中的第一个物体将决定该点的颜色
发出射线、击中物体的过程,也就是所谓的光线投射。算法流程:
对于每一个像素点 (x, y),从观察者的眼睛发出一条穿过 (x, y) 的光线
找出这条光线与场景中的物体第一次发生相交的位置
将这个交点与每一个光源相连,分别形成一根 shadow ray(这根光线也可能被障碍物遮挡)
通过 shadow ray 和我们一开始发出的光线,我们得到了入射方向和出射方向,结合交点的几何信息,我们也已知了法线方向,从而可以运用之前介绍过的着色模型计算出交点的颜色
将算出的颜色作为像素点 (x, y) 的颜色写入
利用光线投射法来渲染场景的伪代码:
1234567891011121314151617181920 ...
计算机视觉 06 3D Vision and Camera Calibration
3D VisionSingle-view Ambiguity(单一视角的歧义性)
3D Vision:从图片中重建三维结构
关键问题:单一视角的歧义性。给定一个相机和一个图像,许多 3D 点可能会投影到同一个 2D 像素
单一视角的模糊性使得投影具有歧义性,产生投影错觉
Resolve Single-view Ambiguity
F1:从传感器中射出光(激光、结构光等)
F2:双目立体视觉:使用 2 个不同视图和对应关系的校准相机。拍两张照片,类似于双目视差进行校准
F3:多视图几何图形:移动相机并查找对应关系以求解 X,拍摄多张照片用SIFTfeature来求解
F4:Shape from Shading(三维明暗重建三维):固定相机,并使用在不同阴影下拍摄的照片重建几何图形
F5:从数据中学习:训练神经网络以预测 3D 信息。用神经网络估计深度解释歧义性
Camera Calibration(相机校准)
核心:找匹配点
Review: Camera Parameters
Camera calibration
任务描述:Given 𝑛 ...
计算机视觉 05 Image Stitching
Panorama(全景图)
全景图的构建方法:
提取特征点
特征匹配
求解变换
混合图像
Review: Image Transformations
Image filtering: change the range of images
Image warping: change the domain of images(对定义域变换)
Examples of Global Image Warping:
Transformation with Homogeneous Coordinates
其次坐标与欧式空间坐标的转换:
线性变换加平移:有6个自由度
我们得到没有齐次坐标的变换:x’ = Ax + b。其中A = {a,b,c,d},b = {c,f}.T
Examples of Transformations:
Solve Transformations (#1)
给定对应关系:[x’i,y’i] ↔ [xi,yi],则可依照上述理论建立:
此式等价于下面的式子:(将其拉长所得)
求解变换就是求解 ...
计算机视觉 04 Feature Detection
Edge Detection
Edge Detection: Identify sudden changes (discontinuities) in an image
可以用导数来描述”sudden changes”
Partial Derivative
导数:函数 f(x) 沿某个方向在某一点上变化的速率;梯度:所有偏导数堆叠在一起而形成
图像的偏导数(图像可以描述为2D function f(x,y)):
图像的偏导数可以用图像的滤波来计算:水平竖直方向分别用滤波卷积计算
每一个方向先前向差分再归一化,水平、竖直方向拼起来形成梯度
Noise Severely Affects Derivatives of an Image:求梯度的时候噪音的梯度被放大,主导图像的梯度
解决办法:先对图像做平滑处理,可以先对图像用高斯滤波,然后再进行边缘检测求梯度。经过数学推导改变偏导顺序可以把这个过程变为:
先对高斯求偏导
再对函数进行滤波求梯度
最后归一化
The gradient direction is given by:
The edg ...
计算机视觉 03 Image Processing
Image Processing
An Image as a 2D Function:可以是离散,也可以作为2维(黑白)、3维(彩色)函数
图像:
Range: 𝐼 𝑥, 𝑦 ∈ 0, 255 ∈ ℤ
Domain: 𝑥, 𝑦 ∈ 1, 𝑤𝑖𝑑𝑡ℎ , 1, ℎ𝑒𝑖𝑔ℎ𝑡
Color Image: 𝐼(𝑥, 𝑦, 𝑐)
Pixel (Point) Processing
Darkening v.s. Contrast
明暗:所有像素变量或变暗,相对差异保持不变(通过+、-)
对比度:相对差异改变(*、/)
Histogram Equalization(直方图均衡化)
调成均匀分布则图像会更均匀
具体操作:对直方图压缩y轴至0-1,找出概率分布,再根据概率分布将y轴拉长至0-250。
Image Filtering
Image Filtering用于图像邻域处理
Linear Filters
𝐼 𝑖,𝑗 : 𝑤 × ℎ digital image;ℎ 𝑢, 𝑣 : 𝑚 × 𝑛 “filter” o ...
计算机视觉 02 Image Formation
CameraBiuld a camera with a sensor
物体会向传感器的各个位置传光,导致传感器各个位置接收到物体各个位置传来的光,最后的成像模糊不清
Pinhole Camera(小孔成像)
大部分的光被阻隔,使得每个图像点对应传感器上的一个像素点
小孔成像呈现倒立的像
小孔成像的数学模型:数学上为了方便,将所成的像沿小孔对称使其与物体在同一侧,从而可以根据相似关系求解
Coordinate Frames(重点)
世界坐标 -> 相机坐标(以相机为原点) -> 图像坐标 -> 像素坐标
相机矩阵:建立了从三维到二维的投影关系。成像的过程就是三维空间坐标到二维图像坐标的变化,是一个投影的过程
用[xw yw zw]来表示一个空间点的坐标,用[x y]来表示对应于成像平面上的一个图像点的坐标(不是像素坐标),那么这两个点肯定是有一种变换关系联系起来的,把这个变换关系记为P:
Camera Parameters
图像坐标系:以图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在 ...
AI中的数学 第四章概率极限定理
大数律的本质:当大量随机试验中随机变量平均值趋于其期望值的性质
可视计算与交互概论 notes整理第12-14章
第十二章 光照和着色什么是着色
着色(shading):为几何体的表面加上材质的过程,或者说着色是绘制几何体表面的颜色使得它看起来像我们设定的材质的过程
光照
一个物体除非自己发光,否则都需要反射来自外界的光线进入人眼才能被我们看到
光源:源头的光照
平行光
因为太阳离地球很远,所以来自太阳的光线可以近似当成平行光(directional light)
可以用光照的方向和强度这两个量来描述平行光:
方向表示为世界坐标中的归一化三维向量 d
强度定义为垂直于光入射方向单位面积上接收到的光照射的功率
光强需要在光的垂直方向测量,接收光的表面与入射光线之间存在夹角 θ,相同的平面面积接收到的光强与 θ 相关。由于平面面积投影到光的垂直方向需要乘以一个因子 cos θ,所以图右边的平面接收到的光强就是左边的 cos θ 倍,也就意味着光强比左边直射时更小。如果平面与光的方向完全平行,cos θ = 0,表示接收到的光强为 0
用一个颜色 Id 表示平行光的光强,其三个分量表示 RGB 三个频率范围内的光强分量,这样当入射光线与平面法线之间的夹角是 θ 时,平面 ...
数据结构与算法A 第七章图
在图这种非线性结构中,结点之间的关系可以是任意的:
线性结构:唯一前驱、唯一后继,反应一种线性关系
树形结构:唯一前驱、多个后继,反应一种层次关系
图结构:不加限制前驱的个数,也不加限制后继的个数,反应一种网状关系
线性表和树可以看做是受限图
图的定义和基本术语
图由表示数据元素的集合 V 和表示数据之间关系的集合 E 组成:记为G= (V,E)
V 是顶点 (vertex) 集合
E 是边 (edge) 的集合,即顶点的序偶
无向图:一条边的顶点序偶是无序的,即该边无方向。无序的偶对用()表示,(v1,v2)和(v2,v1)是同一条边
有向图:一条边的顶点序偶是有序地,即边有方向。有序偶对用<>表示,有向图的边也称为弧,<v1,v2>中 v1 成为弧尾或边的始点,v2 称为弧头或边的终点。<v1,v2>和<v2,v1>是不同的两条弧
带权图:每条边或弧都带权的图,可以用于表示从一个顶点到另一个顶点的距离、代价或耗费等
图的限制:
两个顶点之间的边不能多于一条
不考虑图中顶点到自身的边
n:图中顶点 ...