w434's blog

Neural Networks as Computational Graphs 有了梯度即可用SGD或AdamW优化器更新梯度训练neutral network,关键问题是如何计算梯度 神经网络可以看作是有向无环计算图 每个节点代表一个函数，每条边代表一个特征 任何神经网络可以画成如下形式的计算图，左侧是输入图像，中间是神经网络而右侧得到损失 Back Propagation 先考虑一个结点： 反向传播：从输出端反传到输入端，计算思路： 先写前向运算的计算图 算forward，并且算出loss 从后往前计算梯度，利用链式法则 可以认为loss函数的上游梯度为1 可以对部分计算进行合并，例如画框的部分可以合并为sigmoid函数，合并的过程又称神经网络编译 Common Patterns in Gradient Flow +：直接反传 *：反乘 复制：反加 max：沿着大的分支传回，小的置0 Back Propagation: Flat Implementation 在定义前向计算时显式写入后向计算，例如： Back Propaga ...

Linear Classifiers的局限性 Linear Classifiers无法解决线性不可分的问题： Idea #1:将低维特征进行高维非线性的特征变换从而得到高维的线性可分 Idea #2:HoG for Linear Classifier： 将图像分成8x8的区域 对每个区域计算梯度直方图 使用SVM作为分类器 HoG方法可以很好的描述图像内容并且丢弃不重要的内容，对小变化具有鲁棒性 Idea #3:线性分类器的高维特征压缩：提取多个feature图，拼在一起映射到高维空间，再用PCA降维 连接多个图像特征：维度越高越好 使用 PCA 压缩并提取 Fisher 向量以减小维度 使用 SGD 进行一对多 SVM 学习 Neural NetworksSingle-Layer Perceptron 单层感知机SLP无法解决一些非常简单的问题(XOR)，点乘完后激活从而完成分类任务 Contributed to the so-called AI winter.(不能解决异或问题) Multiple Layer Neural Networks ...

OptimizationOptimization with Grid Search 均匀采集样本点，遍历样本点遇到损失值更小的就进行更新 123456best, bestScore = None, Inffor d1 in range1: for d2 in range2: w = [d1, d2] if L(w) < bestScore: best, bestScore = w, L(w) 优点：简单，只需要评估模型，对函数没有要求 缺点：计算代价高，高维求值困难 Optimization with Random Search 随机采样，与问题维度无关 123456best, bestScore = None, Inffor iter in range(numIters): w = random(N,1) # sample score = 𝐿(𝒘) # evaluate if score < bestScore: best, bestScore = w, score ...

Introduction to Recognition Recognition：从图像中重建语义 Challenges: Semantic Gap(语义鸿沟) 从图像中重建语义，传统编程可能不使用：image可能有遮挡，并且模式不好找 Learn Semantics from Data：训练是隐式的，让神经网络学习某种准则，完成输入到输出的映射 输入：图像，标签 有监督学习：有x有y，目的是学习一个从x到y的函数映射。可以分为两类： 分类问题：预测种类，结果是离散的 回归问题：从图像中预测连续的值 无监督学习：有x无y，目的是了解数据中重要的基础结构或者分布 Linear Regression ModelLinear Regression 总思想：线性回归，最小二乘求解。给定数据data，定义模型并写成点乘形式，定义损失函数。然后拟合误差，使得argmin(Loss(x))，即为训练过程 Solve Linear Regression with Least Squares 问题：我们不太关心训练集的性能;我们想知道模型如何泛化到新数据。 ...

Optical Flow 光流是图像中亮度模式的变化，也就是颜色的变化，由相机运动、物体运动或照明变化引起 Optical Flow vs. Motion Field 光流并非正相关与运动场，可能出现有光流但是物体静止，也可能出现物体运动但是没有光流 光流和运动场不一致可能导致视觉错觉 Optical Flow vs. Scene Flow 场景流 （Scene flow） 是世界中点的三维运动场 输入：由多个摄像机捕获的动态场景的多个图像 输出：每个点在时间上每个时刻的 3D 形状和完整 3D 运动 光流的应用 Reconstruct Motion from Images 运动是感知的途径，可以帮助理解图像 光学鼠标 对视频进行插帧、编辑 识别微表情，放大运动 声音相机：声音引起物体的轻微振动，根据振动来复原声音 3D重建场景中的运动，找correspondence Optical Flow Probleminput 输入是多张照片或者视频 I(x,y,c,t)其中c是通道数，x,y,t用于参数化视频 Problem Definitio ...

二叉树的struct 二叉树的题必须要完成的第一步：设置一个struct,表示二叉树结点 1234567struct node{ int value; node *left; node *right; node(int v) : value(v), left(NULL), right(NULL) {}}; 二叉树的输出 先判断边界 深度优先遍历输出 核心思想是递归。按照先根次序、中跟次序、后根次序将value在不同位置输出 1234567891011void out_preorder(node *root){ if (root == nullptr) { return; } cout << root->value << " "; out_preorder(root->left); out_preorder(root->right); delete root;} ...