w434's blog

AutoencodersBasicsWhat is autoencoder? autoencoder 是一种前馈神经网络，其功能是接收输入x并预测x 存在 Trivial (short-cut) solutions：神经网络可以学会恒等映射 𝑥 = 𝑓(𝑥)，即输入为x，经过中间的神经网络后，输出也为x Bottleneck architecture： 可以分为encoder(编码、降维、提取特征)和decoder(解码、复原重构x) Why autoencoder? 将高维数据映射至二维空间以实现可视化 数据压缩（降低通信成本） 无监督学习（预训练），通过加入扰动再去噪 生成模型，生成image The simplest autoencoder(线性autoencoder) 最简结构的autoencoder包含单个具有linear activations的hidden layer encoder通过线性投影到更小的空间，而decoder则通过线性投影还原到原来的维度，均为线性变化 具体而言x通过线性变换由dx1变成kx1，变为隐 ...

总结版：

NLP From ScratchNLP From Scratch: Classifying Names with a Character-Level RNN 我们将构建并训练一个基础的字符级循环神经网络（RNN）来实现词汇分类 字符级RNN将单词作为字符序列进行读取，在每一步输出预测结果和hidden state，并将其前一步的hidden state输入到下一个步骤。以最终的预测结果作为输出，即判断该词汇属于哪个类别 我们将使用来自18种语源的数千个姓氏进行训练，然后根据拼写来预测名字的来源语言 Preparing Torch 设置 torch 默认使用对应硬件所支持的设备（CPU 或 CUDA）以实现 GPU 加速 1234567891011121314import torch# Check if CUDA is availabledevice = torch.device('cpu')if torch.cuda.is_available(): device = torch.device('cuda')torch.set_de ...

What is torch.nn really? PyTorch通过精心设计的模块和类——torch.nn、torch.optim、Dataset及DataLoader——来协助构建和训练神经网络 若要充分发挥其能力并针对具体问题实现定制化，就需要真正理解它们内部的运作机制 为建立这种理解，我们将首先在不使用这些模型中任何功能的情况下，在MNIST数据集上训练一个基础神经网络；初始阶段仅使用最基本的PyTorch张量功能 随后，逐步每次添加一个来自torch.nn、torch.optim、Dataset或DataLoader的功能组件，清晰展示每个部分的作用，以及它们如何使代码更简洁或更灵活 MNIST data setup 使用经典的MNIST数据集，它由手绘数字（0到9之间）的黑白图像组成 使用pathlib处理路径（属于Python 3标准库），并通过requests库下载数据集 1234567891011121314from pathlib import Pathimport requestsDATA_PATH = Path("data") ...

Visual Instruction TuningAbstract 使用机器生成的指令跟随数据对大型语言模型（LLM）进行指令微调已被证明可以提高在新任务上的零样本能力，但这一思路在多模态领域的探索较少 我们首次尝试使用仅语言的GPT-4生成多模态语言-图像指令跟随数据 通过在此类生成数据上进行指令微调，我们提出了LLaVA（大型语言和视觉助手），这是一个端到端训练的大型多模态模型，连接了视觉编码器和LLM，用于通用视觉和语言理解 为了促进未来对视觉指令跟随的研究，我们构建了两个评估基准，包含多样且具有挑战性的应用导向任务 LLaVA展示了强大的的多模态聊天能力，有时在未见过的图像/指令上表现出多模态GPT-4的行为，并在合成多模态指令跟随数据集上达到了GPT-4的85.1%相对分数 在Science QA上微调后，LLaVA与GPT-4的协同作用达到了92.53%的最新准确率 1 Introduction 社区对开发语言增强的基础视觉模型表现出浓厚兴趣，这些模型在开放世界视觉理解（如分类、检测、分割和描述）以及视觉生成和编辑方面具有强大能力 在这类工作中， ...

Syntactic Analysis IIDependency StructuresStructures 成分树：根据语法，哪个词应该和哪个词合起来 而Dependency则从宏观到微观逐渐观测，什么和什么相关 e.g.我喜欢什么，我喜欢吃什么，我喜欢吃什么样的苹果… Predicate-Argument Structures(谓词论元): 重点考察核心的谓词之间的关系，左边是成分，右边是依存。通过依存关系来刻画意思，角色之间存在重要性的差异 In the words by Lucien Tesni`ere 句子是一个有组织的整体，其构成要素是单词 在单词和它的邻居之间存在联系，这些联系的整体构成了句子的结构 结构连接在单词之间建立依赖关系。原则上，每个连接都结合了一个上级项和一个下级项，单向的，从head -> dependency 词法项通过二进制不对称关系链接，称为依赖项 Dependency Structures Terminology Superior: Head/Governor(控制作用) Inferior: Dep ...