w434's blog

总结版：

NLP From ScratchNLP From Scratch: Classifying Names with a Character-Level RNN 我们将构建并训练一个基础的字符级循环神经网络（RNN）来实现词汇分类 字符级RNN将单词作为字符序列进行读取，在每一步输出预测结果和hidden state，并将其前一步的hidden state输入到下一个步骤。以最终的预测结果作为输出，即判断该词汇属于哪个类别 我们将使用来自18种语源的数千个姓氏进行训练，然后根据拼写来预测名字的来源语言 Preparing Torch 设置 torch 默认使用对应硬件所支持的设备（CPU 或 CUDA）以实现 GPU 加速 1234567891011121314import torch# Check if CUDA is availabledevice = torch.device('cpu')if torch.cuda.is_available(): device = torch.device('cuda')torch.set_de ...

What is torch.nn really? PyTorch通过精心设计的模块和类——torch.nn、torch.optim、Dataset及DataLoader——来协助构建和训练神经网络 若要充分发挥其能力并针对具体问题实现定制化，就需要真正理解它们内部的运作机制 为建立这种理解，我们将首先在不使用这些模型中任何功能的情况下，在MNIST数据集上训练一个基础神经网络；初始阶段仅使用最基本的PyTorch张量功能 随后，逐步每次添加一个来自torch.nn、torch.optim、Dataset或DataLoader的功能组件，清晰展示每个部分的作用，以及它们如何使代码更简洁或更灵活 MNIST data setup 使用经典的MNIST数据集，它由手绘数字（0到9之间）的黑白图像组成 使用pathlib处理路径（属于Python 3标准库），并通过requests库下载数据集 1234567891011121314from pathlib import Pathimport requestsDATA_PATH = Path("data") ...

Visual Instruction TuningAbstract 使用机器生成的指令跟随数据对大型语言模型（LLM）进行指令微调已被证明可以提高在新任务上的零样本能力，但这一思路在多模态领域的探索较少 我们首次尝试使用仅语言的GPT-4生成多模态语言-图像指令跟随数据 通过在此类生成数据上进行指令微调，我们提出了LLaVA（大型语言和视觉助手），这是一个端到端训练的大型多模态模型，连接了视觉编码器和LLM，用于通用视觉和语言理解 为了促进未来对视觉指令跟随的研究，我们构建了两个评估基准，包含多样且具有挑战性的应用导向任务 LLaVA展示了强大的的多模态聊天能力，有时在未见过的图像/指令上表现出多模态GPT-4的行为，并在合成多模态指令跟随数据集上达到了GPT-4的85.1%相对分数 在Science QA上微调后，LLaVA与GPT-4的协同作用达到了92.53%的最新准确率 1 Introduction 社区对开发语言增强的基础视觉模型表现出浓厚兴趣，这些模型在开放世界视觉理解（如分类、检测、分割和描述）以及视觉生成和编辑方面具有强大能力 在这类工作中， ...

Syntactic Analysis IIDependency StructuresStructures 成分树：根据语法，哪个词应该和哪个词合起来 而Dependency则从宏观到微观逐渐观测，什么和什么相关 e.g.我喜欢什么，我喜欢吃什么，我喜欢吃什么样的苹果… Predicate-Argument Structures(谓词论元): 重点考察核心的谓词之间的关系，左边是成分，右边是依存。通过依存关系来刻画意思，角色之间存在重要性的差异 In the words by Lucien Tesni`ere 句子是一个有组织的整体，其构成要素是单词 在单词和它的邻居之间存在联系，这些联系的整体构成了句子的结构 结构连接在单词之间建立依赖关系。原则上，每个连接都结合了一个上级项和一个下级项，单向的，从head -> dependency 词法项通过二进制不对称关系链接，称为依赖项 Dependency Structures Terminology Superior: Head/Governor(控制作用) Inferior: Dep ...

Syntactic Analysis ISyntactic Structures 讨论了词义消歧、语言模型序列(这句话好不好)、序列标注(词性是否符合语法习惯) 我们没有触及另一个有趣而复杂的话题：语法 Syntax 语言遵循一定的语法规则(隐性的)，而且会不断变化： 可以编译的有一定规则和形式 没有歧义，他人能懂 同时附带语义 超越字级分析或纯序列分析 分析语法的一种可能解决方案是将句子映射到复杂的结构中(句法分析)，例如树或图形。希望讨论的不再是序列而是更复杂的结构——树或图… 所需：设计计算解决方案来恢复这些具有挑战性的句法结构 来自语言学的一个很好的理论，希望能完美地描述所有的语言现象 一种将句子映射到某些目标结构的算法 目标结构的形式可以多种多样，例如序列、树、图形等 目标结构的形式可以多种多样，例如序列、树、图形等 需要一个方法来评价好坏 Theories 句法结构(语法)：管理单词序列的语法或格式正确的规则，通常与某种语言有关 语义：单词、短语、句子或段落的含义是如何构建的，如何基于世界或世界的近似值(意思如何聚合) 语用(上下文相关)： ...