w434's blog

Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model ScalingAbstract Janus-Pro是之前工作Janus的进阶版本 Janus-Pro结合了： 优化的训练策略 扩展的训练数据 更大的模型规模 Janus-Pro在多模态理解和文本到图像的指令跟随能力方面取得了显著进展，同时增强了文本到图像生成的稳定性 1. Introduction Janus在1B参数规模上得到了验证。然而由于训练数据量有限和模型容量相对较小，它表现出一些缺点，例如在短提示图像生成上的性能不佳以及文本到图像生成质量不稳定 Janus-Pro系列包括两种模型规模：1B和7B，展示了视觉编码解码方法的可扩展性 Janus-Pro在多模态理解能力和文本到图像指令跟随性能方面均表现出色 2. Method2.1. Architecture Janus-Pro的架构如下图所示，与Janus相同，整体架构的核心设计原则是解耦多模态理解和生成的视觉编码 应用独立的编码方法将原始 ...

LLM Introduction什么是大模型 定义：“任何在广泛数据上训练的模型（通常使用大规模的自我监督），可以适应（例如，微调）广泛的下游任务” Large Language Models 是Transformer架构的扩展，有数百万/数十亿个参数 通常使用大量 “通用” 文本数据（例如 Web 语料库）进行训练 训练目标通常是“下一个标记预测”：P（Wt+1|WT ，WT-1,…,W1） 随着规模的扩大，会涌现出其他能力（例如，思维链推理） 繁重的计算成本（时间、金钱、GPU） 更大的通用类型：“即插即用”，很少或零次学习：训练一次，然后适应其他任务，无需重新训练。例如，上下文学习和提示 Challenges and Weaknesses of NLP Challenges of NLP: 文本的离散性 更困难的数据增强 文本是“精确”的 - 一个错误的单词会改变句子的全部含义 可能具有较长的上下文长度和记忆（例如对话） Weaknesses of earlier models/approaches: 文本长度短 “线性”推理 - 没 ...

Janus:Decoupling Visual Encoding for Unified Multimodel Understanding and Generation(解耦视觉编码以实现统一的多模态理解和生成) 自回归模型(deepseek)：自回归模型（Autoregressive Model, AR Model） 是一种统计模型，用于描述时间序列数据或序列数据中当前值与过去值之间的关系。它的核心思想是：当前时刻的值是过去若干时刻值的线性组合，并通过这种依赖关系来预测未来的值。核心特点： 时间依赖性： 序列生成：自回归模型通过逐步预测序列中的下一个值来生成整个序列。例如，在文本生成中，模型根据前一个词预测下一个词，逐步生成完整的句子 Abstract Janus是一个自回归框架，统一了多模态理解和生成 先前的研究通常依赖于单一视觉编码器来处理这两个任务，然而由于多模态理解和生成所需的信息粒度不同，这种方法可能导致次优性能，尤其是在多模态理解方面 为了解决这个问题，可以将视觉编码解耦为独立的路径，同时仍然利用单一的统一Transformer架构进行处理： 缓解了视觉 ...

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningAbstract DeepSeek-R1-Zero 是一个通过大规模强化学习（RL）训练的模型，没有使用监督微调（SFT）作为初步步骤： 通过 RL，DeepSeek-R1-Zero 自然涌现出许多强大且有趣的推理行为 面临一些挑战，如可读性差和语言混合 DeepSeek-R1在 RL 之前结合了多阶段训练和冷启动数据 1. Introduction post-training 被证明可以提高推理任务的准确性、与社会价值观对齐并适应用户偏好，同时相对于预训练所需的计算资源较少 OpenAI 的 o1 系列模型首次引入了inference-time scaling，通过增加 Chain-of-Thought（CoT）推理过程的长度： 在数学、编程和科学推理等各种推理任务中取得了显著改进 test-time scaling仍然很大 deepseek迈出了通过纯强化学习（RL）提升语言模型推理能力的第一步 目 ...

自回归模型(Autoregressive Models)显式概率密度估计(Explicit Density Estimation: Autoregressive Models) 目标：得到显式函数p(x) = f(x,W) 给定数据集x(1),x(2),…,x(n)，通过极大似然估计来训练模型： Autoregressive Models： 假设每个 x 由多个子部分(维度)组成：x=(x1，x2，…，xT) 使用链式法则分解概率表达式： 通过将上述方程代入损失函数来求 W∗。给定历史作为已知条件来预测下一个 PixelCNN and PixelRNN 从左上角开始，一次生成一个图像像素，逐像素生成 使用 RNN或CNN计算每个像素的概率，该概率取决于状态和从左侧和上方的 RGB值： 在每个像素处，预测红色，然后预测蓝色，然后预测绿色：softmax到[0，1，…，255] Generative Pretraining from Pixels 使用自回归模型的Transformer: 变分自编码器(Variational Aut ...

Computer Vision Tasks: Semantic Segmentation 语义分割(semantic segmentation)：每个像素分配一个标签 物体检测(object detection)：每个物体分配一个包围盒，再给每个包围盒赋予一个标签 实例分割(instance segmentation)：物体检测+语义分割 Semantic Segmentation 使用类别标签标记图像中的每个像素，输入：照片；输出：语义 不能区别示例，只能给像素标签分类 Semantic Segmentation: Sliding Window 滑动窗口：把窗口中图像块的语义作为中心像素的语义。循环中心像素，为每个像素分类标签 缺点不高效，应该使用共享计算，复用计算 FCNMake a CNN Fully Convolutional FCN是全连接的CNN FC(MLP)可以作为特殊的卷积层，可以视为一个大卷积核的卷积层 最后上采样，形成大的feature map 中间的卷积层权重共享，从而更为高效 问题：上采样32倍过大，细节丢失严重 ...

RNNRecurrent Neural Networks: Process Sequences 一对多：看图说话，输入一张图片输出一个文字序列，无法用CNN解决 多对一：视频分类，输入一个序列的图片，输出一个标签，无法用CNN解决 异步多对多：翻译，输入一个文字的序列，异步输出一个文字序列，无法用CNN解决 同步多对多：每帧视频分类，输入一个图片序列，输出一个标签序列，无法用CNN解决 RNN用于处理序列问题 Sequential Processing of Non-Sequential Data 对于非序列的数据，可以将其进行序列化转化为序列数据进行RNN Recurrent Neural Networks 实现思想：维护一个内部状态，随输入输出不断更新 可以通过在每个时间步应用想通的递归公式来处理向量序列x，得到对应位置的y RNN Computational Graph 初始化隐藏层为0或者随机数来进行学习 在每个时间步长重复使用相同的权重矩阵 而many to many问题的计算图可以表示成： 其中总损失函数是累加而得，因为权重矩阵是相同 ...

Visualize Neural NetworksDirectly visualize the neural network weights 将weight折叠成图像的形状，然后将像素值映射到0-255 浅层layer主要学习不同方向的边缘提取，blogs提取特征。更关注形状和颜色特征而非语义 高层layer无法通过这个方法进行可视化，可视化结果维度很高而且效果较差 最后一层layer可以通过最近邻进行可视化：从分类器之前的图层中提取图像的 4096 维特征向量，然后找到最近的邻居 最后一层提取出的特征对颜色鲁棒，而对语义比较敏感 最后一层layer可以进行将为可视化：通过PCA或t-SNE将向量的维数从 4096 维降低到 2 维，可视化 FC7 特征向量的“空间” Understand Input PixelsMaximally Activating Patches 实现思路： 选择想要可视化的图层和通道 通过神经网络运行许多图像，记录所选通道的值，即激活值feature 计算并裁剪相对应的感受野，可视化与最大激活度相对应的图像块 优点：可以可 ...

VGG: Deeper Networks, Regular Design 核心思想：更深，卷积层数更多；标准化模块，卷积有标准化 VGG设计规则： All conv are 3x3 stride 1 pad 1 All max pool are 2x2 stride 2 After pool, double #channels，在分辨率压缩的同时保持信息量 VGG的5个stages： Stage 1: conv-conv-pool Stage 2: conv-conv-pool Stage 3: conv-conv-pool Stage 4: conv-conv-conv-[conv]-pool Stage 5: conv-conv-conv-[conv]-pool VGG19比VGG16在stage4和5中多一个卷积层 Why 3x3 layers? 标准化，容易加速 多个3x3的卷积核可以形成大卷积核：two 3x3 layers – 5x5 receptive field；three 3x3 layers – 7x7 receptive field 多个3 ...

Convolutional Neural NetworksReview: Multilayer Perceptions MLP的层被称为全连接层，层与层之间通过激活函数相连 MLP的第一步是将图像拉成长向量 缺点：没有遵从像素间的关系，没有利用邻域之间关系 Three Important Priors in Vision 平移不变性：左右平移，语义内容保持不变，feature map跟着平移。显然MLP因为拉成长向量，平移后的长向量运算完可能输出不同，因而MLP不具备平移不变性 局部性：局部+权重共享的参数量少，而MLP作为全连接层有全局的感受野，参数量非常大 尺度不变性：尺度改变，语义内容不变；尺度改变会形成层级结构，逐步增加感受野，形成特征金字塔 Convolution Layer 全连接层输出是weight和x矩阵的点乘结果： 卷积层则具有局部性，和局部对应的可以训练的weight(称为kernel)进行点乘，然后让kernel划过每个位置进行运算 卷积层可以理解为局部的权重共享的MLP，因而具有平移不变性(权重不变) kernel的参数 ...