大模型不是 Agent：智能体究竟是如何运转的？
什么是 Agent 你在 ChatGPT 的网页里打一句话，它回一段话。问天气，它给你天气。让它写首诗，它给你一首诗。到这里为止，你手里的是一个大语言模型（Large Language Model，LLM），一个很会接话的问答机器。 可如果它自己握着键盘鼠标，自己翻仓库里的文件，自己往数据库里写数据，把一个"把项目做完"的任务从头做到尾，情况就变了。人们把这种形态叫做 Agent（智能体）。 …
Read More
HJJJ
Undergraduate Computer Science sophomore at HKU
线性代数基础（一）：向量与空间
前言 这是"线性代数基础"专栏的第一篇。这个专栏的目的很明确：补齐看懂本站进阶数学文章所需的基础。读完本文（以及后续两篇），你应该能顺畅读懂《矩阵微积分如何服务反向传播》和《Softmax 与缩放点积的数学》。 我们从一个最朴素的问题开始：什么是向量？ 它为什么值得花一整篇来讨论？ 向量：从几何到坐标 向量有两种看待方式，二者等价，互为补充： 几何视角：向量是空间中带方向和长度的箭头。它表示"从一 …
Read More线性代数基础（二）：矩阵与线性变换
前言 上一篇讲了向量。这一篇把向量"组织"起来——矩阵。矩阵是连接向量与线性变换的桥梁，也是神经网络里几乎所有计算（全连接层、注意力中的 $QK^\top$、反向传播的梯度回传）的载体。 读完本文，你会理解三件事：矩阵乘法到底在算什么、为什么神经网络一层是 $z = Wx + b$、以及 Jacobian 为什么能写成矩阵。 矩阵：数与表 矩阵是排成矩形的数表。一个 $m \times n$ 矩阵 …
Read More线性代数基础（三）：特征值与分解
前言 前两篇讲了向量和矩阵。这一篇回答一个更深刻的问题：矩阵这个变换，有没有"主轴"？ 沿着某个方向，变换可能只是单纯地拉伸（方向不变、长度变）；沿着另一个方向，可能完全不动。抓住这些"不改变方向"的方向，矩阵的行为就一目了然了。 这就是特征值与特征向量的思想。它在深度学习里极其重要——梯度消失/爆炸、LoRA、PCA、甚至注意力里的缩放，背后都有它的影子。 特征值与特征向量 定义 对 $n …
Read MoreSoftmax 与缩放点积的数学：Attention 背后的概率与数值
前言 这篇文章是本站《Transformer 详解：从注意力机制到代码实战》的数学补充。它的定位非常具体：只讲"服务 Attention 的数学"，不重复基础线性代数。 我们假设你已经读过本站的《矩阵微积分如何服务反向传播》，理解 Jacobian 与向量-Jacobian 乘积（VJP）这两个概念。在此基础上，本文回答三个问题： softmax 的梯度长什么样，为什么是这个形式？ 为什么 …
Read MoreTransformer 详解：从注意力机制到代码实战
前言 Transformer 是目前深度学习中最重要的一类架构。从 GPT、BERT 这类大语言模型，到 ViT 这类视觉模型，近几年绝大多数突破背后都有它的身影。可以说，理解 Transformer 是读懂当代 AI 的必修课。 本文假设你已经读过本站的《正向传播与反向传播：神经网络到底如何学习》，理解"网络是一串函数复合、训练时误差沿链式法则反向流动"这两条主线。我们会沿用同样的思路拆解 …
Read More正向传播与反向传播：神经网络到底如何学习
前言 如果只看 PyTorch 代码，训练神经网络似乎很简单：写一个 forward，算出 loss，调用 loss.backward()，再让优化器更新参数。但这几行代码背后，其实压缩了深度学习最核心的一条数学主线： 正向传播负责把输入变成预测，反向传播负责把误差变成每个参数应该调整的方向。 理解这条主线之后，再看 CNN、ResNet、Transformer 或 LoRA，很多公式就不再像突然 …
Read More线性代数进阶：矩阵微积分如何服务反向传播
前言 这一篇不是基础线性代数笔记。矩阵乘法、转置、逆矩阵、特征值这些基础概念默认你已经见过。我们只关心一个更具体的问题：为什么深度学习里的反向传播经常要用矩阵微积分来描述？ 在标量函数里，导数告诉我们“输入变化一点，输出会怎么变”。但神经网络里大量对象都不是标量：输入是向量，权重是矩阵，中间特征是高维张量，损失函数最后才压成一个标量。因此，普通的一元导数不够用，我们需要用 Jacobian、梯度向 …
Read More为什么 ResNet 能训练 152 层——残差连接的直觉与数学
前言 直接从 Deep Learning 概览跳到 ResNet 会有一点跳跃，因为 ResNet 不只是一个 CNN 结构，它还依赖正向传播、反向传播和梯度流这些训练机制。如果你还不熟悉“网络是函数复合”“损失如何反传到参数”这些概念，可以先看正向传播与反向传播：神经网络到底如何学习。 ResNet（Residual Network，残差网络）是经典视觉网络中绕不开的模型，因为它解决的不是“怎么 …
Read MoreLarge Language Models: 改变世界的语言革命
前言 2018 年 6 月，OpenAI 发布了首个基于 Transformer 架构的语言模型 GPT（Generative Pre-trained Transformer），标志着大语言模型（Large Language Models, LLM）时代的到来。 笔者接触 LLM 的时间很晚。笔者第一次了解到人工智能技术大约是在 2020 年，了解的是 Siri——一款 Apple 公司推出的智能 …
Read More