想象一下大脑由无数神经元连接而成。人工神经网络（ANN）

机器之心发布

机器之心编辑部

随着三维深度学习越来越成为近期研究的热点，基于栅格化的数据处理方法也越来越受欢迎。但这种处理方法往往受限于高分辨下巨大的内存和计算开销，因此麻省理工学院 HAN Lab 的研究者提出利用 Point-Voxel CNN 来实现高效的三维深度学习，同时能够避免巨大的数据访问开销并很好地提升了局部性。该论文已被 NeurIPS 2019 接收为 Spotlight Presentation。

ReLU是一种常用的激活函数，全称为Rectified Linear Unit，即修正线性单元。它是一种非线性函数，常用于神经网络中的隐藏层，用于增加模型的非线性表达能力。ReLU函数的定义如下：

f(x) = max(0, x)

其中，x是输入，f(x)是输出。当输入x大于0时，输出等于x；当输入小于等于0时，输出等于0。因此，ReLU函数在输入为正数时，不做任何处理，直接输出；在输入为负数时，输出为0。ReLU函数的优点是计算简单、效果好，且避免了梯度消失的问题。

本文将从功能原理、技术细节到实际作用，系统解析这些 “幕后模块”：为什么 FFN 能让注意力的输出更 “有用”？残差连接如何让模型 “越 deep 越聪明”？归一化又为何能让训练 “稳如泰山”？

如果把 Transformer 比作一台精密的机器，那么注意力机制是它的 “核心引擎”，而前馈神经网络（FFN）、残差连接（Residual Connection）和归一化（Normalization）就是让引擎高效运转的 “内部齿轮”。这些模块看似简单，却解决了深度学习的两大核心难题 —— 特征提取能力不足和训练不稳定性，是大语言模型能 “理解语言、生成文本” 的关键支撑。

觉得内容不错，免费的点赞关注走一波，评论区留下想看的内容，后续持续更新！

1. 先overfit 再trade off，首先保证你的模型capacity能够过拟合，再尝试减小模型，各种正则化方法

torch.relu 是 PyTorch 中用于计算 ReLU（Rectified Linear Unit）激活函数的方法，其数学定义为 ReLU(x) = max(0, x)。它将输入张量中所有负值置零，正值保持不变，从而为神经网络引入非线性，增强模型的表达能力。以下是其核心特性和用法详解：

1. 基本功能与数学定义

线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。整流线性单元，激活部分神经元，增加稀疏性，当x小于0时，输出值为0，当x大于0时，输出值为x.

公式：

图：