清华大数据软件团队官方微信公众号
转载文，对激活函数讲解的十分通俗易懂
什么是激活函数
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）
2025年04月08日
转载文，对激活函数讲解的十分通俗易懂
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）
2025年04月08日
前言
在深度学习模型中，激活函数扮演着至关重要的角色。它们不仅帮助引入非线性，使得神经网络能够学习复杂的模式，还对网络的性能和训练速度有直接影响。ReLU（Rectified Linear Unit）是最常用的激活函数之一，本篇文章将深入探讨 torch.nn.ReLU 的工作原理及应用。
2025年04月08日
一、摘要：
为降低某电厂循环流化床锅炉污染物排放，同时提高锅炉燃烧运行经济性，本文采用数据驱动技术实现循环流化床锅炉多目标燃烧优化。基于改进粒子群优化长短期记忆神经网络建立循环流化床锅炉NOx/SO2排放数学模型和锅炉排烟温度数学模型，以相对误差为预测性评估指标以确定最佳网络参数；其次，基于改进粒子群优化长短期记忆神经网络（IPSO-LSTM）、长 短期记忆神经网络（LSTM）、广义回归神经网络（GRNN）和反向传播神经网络（BPNN）分别构建NOx/SO2排放数学模型和锅炉排烟温度数学模型，通过比较预测性评估指标，证明本文构建预测模型有效性；最后，基于非支配排序遗传算法（NSGA-Ⅱ）获 取不同运行工况下循环流化床锅炉燃烧优化调整方案，以降低NOx/SO2排放浓度，同时维持排烟温度稳定性。结果表明：相比优化前，优化后NOx排放浓度平均降低了10.58%，SO2排放浓度平均降低了25.81%，最大降低了650 mg/m3 ，且排烟温度平均降 低0.14%。
2025年04月08日
1、什么是GAN？
GAN是2014年6月，Bengio团队提出来的，感兴趣的可以搜索论文：《Generative Adversarial Networks》
由生成器和判别器组成，即Generator和Discriminator，可以完成很多匪夷所思的生成问题。在图像生成、语音转换、文本生成领域均占有很重要地位。
2025年04月08日
在本文中，我们将了解是什么导致神经网络表现不佳，以及我们可以通过可视化梯度和与模型训练相关的其他参数来调试此问题的方法。我们还将讨论梯度消失和梯度爆炸的问题以及克服这些问题的方法。
2025年04月08日
如果你正在读这篇文章，那么很可能你已经知道什么是神经网络，什么是激活函数，但是，一些关于机器学习的入门课程并不能很清楚地说明，为什么我们需要这些激活函数。我们需要它们吗?没有它们，神经网络还能工作吗?
首先让我们回顾一下关于神经网络的一些事情。它们通常被可视化地表示为一个类似图表的结构，如下图所示: