在前几篇文章中，我们学习了如何使用全连接神经网络和卷积神经网络（CNN）解决手写数字识别问题。然而，在实际应用中，我们常常需要处理更复杂的图像分类任务，例如识别猫狗、车辆、植物等。对于这些任务，从头训练一个深度学习模型通常需要大量的数据和计算资源。
2025年03月26日
在前几篇文章中，我们学习了如何使用全连接神经网络和卷积神经网络（CNN）解决手写数字识别问题。然而，在实际应用中，我们常常需要处理更复杂的图像分类任务，例如识别猫狗、车辆、植物等。对于这些任务，从头训练一个深度学习模型通常需要大量的数据和计算资源。
2025年03月26日
大家好，今天要讲的内容是多分类中的交叉熵损失函数。
交叉熵误差，cross entropy error，用来评估模型输出的概率分布和真实概率分布的差异情况，一般用于解决分类问题。它有两种定义形式，分别对应二分类与多分类问题。
在二分类问题中，E=- [y * log(p) + (1 - y) * log(1 - p)]，其中y是样本的真实标记，p是模型的预测概率。
2025年03月26日
不同的损失函数可用于不同的目标。在这篇文章中，我将带你通过一些示例介绍一些非常常用的损失函数。这篇文章提到的一些参数细节都属于tensorflow或者keras的实现细节。
损失函数的简要介绍
损失函数有助于优化神经网络的参数。我们的目标是通过优化神经网络的参数(权重)来最大程度地减少神经网络的损失。通过神经网络将目标(实际)值与预测值进行匹配，再经过损失函数就可以计算出损失。然后，我们使用梯度下降法来优化网络权重，以使损失最小化。这就是我们训练神经网络的方式。
2025年03月26日
交叉熵损失是深度学习中应用最广泛的损失函数之一，这个强大的损失函数是建立在交叉熵概念上的。当我开始使用这个损失函数时，我很难理解它背后的直觉。在google了不同材料后，我能够得到一个令人满意的理解，我想在这篇文章中分享它。
为了全面理解，我们需要按照以下顺序理解概念:自信息, 熵，交叉熵和交叉熵损失
"你对结果感到惊讶的程度"
一个低概率的结果与一个高概率的结果相比，低概率的结果带来的信息量更大。现在，如果$y_i$是第i个结果的概率，那么我们可以把自信息s表示为: