撰文 ｜ 郭冉

Softmax操作是深度学习模型中最常用的操作之一。在深度学习的分类任务中，网络最后的分类器往往是Softmax + CrossEntropy的组合：

论文题目：AGMS-GCN: Attention-guided multi-scale graph convolutional networks for skeleton-based action recognition

作者&团队：Kilic U, Karadag O O, Ozyer G T.

1.土耳其 埃尔祖鲁姆技术大学 计算机工程系

2.土耳其 阿塔图尔克大学 计算机工程系

自动化机器学习（AutoML）变得越来越火，是机器学习下个发展方向之一。其中的神经网络结构搜索（NAS）是其中重要的技术之一。人工设计网络需要丰富的经验和专业知识，神经网络有众多的超参数，导致其搜索空间巨大。NAS即是在此巨大的搜索空间里自动地找到最优的网络结构，实现深度学习的自动化。本文将介绍几种经典的NAS方法，方便给读者一个对NAS的直观总览。虽然NAS的热度有所降低，但NAS的发展不会停下，AutoML的发展更不会停下，毕竟一个成熟的AI该学会自己成长了

本文为你总结常见的神经网络求导。

derivative of softmax

1.1 derivative of softmax

Sigmoid和Softmax是机器学习模型中常用的两种激活函数。

Sigmoid

Sigmoid激活函数将任何输入值映射到0到1之间的值。它的定义公式为：

Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0, 1]之间的概率值，因为softmax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，softmax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之间。

Softmax是逻辑回归的一种推广，可以用于多分类任务，其公式与逻辑回归的sigmoid函数非常相似。只有当分类是互斥的，才可以在分类器中使用softmax函数，也就是说只能是多元分类（即数据只有一个标签），而不能是多标签分类（即一条数据可能有多个标签）。

常见的逻辑回归、SVM等常用于解决二分类问题，对于多个选项的分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM（只是需要多个二分类来组成多分类）。对于多分类的实现，我们还可以使用Softmax函数，它是逻辑回归在 N 个可能不同的值上的推广。

Softmax作用

神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权(*w+b)和与非线性处理之后的一个值而已

作者：康斯坦奇

来源：公众号@计算机视觉工坊|系投稿

论文题目：HybridPose: 6D Object Pose Estimation under Hy Representations

论文地址：在公众号「3D视觉工坊」后台，回复「6D对象姿态估计」，即可直接下载。

水泥的终结者：白糖。

白糖和水泥拌在一起会发生什么？白糖和水泥是看起来八竿子打不着的两个东西，但实际上只要把它们拌在一起就能让水泥产生奇妙的化学反应，所以白糖也被称为是"水泥终结者"。

白糖能够让快速凝结的水泥放缓速度，并且能够起到一定的缓冲作用，起到缓凝剂的作用防止一些意外的产生。白糖里的糖分可以破坏水泥里的凝固成分，延长凝固成分的时间。水泥在遇水融化之前，里面所含的主要成分是硅酸三钙的颗粒，而白糖能够消灭水泥里的一些颗粒从而阻止水化硅酸钙，也就顺理成章的减缓凝固的时间了。