Sigmoid与Softmax:激活函数核心区别解析

Sigmoid与Softmax:激活函数核心区别解析

目录

    • Sigmoid与Softmax:激活函数核心区别解析
      • 一、Sigmoid 函数(逻辑斯蒂函数)
      • 二、Softmax 函数(归一化指数函数)
      • 三、核心区别对比
      • 四、两者的联系

Sigmoid 和 Softmax 都是深度学习中常用的归一化激活函数,核心作用是将神经网络的原始输出转换为具有概率意义的数值,但二者在数学性质、输出约束和适用场景上有本质区别。

一、Sigmoid 函数(逻辑斯蒂函数)

Sigmoid 是经典的单变量S型压缩函数,也是最早广泛使用的激活函数之一。

  1. 数学定义
    σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}}σ(x)=