虽然名字是“回归”，但Logistic Regression要解决的却是分类问题。

比如在求解二分类问题时，对于$x$分别求条件概率：

$$
\begin{align}
P(Y=1|X) & = \frac{e^{w·x}}{1+e^{w·x}} \\
P(Y=0|X) & = \frac{1}{1+e^{w·x}}
\end{align}
$$

事件的几率$p/(1-p)$：

$$
$$

1. 模型是什么样的？
2. 如何训练？
3. 为什么使用这种函数？

• 可以通过概率的解释来解决问题

极大似然法

假设连续$X$满足Logistic Distribution，则分布概率和密度函数分别为：

$$
\begin{align}
F(x) &= \frac{1}{1+e^{-(x-\mu)/\gamma}} \\
f(x) &= F’(x) = \frac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^2}
\end{align}
$$

其中$\mu$为位置参数、$\gamma$为形状参数，如下图：

性质有：

1. 中心对称
2. 中心变化快、两端变化小

参考

• http://www.statisticshowto.com/logistic-distribution/
• https://en.wikipedia.org/wiki/Logistic_distribution