Почему весовые параметры логистической регрессии инициализируются в нули?

Я видел веса нейронных сетей, инициализированные в случайные числа, поэтому мне интересно, почему веса логистической регрессии инициализируются в нули?

2 4
parameters neural-network initialization logistic-regression

2 ответа:

В каждом слое нейронных сетей имеется n нейронов. Таким образом, если вы инициализируете вес каждого нейрона с 0, то после обратной пропогации каждый из них будет иметь одинаковые веса:

мелкая нейронная сеть

Нейроны a1 и a2 в первом слое будут иметь одинаковые веса независимо от того, как долго вы повторяете. Так как они вычисляют одну и ту же функцию.

, что не относится к логистической регрессии, ее просто y = Wx + b.

4

Означает ли это, что нейронная сеть с Весами, инициализированными до нуля, так же хороша, как простая логистическая регрессия или, скажем, NN с одной единственной единицей, которая вычисляет WX+b?

0