Я строю CNN только с сверточными слоями (пока).
Я использовал тот же алгоритм, что и для ИНС. Поскольку слой Conv не полностью подключен и имеет общие веса, я не уверен, как рассчитать градиенты и соответствующую статистику для этого. Я пытался усреднить &Delta весит и использует среднее значение для backprop. После нескольких тестов я не думаю, что это работает, и это делает вычисления итераций очень медленными (1 итерация в секунду вместо 80).
Как правильно сделать обратные слои Conv?
И было бы неплохо, если бы у кого-нибудь была какая-либо информация или ссылка, касающаяся backprop других слоев (например, Pooling)
Существует множество алгоритмов SGD (Stochastic Gradient Descent), которые вы можете выбрать для обратного распространения. Вы можете попробовать увидеть некоторые из них, как
— Импульс
— АдаГрад
— AdaDelta
— Адам …
Других решений пока нет …