Python — Нахождение градиента конв-фильтра Caffe относительно ввода

net = solver.net
diffs = net.backward(diffs=['data', 'conv1'])
print diffs.keys() # >> ['conv1', 'data']
print diffs['data'].shape # >> (8, 8, 7, 96)
print diffs['conv1'].shape # >> (8, 11, 7, 92)

Сеть Caffe жонглирует двумя «потоками» чисел.
Первый — «поток» данных: изображения и метки проталкиваются через сеть. По мере прохождения этих входов через сеть они преобразуются в высокоуровневое представление и, в конечном итоге, в векторы вероятностей классов (в задачах классификации).
Второй «поток» содержит параметры различных слоев, веса сверток, смещения и т. Д. Эти числа / веса изменяются и запоминаются во время фазы поезда сети.

Несмотря на принципиально различную роль этих двух «потоков», кафе, тем не менее, используют одну и ту же структуру данных, blob, чтобы хранить и управлять ими.
Тем не менее, для каждого слоя есть два разные векторы blob по одному для каждого потока.

Вот пример, который я надеюсь прояснить:

import caffe
solver = caffe.SGDSolver( PATH_TO_SOLVER_PROTOTXT )
net = solver.net

Если вы сейчас посмотрите на

net.blobs

Вы увидите словарь, хранящий объект «caffe blob» для каждого слоя в сети. Каждый блоб имеет место для хранения данных и градиента

net.blobs['data'].data.shape    # >> (32, 3, 224, 224)
net.blobs['data'].diff.shape    # >> (32, 3, 224, 224)

И для сверточного слоя:

net.blobs['conv1/7x7_s2'].data.shape    # >> (32, 64, 112, 112)
net.blobs['conv1/7x7_s2'].diff.shape    # >> (32, 64, 112, 112)

net.blobs содержит первый поток данных, его форма соответствует форме входных изображений вплоть до результирующего вектора вероятности класса.

С другой стороны, вы можете увидеть другого члена net

net.layers

Это вектор-кафе, хранящий параметры разных слоев.
Глядя на первый слой ('data' слой):

len(net.layers[0].blobs)    # >> 0

Для входного слоя нет параметров для хранения.
С другой стороны, для первого сверточного слоя

len(net.layers[1].blobs)    # >> 2

В сети хранится одна капля для веса фильтра, а другая — для постоянного смещения. Вот они

net.layers[1].blobs[0].data.shape  # >> (64, 3, 7, 7)
net.layers[1].blobs[1].data.shape  # >> (64,)

Как видите, этот слой выполняет 7×7 свертки на 3-канальном входном изображении и имеет 64 таких фильтра.

Теперь, как получить градиенты? хорошо, как вы заметили

diffs = net.backward(diffs=['data','conv1/7x7_s2'])

Возвращает градиенты данные поток. Мы можем проверить это

np.all( diffs['data'] == net.blobs['data'].diff )  # >> True
np.all( diffs['conv1/7x7_s2'] == net.blobs['conv1/7x7_s2'].diff )  # >> True

(TL; DR) Вы хотите градиенты параметров, они хранятся в net.layers с параметрами:

net.layers[1].blobs[0].diff.shape # >> (64, 3, 7, 7)
net.layers[1].blobs[1].diff.shape # >> (64,)

---

Чтобы помочь вам сопоставить названия слоев и их индексы в net.layers вектор, вы можете использовать net._layer_names,

---

Обновить относительно использования градиентов для визуализации ответов фильтра:
Градиент обычно определяется для скаляр функция. Потеря — это скаляр, и поэтому вы можете говорить о градиенте веса пикселя / фильтра относительно скалярной потери. Этот градиент представляет собой одно число на пиксель / вес фильтра.
Если вы хотите получить вход, который приводит к максимальной активации конкретный Внутренний скрытый узел, вам нужна «вспомогательная» сеть, потеря которой в точности является мерой активации для конкретного скрытого узла, который вы хотите визуализировать. Получив эту вспомогательную сеть, вы можете начать с произвольного ввода и изменить его на основе градиентов вспомогательных потерь для входного слоя:

update = prev_in + lr * net.blobs['data'].diff

net.forward()
diffs = net.backward(diffs=['data', 'conv1'])`
data_point = 16
plt.imshow(diffs['data'][data_point].squeeze())