Я работал над сокращением нейронной сети, отказываясь от обновления матрицы весов, экранируя веса ниже определенного порога.
Для этого мне нужно добавить поле «маска» в файл protobuf, а затем умножьте (скалярное произведение) ту же маску на diff (градиент) во время обратного распространения, изменив blob::update()
.
Любые предложения о том, как это сделать, будут оценены.
Задача ещё не решена.
Других решений пока нет …