dlib сеть не сходится

Я работаю над распознаванием символов с использованием dlib на Linux. Когда я тренирую свою сеть на 1000 символов, сеть сходится до тех пор, пока она не достигнет 100% точности, но когда я пытаюсь обучить ее с 10 000 или 100 000 символов, она больше не сходится к точности 100%. Моя скорость обучения все еще уменьшается, но количество неправильных предсказаний не меняется. Сеть, которую я использую, является следующей

using net_type = loss_multiclass_log<
dlib::fc<nbClassConst,
dlib::relu<dlib::fc<120,
dlib::relu<dlib::fc<400,
dlib::max_pool<2, 2, 2, 2, dlib::relu<con<16, 5, 5, 1, 1,
dlib::max_pool<2, 2, 2, 2, dlib::relu<con<6, 5, 5, 1, 1,
dlib::input<matrix<unsigned char>>
>>>>>>>>>>>>;

Он основан на dnn_introduction2_ex.cpp пример из dlib. Я не знаю, должен ли я играть с некоторыми параметрами сети или я просто не приспособлен к тому, что я хочу сделать. Буду признателен за любое предложение или помощь.