Декодирование потока h264 с помощью ffmpeg вводит задержку, как избежать этого?

Я работаю над кодом, который кодирует видеопоток, отправляет его через UDP клиенту, который затем декодирует поток. Он работает нормально, используя кодер x264, моя единственная проблема в том, что когда я звоню avcodec_decode_video2 на входящем кадре декодер вводит задержку, как если бы он имел внутренний буфер. Как я могу избежать этого? Что контролирует это поведение? Это кодировщик, который должен быть изменен, или отсутствуют настройки в контексте декодера? В настоящее время я просто создаю контекст декодера со значениями по умолчанию avcodec_get_context_defaults3,

Кодировщик имеет следующие параметры:

x264_param_t param;
x264_param_default_preset(&param, preset.c_str(), "zerolatency");
param.i_frame_reference = 1;

param.i_threads = 1;
param.b_sliced_threads = 5;
param.i_slice_max_size = 8192;
param.i_width = width;
param.i_height = height;
param.i_fps_num = 30;
param.i_fps_den = 1;
param.i_sync_lookahead = 0;

param.i_bframe = 0;
// Intra refres:
param.i_keyint_max = 30;
param.b_intra_refresh = 1;
//Rate control:
param.rc.i_rc_method = X264_RC_CRF;
param.rc.i_lookahead = 0;
param.rc.i_bitrate = bitrate;
param.rc.i_vbv_max_bitrate = bitrate;
param.rc.i_vbv_buffer_size = bitrate/30;

//For streaming:
param.b_repeat_headers = 1;
param.b_annexb = 1;