Невидимые видео с помощью libwebm (VP8 / Opus) — Синхронизация аудио —

Question

Невидимые видео с помощью libwebm (VP8 / Opus) — Синхронизация аудио —

Я пытаюсь создать очень простой кодировщик webm (vp8 / opus), однако не могу заставить работать звук.

ffprobe определяет формат и продолжительность файла

Stream #1:0(eng): Audio: opus, 48000 Hz, mono, fltp (default)

Видео может воспроизводиться просто отлично в VLC и Chrome, но без звука, по некоторым причинам аудио input bitrate всегда 0

Большая часть кода кодирования звука была скопирована с
https://github.com/fnordware/AdobeWebM/blob/master/src/premiere/WebM_Premiere_Export.cpp

Вот соответствующий код:

static const long long kTimeScale = 1000000000LL;

MkvWriter writer;
writer.Open("video.webm");

Segment mux_seg;
mux_seg.Init(&writer);

// VPX encoding...

int16_t pcm[SAMPLES];
uint64_t audio_track_id = mux_seg.AddAudioTrack(SAMPLE_RATE, 1, 0);
mkvmuxer::AudioTrack *audioTrack = (mkvmuxer::AudioTrack*)mux_seg.GetTrackByNumber(audio_track_id);
audioTrack->set_codec_id(mkvmuxer::Tracks::kOpusCodecId);
audioTrack->set_seek_pre_roll(80000000);
OpusEncoder *encoder = opus_encoder_create(SAMPLE_RATE, 1, OPUS_APPLICATION_AUDIO, NULL);
opus_encoder_ctl(encoder, OPUS_SET_BITRATE(64000));
opus_int32 skip = 0;
opus_encoder_ctl(encoder, OPUS_GET_LOOKAHEAD(&skip));
audioTrack->set_codec_delay(skip * kTimeScale / SAMPLE_RATE);
mux_seg.CuesTrack(audio_track_id);
uint64_t currentAudioSample = 0;
uint64_t opus_ts = 0;
while(has_frame) {
int bytes = opus_encode(encoder, pcm, SAMPLES, out, SAMPLES * 8);
opus_ts = currentAudioSample * kTimeScale / SAMPLE_RATE;
mux_seg.AddFrame(out, bytes, audio_track_id, opus_ts, true);
currentAudioSample += SAMPLES;
}

opus_encoder_destroy(encoder);
mux_seg.Finalize();
writer.Close();

Обновление № 1:
Кажется, проблема в том, что WebM требует чередования аудио и видео дорожек.
Однако я не могу понять, как синхронизировать звук.
Должен ли я рассчитать длительность кадра, а затем кодировать эквивалентные аудиосэмплы?

1

audio c++opus webm

Решение

Другие решения

Других решений пока нет …

Источник

Accepted Answer

Проблема заключалась в том, что мне не хватало данных заголовка OGG, а временные метки аудио кадров были неточными.

Чтобы завершить ответ, приведем псевдокод для кодировщика.

const int kTicksPerSecond = 1000000000; // webm timescale
const int kTimeScale = kTicksPerSecond / FPS;
const int kTwoNanoSeconds = 1000000000;

init_opus_encoder();
audioTrack->set_seek_pre_roll(80000000);
audioTrack->set_codec_delay(opus_preskip);
audioTrack->SetCodecPrivate(ogg_header_data, ogg_header_size);

while(has_video_frame) {
encode_vpx_frame();
video_pts = frame_index * kTimeScale;
muxer_segment.addFrame(frame_packet_data, packet_length, video_track_id, video_pts, packet_flags);
// fill the video frames gap with OPUS audio samples
while(audio_pts < video_pts + kTimeScale) {
encode_opus_frame();
muxer_segment.addFrame(opus_frame_data, opus_frame_data_length, audio_track_id, audio_pts, true /* keyframe */);
audio_pts = curr_audio_samples * kTwoNanoSeconds / 48000;
curr_audio_samples += 960;
}
}

2