Какая будет идеальная структура данных для представления матрицы изображения?

Работая с библиотекой компьютерного зрения, я подумал, что будет идеальной структурой данных для сохранения данных изображения.

Кто-то сказал мне, что использование std :: vector — это плохо, потому что смежность данных не гарантируется, поэтому простой более эффективен.

Проблема в том, что содержимое вектора должно зависеть от цветового пространства. Кроме того, для проблем с размером было бы лучше иметь неподписанный символ на канал, хотя для операций лучше использовать поплавки.

Чтобы обрабатывать цветовые пространства, я должен увеличить размер вектора (например, утроить его для обработки RGB), чтобы я мог получить доступ к данным следующим образом:

data[0] => pixel 1, Red
data[1] => pixel 1, Green
data[2] => pixel 1, Blue
data[3] => pixel 2, Red
data[4] => pixel 2, Green
... etc

Или возможно сделать это более эффективно (например, используя long int или float для хранения всех значений канала в одной переменной), и если да, то как? Как я могу сделать это универсальным для обработки 1, 2, 3 или 4 каналов, чтобы я мог легко (относительно) изменить цветовое пространство?

Вопрос не в контейнере (я уже использую один std :: vector), а в самом содержимом.

РЕДАКТИРОВАТЬ: Поскольку этот вопрос был помечен как основанный на мнениях, я постараюсь прояснить его.

На данный момент я храню данные изображения в std::vector<float>, Проблема в том, что я не знаю, сколько элементов хранить (например, в 3 раза больше, чтобы обрабатывать RGB / HSV, или реализовать структуру из 4 элементов (RGBA), даже когда я использую только один (оттенки серого)?) для того, чтобы эффективно изменить цветовое пространство или выполнять операции с матрицами, когда мне нужно. Поскольку это должно быть интегрировано в библиотеку компьютерного зрения, очень вероятно случиться хотя бы раз в каждом кадре.

Я чего-то прошу эффективное в моем случае здесь, который не имеет ничего общего (или очень мало) с мнением. Может быть несколько хороших ответов, и выбор среди них зависит от мнения, но это должен быть мой призыв.