В соответствии с тензорным потоком, tf.data.Dataset является
«Набор данных может использоваться для представления входного конвейера в виде набора элементов (вложенных структур тензоров) и« логического плана »преобразований, действующих на эти элементы».
и когда я импортирую данные, используя tf.data.Dataset.from_tensor_slices это
«Создает набор данных, элементами которого являются кусочки заданных тензоров».
Однако мне неясно, заполнены ли эти вложенные тензоры данными, которые были скопированы жестко, используются ли указатели для доступа к данным или работают по ссылке. В основном меня беспокоит, будет ли импорт данных с использованием tf.data.Dataset.from_tensor_slices делать точную копию моих данных или нет, чтобы мне не хватало памяти.
Я попытался сравнить это с небольшим набором данных, создав два tf.data.Datasets из одних и тех же входных данных. Я просто посмотрел, сколько памяти использовала работающая программа, и в некоторых случаях она была вдвое меньше данных, а во втором случае (используя половину данных) я получил странные результаты.
Задача ещё не решена.
Других решений пока нет …