Python — делает ли tf.data.Dataset, заполненный tf.data.Dataset.from_tensor_slices, глубокую копию данных?

В соответствии с тензорным потоком, tf.data.Dataset является

«Набор данных может использоваться для представления входного конвейера в виде набора элементов (вложенных структур тензоров) и« логического плана »преобразований, действующих на эти элементы».

и когда я импортирую данные, используя tf.data.Dataset.from_tensor_slices это

«Создает набор данных, элементами которого являются кусочки заданных тензоров».

Однако мне неясно, заполнены ли эти вложенные тензоры данными, которые были скопированы жестко, используются ли указатели для доступа к данным или работают по ссылке. В основном меня беспокоит, будет ли импорт данных с использованием tf.data.Dataset.from_tensor_slices делать точную копию моих данных или нет, чтобы мне не хватало памяти.

Я попытался сравнить это с небольшим набором данных, создав два tf.data.Datasets из одних и тех же входных данных. Я просто посмотрел, сколько памяти использовала работающая программа, и в некоторых случаях она была вдвое меньше данных, а во втором случае (используя половину данных) я получил странные результаты.

1

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]