python — эффективное распределение разделяемой памяти TensorFlow для рекурсивной конкатенации

DenseNets обычно занимают много памяти в TensorFlow, потому что каждая операция concat хранится в отдельном выделении. Недавняя статья, Реализация DenseNets с эффективным использованием памяти, демонстрирует, что использование памяти может быть значительно сокращено за счет совместного использования ресурсов. Это изображение из реализации paper + pytorch иллюстрирует подход с общей памятью:

Как это можно реализовать с помощью TensorFlow? Если это не может быть сделано через python, как это может быть правильно реализовано в операторе с поддержкой CPU и GPU?

• Pytorch эффективная реализация DenseNet
• Внедрение Keras DenseNet с «наивными» выделениями работает с бэкэндом TensorFlow.

Я создал TensorFlow Feature Request для необходимой функциональности распределения.