Расширение Python создает недопустимые указатели при работе с большими списками

Помимо ошибок подсчета ссылок, в вашей функции расширения есть и другие проблемы, подробнее о них ниже:

В то время как PyList_SetItem с правильным подсчетом ссылок является предпочтительным способом, (некрасивый) вариант заключается в использовании PyList_SET_ITEM макрос, который сходит с рук при выполнении INCREF:

void PyList_SET_ITEM(PyObject *list, Py_ssize_t i, PyObject *o)

Макро форма PyList_SetItem() без проверки ошибок. Обычно это используется только для заполнения новых списков, где нет предыдущего
содержание.

Заметка

Этот макрос «крадет» ссылку на элемент, и, В отличие от PyList_SetItem(), не удаляет ссылку на любой элемент, который является
быть замененным; любая ссылка в списке в позиции i будет утечка.

Таким образом PyList_SET_ITEM не увеличивает и не уменьшает счетчики ссылок, что подходит для нас, так как элементы как изначально, так и, наконец, находятся в одном списке.

inline void _List_SwapItems(PyObject* list, Py_ssize_t i1, Py_ssize_t i2){
PyObject* tmp = PyList_GET_ITEM(list, i2);
PyList_SET_ITEM(list, i2, PyList_GET_ITEM(list, i1));
PyList_SET_ITEM(list, i1, tmp);
}

Обратите внимание, что это вообще не делает никакой проверки ошибок, поэтому вы должны убедиться, что ваш индекс находится в пределах (что for петля позаботится).

В вашем коде есть еще одна проблема, которая еще не обсуждалась — полное отсутствие проверки ошибок. Например, когда передается в объекте не из списка, вы должны поднять TypeError, Теперь код не будет работать при PyList_Size, возвращая -1 и устанавливая внутреннее исключение, это может привести к ошибочному поведению всех будущих расширений C:

также PyArg_ParseTuple может и потерпит неудачу, если будет передано неверное количество аргументов, таким образом, вы должны проверить его возвращаемое значение; в этом случае list может быть неинициализирован, и ваш код будет иметь совершенно неопределенное поведение.

Документация C-API утверждает следующее:

Когда функция должна завершиться сбоем из-за сбоя какой-либо функции,
как правило, не устанавливает индикатор ошибки; функция это называется
уже установил его. Он отвечает за обработку ошибок и
очистка исключения или возврат после очистки любых ресурсов
держит (например, ссылки на объекты или выделения памяти); это не должно
продолжайте нормально, если не готовы обработать ошибку. Если
возвращаясь из-за ошибки, важно указать вызывающему
что была установлена ​​ошибка. Если ошибка не обработана или тщательно
дополнительные вызовы в Python / C API могут не вести себя как
предназначено и может потерпеть неудачу таинственными способами.

Таким образом, вот правильный способ написания вашей функции расширения:

static PyObject* shuffle(PyObject* self, PyObject* args){
PyObject* list;
if (! PyArg_ParseTuple(args, "O", &list)) {
// PyArg_ParseTuple set the proper exception
return NULL;
}

if (! PyList_Check(list)) {
PyErr_SetString(PyExc_TypeError,
"bad argument to shuffle; list expected");
return NULL;
}

unsigned seed = std::chrono::system_clock::now().time_since_epoch().count();
std::minstd_rand0 rand(seed);

Py_ssize_t size = PyList_Size(list);
for(int i=0; i<size;++i){
int randIndex = rand()%size;
_List_SwapItems(list, randIndex, i);
}
Py_RETURN_NONE;
}