Что использует так много незафиксированных «личных данных»? на Windows Server 2003?

Итак, у меня есть нативное приложение C ++, и оно должно отслеживать множество вещей в течение длительных периодов времени. Недостаточно памяти, когда диспетчер задач говорит, что процесс достигает где-то между 800 и 1200 МБ памяти, когда предел должен быть около 2 ГБ.

Я наконец понял, что происходит, когда я запустил VMMap против моего процесса, но это только дало мне больше вопросов. Что я обнаружил:

• Общий размер (тип: итого, столбец: размер) много больше, чем то, о чем сообщали менеджер задач / проводник процессов
• Общий размер, по-видимому, равен значению, которое не может превышать 2 ГБ, прежде чем моей программе не хватит памяти
• Неопределенность использования памяти почти полностью вызвана «частными данными» — «размер» гораздо больше, чем «зафиксировано». Я видел случаи, когда было около 800 МБ подтвержденных личных данных, но «Размер» составлял около 1700 МБ.
• Самые большие блоки «Частных данных» в основном состоят из набора пар из одного небольшого субблока (обычно между 4K и 16K), который имеет защиту «чтение / запись» и полностью зафиксирован, и одного большего субблока (между 90K и 400K), которая имеет «Зарезервированную» защиту и не совершена. Это похоже на огромную трату ресурсов. И обычно есть один большой (много мегабайт) подблок в конце, который «зарезервирован» и не зафиксирован.
• У маленькой части пары обычно есть строки, которые я распознаю, в то время как у большего блока вообще нет строк.

Пример этих пар субблоков: (не мое приложение, но идея та же)
http://www.flickr.com/photos/95123032@N00/5280550393

Кажется, что, когда один блок приватных данных полностью фиксируется, выделяется новый блок (обычно такой же или в два раза больше предыдущего). Звучит справедливо. Тем не менее, я видел 3 блока, каждый размером более 100 МБ и менее 30 МБ. Мое приложение не должно вести себя так (т. Е. Использовать 400 МБ, а затем уменьшить на 300 МБ в течение нескольких часов), что это было бы возможно.

Насколько я могу судить, «Размер» — это фактический объем адресного пространства виртуальной памяти, который был выделен. «Committed» — это количество «Size», которое фактически используется (то есть через вызовы new / malloc). Если это действительно так, то почему существует такая огромная несоответствие между Size и Commited? И почему он выделяет блоки размером несколько сотен мегабайт?

Несколько странно то, что при работе в Windows 7 поведение совершенно иное. В то время как на 2003 Server приложение использует личные данные, в Windows 7 — Heap. Так … почему? Почему VMMap показывает в основном использование личных данных в 2003 году, но в основном использование кучи в 7? Какая разница? Ну, одно отличие состоит в том, что я не могу использовать кнопку «Распределение кучи …» в VMMap, чтобы увидеть, где размещаются все эти частные данные.

Я начинал задаваться вопросом, не вызывало ли это чрезмерное использование std :: string, так как строки, которые я распознал в парах (упомянутых выше), в основном состояли из строк, хранящихся в std :: string, которые часто создавались и уничтожались (подразумевая много распределения / освобождения памяти). Я преобразовал все, что мог, чтобы использовать массивы символов или память из пула памяти, но это, похоже, не дало результата. Все другие мои новые / часто удаляемые объекты уже имеют свои собственные пулы памяти.

Я также узнал о низкой куче фрагментации, поэтому я попытался включить это, но это также не имело значения. Я думаю, это потому, что Windows 2003 на самом деле не использует кучу. VMMap показывает, что куча с низкой фрагментацией включена, но поскольку она на самом деле не используется (то есть вместо этого она использует личные данные), на самом деле это не имеет значения.

На самом деле кажется, что эти пары субблоков фрагментируют большие блоки Private Data, что заставляет ОС выделять новые блоки. В конце концов, фрагментация становится настолько плохой, что, несмотря на то, что есть много свободного места, ни один из них, кажется, не может быть использован, и процессу не хватает памяти.

Итак, мои вопросы:

1. Почему Windows Server 2003 использует личные данные вместо кучи? Это имеет значение?
   Есть ли способ заставить Windows Server 2003 использовать память кучи вместо?
   Если так, это улучшит мою ситуацию вообще?
2. Есть ли способ контролировать распределение личных данных распределителем памяти ОС?
3. Можно ли создать свою собственную пользовательскую кучу и выделить из нее (не изменяя большую часть моей кодовой базы), и может ли это улучшить мою ситуацию? Я знаю, что можно создавать пользовательские кучи, но, насколько я могу судить, вам нужно явно выделять из пользовательской кучи вместо того, чтобы просто вызывать новый или просто использовать контейнеры STL в обычном режиме.
4. Я что-то пропустил или стоило бы попробовать?