vsinstr.exe обеспечил большую исполняемую производительность
Я хотел бы использовать инструмент Visual Studio vsinstr.exe для инструментирования неуправляемого исполняемого файла c ++ (устаревшее приложение). Это очень большой проект, и с его помощью можно сопоставить огромный контент для автоматизации тестирования с реальным кодом, чтобы определить, какие тестовые случаи затрагиваются при внесении изменений в кодовую базу.
Однако я обеспокоен производительностью такого инструментированного исполняемого файла, потому что нам в основном нужно запускать весь контент автоматизации тестирования, чтобы получить данные покрытия (или обновить его при изменении кода), и это будет выполняться каждую ночь. Чтобы получить картину, автоматизация тестирования может занять 10 часов (тесты с GUI, никаких модульных тестов из-за устаревшей архитектуры)
Кто-нибудь имеет реальный опыт в отношении производительности инструментальных исполняемых файлов?
Решение
Я понимаю, что этот вопрос становится длинным (стареющим), поэтому мой ответ предназначен для других пользователей, которые сталкиваются с этим вопросом.
Исходя из моего реального опыта, инструментальные двоичные файлы работают значительно медленнее, часто на несколько порядков. Тем не менее, я только инструментировал управляемые двоичные файлы и ОП специально указывал неуправляемый C ++, поэтому «ваш пробег может отличаться».
Мое предложение состояло бы в том, чтобы выполнить подмножество тестов, которые занимают 2-3 минуты. Выполните это подмножество 3 раза и усредните фактические результаты времени выполнения. Затем измерьте двоичные файлы и проведите те же тесты 3 раза и вычислите среднее значение. Меньшее количество тестов и данные могут быть искажены из-за инициализации приложения. Больше тестов, и вы МОЖЕТЕ в конечном итоге ждать час для каждого инструментированного теста.
Другие решения
Других решений пока нет …