distcc как фреймворк для Windows
Мы выполняем некоторые тяжелые вычисления, которые могут занять много времени (даже дней). У нас есть архитектура, аналогичная архитектуре компилятора (компилятор + компоновщик):
- много блоков данных, которые должны быть вычислены (они вычисляются solver.exe исполняемый) — похож на компилятор
- приложение-сборщик, которое объединяет все результаты в окончательную форму — аналогично линкер
Я видел, что DistCC делает распределение по сети довольно красиво. К сожалению, distcc работает в среде Unix.
Есть ли платформа, которая может обеспечить что-то похожее на то, что делает distcc, но на платформе Windows (7+)?
ПОСЛЕДНЕЕ РЕДАКТИРОВАНИЕ: Добавлен тег C ++, потому что, если такая структура существует, мы извлечем пользу из нашего опыта программирования на C ++.
Решение
Я не знаю каких-либо бесплатных / открытых решений для Windows, но есть два коммерческих предложения, которые могут помочь:
ElectricAccelerator от электрического облака. ElectricAccelerator изначально был разработан для ускорения сборки программного обеспечения, но может распределять произвольные процессы по сети компьютеров для параллельного выполнения. Исходя из того, что вы сказали, использовать акселератор для ваших нужд должно быть просто. Он доступен как в Linux, так и в Windows.
Xoreax Incredibuild Первоначально он также был разработан для ускорения сборки программного обеспечения, но, как и Accelerator, Incredibuild может распространять произвольные процессы. Он доступен только в Windows.
Отказ от ответственности: я архитектор ElectricAccelerator
Другие решения
FastBuild является бесплатным и открытым исходным кодом. Он доступен для Windows / Linux / OSX. Он имеет свой собственный язык для сборки конфигурационных файлов. Вы можете настроить рабочих в локальной сети и клиента, который подключается к рабочим и доставляет им работу. FastBuild работает для C ++ и, вероятно, должен работать для любого языка, так как вы можете настроить любой исполняемый файл компилятора и зависимости (компилятор распространяется среди рабочих, поэтому вам не нужно устанавливать компилятор на каждой машине). Единственный недостаток, который я обнаружил, заключается в том, что для того, чтобы связать рабочих с клиентами, вам нужно настроить сетевой ресурс Windows с доступной для записи папкой, я думаю, что это очень неудобный способ настройки кластера сборки, лучше было бы написать конфигурацию со списком серверов, возможно, это будет исправлено в будущем. Кроме того, кластер FastBuild может быть запущен только в локальной сети, было бы замечательно, если бы можно было настроить множество компьютеров, хотя интернет, это не должно быть сложно реализовать, также интернет-соединение должно быть зашифровано для защиты секретных источников.