мерзавцы разные каталоги между ветками

Я борюсь со следующей ситуацией:

Существует один каталог с двумя ветвями: master и L5.4
мастер использует Laravel 5.3, L5.4 использует Laravel 5.4

Основным отличием является источник Laravel (в директории vendor) для версий 5.3 и 5.4, то есть для основной ветки я должен был бы использовать vendor / laravel (5.3), а для ветви L5.4 это будет vendor / laravel (5.4 ).
Но на самом деле я не могу установить обе версии в каталоге vendor, так как я могу справиться с этим?
Может ли быть так, что это возможно только при использовании двух разных каталогов для обоих brnaches (как это было бы, например, при использовании svn) или есть другая возможность справиться с этим?