Мы отправляем emr рабочие шаги (Hive) через emr CLI. Мне нужно получить журналы приложений во время выполнения задания куста, которые доступны на главном узле EM /mnt/var/log/hive/user/hadoop/hive.log из PHP, чтобы мы могли отображать состояние выполнения задания на PHP веб-консоль.
Мы можем извлечь журналы из s3 после завершения задания, но они снова являются stdOut и stdErr, а не журналами приложения. Не могли бы вы помочь мне понять, как я могу подключиться к главному узлу EMR (настроить ssh-прокси) из PHP и получить эти журналы.
Обратите внимание, что я получаю публичный IP-адрес главного узла EMR из описаний-шагов api.
Задача ещё не решена.
Других решений пока нет …