Потоковая передача Hadoop c ++ getTaskId
Я пытался найти способ получить (или передать) taskId моему мапперу в c ++. Я использую потоковую передачу hadoop. Пока я только что понял, как получить его на Java. Мне нужен идентификатор задачи, потому что я пытаюсь записать файл в HDFS, я использую libhdfs c, но когда я пытаюсь добавить его одновременно, происходит сбой из-за аренды. В противном случае мне придется изменить весь мой код на Java.
Спасибо за внимание.
Решение
Я подумал, что вместо использования потоковой передачи Hadoop я мог бы использовать Hadoop Pipes для получения taskID. Однако я не смог печатать в HDFS, поэтому я изменил свой InputFormat / RecordReader и использовал ключ, полученный в маппере, для создания файлов с разными именами.
Другие решения