Hadoop mapreduce, используя 2 картографа и 1 редуктор, используя переполнение стека
Следуя инструкциям на эта ссылка, Я реализовал программу Wordcount в C ++, используя один маппер и один редуктор. Теперь мне нужно использовать два картографа и один редуктор для той же проблемы.
Может кто-нибудь помочь мне, пожалуйста, в этом отношении?
Решение
Количество картографов зависит от количества созданных входных разбиений. Количество входных разбиений зависит от размера входных данных, размера блока, количества входных файлов (каждый входной файл создает хотя бы одно входное разделение), являются ли входные файлы разделяемыми или нет, и т. Д. См. Также этот пост в ТАК.
Вы можете установить количество редукторов на любое количество. Я думаю, что в трубочках Hadoop вы можете сделать это, установив -D mapred.reduce.tasks=... при запуске hadoop. Увидеть этот пост в ТАК.
Если вы хотите быстро проверить, как ваша программа работает с более чем одним сопоставителем, вы можете просто поместить новый файл в путь ввода. Это заставит hadoop создать еще одно входное разбиение и, следовательно, другую задачу карты.
PS: ссылка, которую вы предоставляете, недоступна.
Другие решения