Как легко настроить Hadoop для большой таблицы MySQL
Я делаю свою студенческую работу. Пожалуйста, помогите мне понять, в каком направлении мне двигаться.
Итак, у меня есть большая база данных MySQL (31,3 ГБ, 130 миллионов строк) на моем ПК. Я написал простую HTML-страницу (интерфейс для моей программы). Я использую PHP для подключения к моей базе данных, AJAX для асинхронного получения данных с сервера и OpenServer (локальный сервер для тестирования).
Как это работает: пользователь выбирает несколько фильтров на моей html-странице, нажимает кнопку поиска и отображает основную таблицу.
Все работает хорошо, но что я должен использовать, чтобы подключить мой проект к Hadoop? Это обязательное требование.
Может быть, HortonWorks / Cloudera / Docker?
Будет очень полезно, если вы отправите ссылки на некоторые полезные руководства.
Основной критерий прост в настройке и установке. Кроме того, у меня на ноутбуке всего 4 ГБ ОЗУ, поэтому, скорее всего, мне придется использовать старые версии инструментов. HortonWorks 2.1 был успешно установлен даже на моей виртуальной машине (Ubuntu 14.04)
Заранее всем спасибо за помощь!
Решение
Ты можешь использовать Sqoop import отправить данные из MySQL в улей.
Затем вы можете запросить через HiveServer2.
Для получения Hadoop и других компонентов лучше всего использовать HDP или же CDH песочница. Если ресурсы вашего компьютера не позволяют использовать песочницу, рассмотрите возможность использования AWS.
Получив данные в Hive, вы можете указать приложению запрашивать Hive и предоставлять результаты, а не переходить на MySQL.
Другие решения
Других решений пока нет …