Простые в использовании и изучении инструменты для работы с большими данными

Я пытаюсь описать текущую ситуацию, поэтому мне будет проще.
Я за финансовую команду веб-страницы. В рамках этого проекта много данных в нескольких базах данных. И финансовая команда, конечно, хочет следить за тем, что происходит, когда и почему. Им нужны разные отчеты обо всем. Для этого несколько лет назад мы создали новую БД Mysql, предназначенную для отчетности, и мы синхронизируем там необходимые данные.
В этой БД создаются денормализованные таблицы, предназначенные для конкретных отчетов, в которых данные агрегируются по разным полям. Мы должны сделать это, потому что запуск агрегации на лету безумно медленен из-за объема данных (десятки или сотни миллионов строк) и сложности агрегации (иногда группировка по 4-5 столбцам) и различных фильтров. ,

Что очень больно, так это то, что всякий раз, когда финансовая команда нуждается в новой диаграмме или отчете, в большинстве случаев нам нужно создать новую таблицу и заполнить ее и т. Д. Это уже вредит, но иногда они приходят с совершенно законными требованиями, что мы не можем удовлетворить.

Я думаю, было бы возможно использовать какой-либо инструмент для больших данных или OLAP для этой цели, что мы можем легко внедрить в нашу систему, чтобы заменить нашу текущую БД MySQL.

Проект написан на PHP, и мы используем Amazon Services для размещения всего.

-1

Решение

Я бы посоветовал взглянуть на imply.io / druid.io (imply.io — это установка пакетов аналитики, построенная на druid.io).

Мы только начали его использовать, и в проекте, в котором я его использовал, это было здорово. Проект объединяет финансовые транзакции из нескольких источников и позволяет отчитываться о них. Я создал инструмент отчетности на основе Pivot (еще одна часть пакета imply.io), и он в значительной степени позволяет нетехническим пользователям быстро создавать любые отчеты, которые им нужны, с минимальным обучением / документацией.

2

Другие решения

Других решений пока нет …

По вопросам рекламы ammmcru@yandex.ru
Adblock
detector