Я работаю в приложении, где Sendgrid интегрирован для почтового журнала. Работает нормально, но мы застряли с одной большой проблемой.
ЖУРНАЛ СОБЫТИЙ
Sendgrid предоставляет секцию Activity, которая невероятно полезна, но не имеет API для извлечения данных из нее.
Перепробовал множество способов получить его, но единственное решение — это подключить веб-хук и сохранить события в моей собственной базе данных.
https://sendgrid.com/docs/Classroom/Track/Collecting_Data/can_i_download_a_list_of_click_and_or_open_events.html
После того, как у меня не было другого выбора, я создал конечную точку в своем приложении, которая получает опубликованные события и сохраняет их в базе данных.
Теперь проблема заключается в том, что у приложения тысячи подписчиков (более 60 тыс. И более), и если я получаю события (запросы, открытые, нажатые, разные) в мое приложение, трафик выходит из-под контроля и память заполняется.
60 тыс. Пользователей X 4 (или 5) события (на пользователя) = 300 тыс. Записей.
Каждую неделю 3 журнала, 300 тыс. Записей X 3 = 900 тыс. Записей в неделю
Недавняя проблема: файл ibdata1 стал 98 ГБ для моего 1 ТБ сервера, который закрывает сайт.
Где я делаю не так? Это в конфигурации MySQL или архитектурной проблеме?
Задача ещё не решена.
Других решений пока нет …