Как я оптимизирую индексирование Solr с помощью MySQL
Я использую Mysql для индексации данных в SOLR. Раньше данных было меньше, поэтому индексация происходила быстро без каких-либо задержек. Теперь мои данные содержат почти 3 миллиона строк, и запрос mysql всегда истекает, и из-за этого SOLR не может соответствующим образом индексировать данные. Есть ли способ быстро проиндексировать SOLR с помощью mysql или можно выполнить любую настройку в SOLR? Пожалуйста помоги.
Решение
Если вы не используете инкрементная / дельта-индексация, Вы должны начать делать это вместо этого. Таким образом, только строки, которые изменились с момента последнего запуска индекса, будут проиндексированы снова, что позволит вам уменьшить влияние и количество строк в MySQL.
Кроме того, JDBCDataSource (который, я думаю, вы используете) поддерживает batchSize параметр, который говорит драйверу JDBC ограничивать количество документов в каждом запросе и вместо этого выдавать более одного запроса.
Вам также следует позаботиться о том, чтобы на ваших данных были пригодные для использования индексы, если вы выполняете какую-либо фильтрацию содержимого SQL при его извлечении (например, для дельта-импорта).
Другие решения
Других решений пока нет …