Как быстрее Mysql Вставить с нуля?
я загружаю файл CSV через PHP и вставляю во временную таблицу, это то, что мой скрипт загрузки PHP и MySQL запрос.
$i=0;
while (($data = fgetcsv($source, 1000, ",")) !== FALSE)
{
if($i!=0) {
$column1=$data[0];
$column2=$data[1];
$column3=$data[2];
$column4=$data[3];
$column5=$data[4];
$column6=$data[5];
$query= "INSERT INTO temp_table(column1,column2,column3,column4,column5,column6,load_datetime)
VALUES (nullif('$column1',''), nullif('$column2',''), nullif('$column3',''), nullif('$column4',''), nullif('$column5',''), nullif('$column6',''),now())";
mysql_query($query) or die(mysql_error());
}
$i++;
}
и мой CSV-файл имеет 25000 записей,
это пример строки из моего CSV
column1,column2,column3,column4,column5,column6
,,,13:57:18,,23:00:19
проблема, с которой я сталкиваюсь, это более чем 10 минут, когда я загружаю CSV и между страницами становится пустым.
Мои настройки PHP: upload_max_filesize: 100M post_max_size: 100M max_execution_time: 1000 max_input_time: 1000.
это моя таблица подробно
CREATE TABLE temp_table (
id int(11) NOT NULL,
column1 time DEFAULT NULL,
column2 time DEFAULT NULL,
column3 time DEFAULT NULL,
column4 time DEFAULT NULL,
column5 time DEFAULT NULL,
column6 time DEFAULT NULL,
load_datetime datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
и когда я проверяю temp_table, он вставил около 8000 записей. Пожалуйста, помогите мне с подходом, чтобы вставить быстрее.
Решение
Я бы порекомендовал вам прекратить использовать расширение mysql (mysql_ *)
и начать использовать MySQLi или же PDO.
Попробуйте сгруппировать данные нескольких строк в один запрос.
Пример:
$i = 0;
$i2 = 0;
$sql = "INSERT INTO temp_table(column1,column2,column3,column4,column5,column6,load_datetime) VALUES ";
$values = [];
while (($data = fgetcsv($source, 1000, ",")) !== FALSE) {
if(++$i == 1)
continue;
else {
$data = array_map(function($item) {
return $item == '' ? 'NULL' : "'$item'";
}, $data);
$values[] = "(" . implode(", ", $data) . ', now()' . ")";
if (++$i2 == 500) {
mysql_query ($sql . implode(', ', $values)) or die(mysql_error());
$values = [];
$i2 = 0;
}
}
}
if (!empty($values)) {
mysql_query ($sql . implode(', ', $values)) or die(mysql_error());
$values = [];
}
Другие решения
Я думаю, что это занимает время в сценарии PHP. Попробуйте приведенный ниже код и дайте мне знать, насколько он улучшен, а также вы можете группировать от 50 до 100 записей одновременно.
while (($data = fgetcsv($source, 1000, ",")) !== FALSE)
{
if($i!=0)
{
$query= "INSERT INTO temp_table(column1,column2,column3,column4,column5,column6,load_datetime)
VALUES (nullif('$data[0]',''), nullif('$data[1]',''), nullif('$data[2]',''), nullif('$data[3]',''), nullif('$data[4]',''), nullif('$data[5]',''),now())";
mysql_query($query) or die(mysql_error());
}
$i++;
}