Импорт большого CSV-файла в зависимые таблицы MySQL с использованием PHP с проверкой дубликатов

Я читаю около 50000 строк .csv и создаю запрос вставки. В значениях запроса вставки есть одно динамическое значение. Это из SELECT, если существует, или INSERT, если нет, и получить вставленный идентификатор. Это просто цель тестирования, просто игнорируйте отсутствие безопасности.

$multiquery = "";
$lines = file($furl);

foreach ($lines as $line_num => $line) {
if (($line_num + 1) % 1000 == 0) {
include('connection.php');
}

$cols = split(';', $line);

$originid = 1;
$dest = $cols[3];
$cost = (int)$cols[5];

// === start: consume a lot of connections ===
$query = "SELECT id FROM dests WHERE name = '$dest'";
if (!$dests = mysqli_query($link, $query)) {
die(json_encode(array("errmsg" => "Selecting existing shipdest. Error: ".mysqli_error($link))));
}
if (mysqli_num_rows($dests) > 0) {
$dest = mysqli_fetch_assoc($dests);
}
else {
$query = "INSERT INTO dests (name) VALUES ('$dest')";
if (!mysqli_query($link, $query)) {
die(json_encode(array("errmsg" => "Inserting new dest.")));
}

$dest['id'] = mysqli_insert_id($link);
}
// === end: consume a lot of connections ===

$multiquery .= "INSERT INTO packages (id_origin, id_dest, cost) VALUES ($originid, ".$dest['id'].", ".$cost."); ";

if (($line_num + 1) % 1000 == 0 && !mysqli_multi_query($link, $multiquery)) {
die(json_encode(array("errmsg" => "Failed at line ".$line_num)));
}
}

Как объединить этот блок PHP как значение id_dest в $ multiquery?

0

Решение

Я в конечном итоге с этим кодом:

ini_set('max_execution_time', 900); // 15 minutes

$lines = file($furl);

$multiquery = "";
foreach ($lines as $line_num => $line) {
$cols = split(';', $line);
$dest = $cols[3];

$multiquery .= "INSERT IGNORE INTO dests (name) VALUES ('$dest'); ";

if (($line_num + 1) % 1000 == 0) {
include('connection.php');
if (!mysqli_multi_query($link, $multiquery)) {
die(json_encode(array("errmsg" => "Failed at line ".$line_num." Error: ".mysqli_error($link))));
}
$multiquery = "";
}
}
include('connection.php');
if (!mysqli_multi_query($link, $multiquery)) {
die(json_encode(array("errmsg" => "Failed at line ".$line_num." Error: ".mysqli_error($link))));
}

$multiquery = "";
foreach ($lines as $line_num => $line) {
$cols = split(';', $line);

$originid = 1;
$dest = $cols[3];
$cost = (int)$cols[5];

$multiquery .= "INSERT INTO packages (id_origin, id_dest, cost) VALUES ($originid, (SELECT id FROM dests WHERE name = '$dest'), ".$cost."); ";

include('connection.php');
if (!mysqli_multi_query($link, $multiquery)) {
die(json_encode(array("errmsg" => "Failed at line ".$line_num." Error: ".mysqli_error($link))));
}
$multiquery = "";
}
include('connection.php');
if (!mysqli_multi_query($link, $multiquery)) {
die(json_encode(array("errmsg" => "Failed at line ".$line_num." Error: ".mysqli_error($link))));
}
-1

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]