Как пройти таблицу 35 миллионов строк — Mysql

Question

Как пройти таблицу 35 миллионов строк — Mysql

У меня действительно большая таблица mysql, в которой хранятся домены и субдомены. И его создать синтаксис, как показано ниже

CREATE TABLE `domain` (
`domain_id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`domain_name` varchar(255) COLLATE utf8_turkish_ci NOT NULL,
PRIMARY KEY (`domain_id`),
UNIQUE KEY `dn` (`domain_name`),
KEY `ind_domain_name` (`domain_name`)
) ENGINE=InnoDB AUTO_INCREMENT=78364364 DEFAULT CHARSET=utf8 COLLATE=utf8_turkish_ci;

и он хранит такие значения, как

domain_id | domain_name

1         | a.example.com

2         | b.example.com

3         | example.com

4         | facebook.com

5         | a.facebook.com

6         | google.com

Я хочу найти субдомены любого верхнего домена, а затем сопоставлю субдомены с его «родительским доменом».

например, a.example.com и b.example.com являются поддоменами example.com, поэтому в моем новом столбце с именем parent_domain_id я установлю example_id domain_id. (если домен является верхним доменом, его parent_domain_id будет 0)

Я работаю с PHP и MySQL, и моя машина имеет 8 ГБ оперативной памяти, поэтому у меня есть некоторые ограничения устройства. Есть ли хитрость в проверке огромного набора данных строка за строкой с помощью PHP?

1

bigdata mysql php

Решение

Другие решения

Других решений пока нет …

Источник

Accepted Answer

РЕДАКТИРОВАТЬ: для большинства доменных имен это должно работать.

Вы можете получить отсортированный список, который содержит все домены (до фиксированной длины), упорядоченные по доменам и увеличивающиеся по длине.

Я бы начал с комментария @RyanVincent.

select domain_id, domain_name, reverse(domain_name) as reversed
from domain
order by
rpad(reverse(domain_name),130,' '),
length(domain_name),
reverse(domain_name),
domain_id

Цель состоит в том, чтобы иметь возможность сортировать строку за строкой по длине, а затем по алфавиту.

Ваш пример даст

        google.com -> moc.elgoog,
a.google.com -> moc.elgoog.a
xy.a.google.com -> moc.elgoog.a.yx
b.google.com -> moc.elgoog.a

В php:

  $currentDomains = array();
/*
array domainpart => id
moc     => 0
elgoog  => id of google.com as long as we are in subdomains of google.com
a       => id of a.google.com as long as we are in subdomains of a.google.com

this gets never longer then the number of domainparts, so usually a very
short array!
*/

$sql = "select domain_id, domain_name, reverse(domain_name) as reversed\n". " from domain \n". " order by  \n". " rpad(reverse(domain_name),130,' '), \n". " length(domain_name), \n". " reverse(domain_name),  \n". " domain_id";

doSelect($sql);

while($row = getRow()){
$parts = preg_split('/\./', $row["reversed"]);
# print("parts = \n");print_r($parts);
$rid = $row["domain_id"];

$matchedDomains = array();
$parentId = $rid; // if no parent, show to yourself

$i = 0;
// 1. match identical parts
//     php is funny, the array is a key=>value but with
//     foreach it restores the key-values in the inserted order.
foreach($currentDomains as $name => $cid){
# print("> check $i '$name' '{$parts[$i]}'\n");
if($parts[$i] == $name){
$matchedDomains[$name] = $cid;
if($cid > 0){
$parentId = $cid;
}
$i++;
}
else{
break;
}
}
// 2.
// new parts
while ($i < count($parts)-1){
# print("> store '{$parts[$i]}' \n");
$matchedDomains[$parts[$i]] = 0; // no row matches those
$i++;
}
$matchedDomains[$parts[count($parts)-1]] = $rid;
$currentDomains = $matchedDomains;
print(" update domain set parent_id = $parentId where id = $rid\n"); // use PDO
}

Таким образом, google.com является собственным родительским доменом, a.google.com имеет google.com в качестве родительского домена и так далее.

0