curl — очистить данные всех обзоров trustpilot

Question

curl — очистить данные всех обзоров trustpilot

<?php
for ($x = 0; $x <= 25; $x++) {

$ch = curl_init("https://uk.trustpilot.com/review/example.com?languages=all&page=$x");
//curl_setopt($ch, CURLOPT_POST, true);
//curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
//curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);
curl_setopt($ch, CURLOPT_TIMEOUT, 30); //timeout in seconds
$trustpilot = curl_exec($ch);

// Check if any errorccurred
if(curl_errno($ch))
{
die('Fatal Error Occoured');
}

}
?>

Этот код получит все 25 страниц обзоров для example.com, после чего я хочу поместить все результаты в массив JSON или что-то в этом роде.

Я попытался код ниже, чтобы, возможно, получить все имена:

<?php
$trustpilot = preg_replace('/\s+/', '', $trustpilot); //This replaces any spaces with no spaces
$first = explode( '"name":"' , $trustpilot );
$second = explode('"' , $first[1] );
$result = preg_replace('/[^a-zA-Z0-9-.*_]/', '', $second[0]);    //Don't allow special characters

?>

Это явно намного сложнее, чем я ожидал, кто-нибудь знает, как я мог бы получить все отзывы в JSON или что-то еще для скольких страниц, которые я выбрал, например, в этом случае я выбираю обзоры на 25 страниц.

Спасибо!

-3

curl php trustpilot web-scraping

Решение

Другие решения

Обратите внимание, что очистка данных с trustpilot.com запрещена из-за условий 3.3 и 3.5 условий Trustpilot:
https://legal.trustpilot.com/end-user-terms-and-conditions

1

Источник

Accepted Answer

не разбирайте HTML с регулярным выражением

использовать DOMDocument & DOMXPath для парсинга их. Кроме того, вы создаете новый дескриптор скручивания для каждой страницы, но никогда не закрываете их, что является утечкой ресурсов / памяти в вашем коде, а также пустой тратой процессора, потому что вы мог просто продолжайте многократно повторять использование одного и того же дескриптора скручивания (вместо создания нового дескриптора скручивания для каждой страницы, который занимает процессор) и protip: этот HTML-сжатие довольно хорошо, поэтому вы должны использовать CURLOPT_ENCODING для загрузки сжатых страниц,
например:

<?php
declare(strict_types = 1);
header("Content-Type: text/plain;charset=utf-8");
$ch = curl_init();
curl_setopt($ch, CURLOPT_ENCODING, ''); // enables compression
$reviews = [];
for ($x = 0; $x <= 25; $x ++) {
curl_setopt($ch, CURLOPT_URL, "https://uk.trustpilot.com/review/example.com?languages=all&page=$x");
// curl_setopt($ch, CURLOPT_POST, true);
// curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
// curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);
curl_setopt($ch, CURLOPT_TIMEOUT, 30); // timeout in seconds
$trustpilot = curl_exec($ch);

// Check if any errorccurred
if (curl_errno($ch)) {
die('fatal error: curl_exec failed, ' . curl_errno($ch) . ": " . curl_error($ch));
}
$domd = @DOMDocument::loadHTML($trustpilot);
$xp = new DOMXPath($domd);
foreach ($xp->query("//article[@class='review-card']") as $review) {
$id = $review->getAttribute("id");
$reviewer = $xp->query(".//*[@class='content-section__consumer-info']", $review)->item(0)->textContent;
$stars = $xp->query('.//div[contains(@class,"star-item")]', $review)->length;
$title = $xp->query('.//*[@class="review-info__body__title"]', $review)->item(0)->textContent;
$text = $xp->query('.//*[@class="review-info__body__text"]', $review)->item(0)->textContent;
$reviews[$id] = array(
'reviewer' => mytrim($reviewer),
'stars' => ($stars),
'title' => mytrim($title),
'text' => mytrim($text)
);
}
}
curl_close($ch);
echo json_encode($reviews, JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_NUMERIC_CHECK);


function mytrim(string $text): string
{
return preg_replace("/\s+/", " ", trim($text));
}

выход:

{
"4d6bbf8a0000640002080bc2": {
"reviewer": "Clement Skau Århus, DK, 3 reviews",
"stars": 5,
"title": "Godt fundet på!",
"text": "Det er rigtig fint gjort at lave et example domain. :)"}
}

потому что есть только 1 обзор для URL, который вы перечислили. а также 4d6bbf8a0000640002080bc2 является внутренним идентификатором веб-сайта (вероятно, идентификатором sql db) для этого обзора.

1