Я хочу проиндексировать несколько веб-сайтов, чтобы я мог внедрить их данные в свою собственную структуру. Некоторые сайты используют такие сервисы, как bit.ly, для создания небольших URL-адресов, что очень неудобно. Я хотел бы использовать file_get_contents для получения как фактического URL, так и его содержимого.
Как бы я пошел по этому поводу?
Функция @Renaud
function get_web_page( $url ) {
$res = array();
$options = array(
CURLOPT_RETURNTRANSFER => true, // return web page
CURLOPT_HEADER => false, // do not return headers
CURLOPT_FOLLOWLOCATION => true, // follow redirects
CURLOPT_USERAGENT => "spider", // who am i
CURLOPT_AUTOREFERER => true, // set referer on redirect
CURLOPT_CONNECTTIMEOUT => 120, // timeout on connect
CURLOPT_TIMEOUT => 120, // timeout on response
CURLOPT_MAXREDIRS => 10, // stop after 10 redirects
);
$ch = curl_init( $url );
curl_setopt_array( $ch, $options );
$content = curl_exec( $ch );
$err = curl_errno( $ch );
$errmsg = curl_error( $ch );
$header = curl_getinfo( $ch );
curl_close( $ch );
$res['content'] = $content;
$res['url'] = $header['url'];
return $res;
}
print_r(get_web_page("http://google.com/"));
Других решений пока нет …