PHP获取网页所有连接的方法-华尔子博-奥夏网

PHP获取网页所有连接的方法。具体如下：

function getHtml($url, $charset='utf-8')

{

$curl = curl_init();

//curl_setopt($curl, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:192.168.168.1', 'CLIENT-IP:192.168.168.1'));//IP

curl_setopt($curl, CURLOPT_URL, $url);

curl_setopt($curl, CURLOPT_REFERER, ""); //来路

$user_agent = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31';

curl_setopt($curl, CURLOPT_USERAGENT, $user_agent);

// 只需返回HTTP header

// curl_setopt($curl, CURLOPT_HEADER, 1);

// 页面内容我们并不需要

// curl_setopt($curl, CURLOPT_NOBODY, 1);

// 返回结果，而不是输出它

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$html = curl_exec($curl);

//$info = curl_getinfo($curl);

//echo var_dump($info);

if ($html === false) {

//echo "cURL Error: " . curl_error($ch);

return '';

}

curl_close($curl);

if ($charset != 'utf-8')

{

$html = iconv($charset, "UTF-8", $html);

}

return $html;

}

header("Content-type: text/html; charset=utf-8");

include('simple_html_dom.php');

// 要打开 extension=php_mbstring.dll

//$url = 'http://www.baidu.com/s?wd=kaka';

$url = 'http://www.163.com/';

$str_html = getHtml($url, 'gbk');

$html = str_get_html($str_html);

$links = $html->find('a');

foreach($links as $link)

{

$txt = trim($link->plaintext);

echo $link->href . '[' . $txt . ']<br>';

}

$html = null;

本文刊载的所有内容，包括文字、图片、音频、视频、软件、程序、以及网页版式设计等部门来源于互联网，版权均归原作者所有！本网站提供的内容服务于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。
联系信息：邮箱aoxolcom@163.com或见网站底部。

THE END