php根据URL获得网页内容

php 中根据url来获得网页内容非常的方便，可以通过系统内置函数file_get_contents(),传入url,即可返回网页的内容，比如获得百度首页的内容代码为：

<?php
$html = file_get_contents('http://www.baidu.com/');echo $html;

就可以显示出百度首页的内容，但是，这个函数不是万能的，因为有些服务器会禁用掉这个函数，或者说这个函数因为没有传给服务器某些必要的参数，而被服务器拒绝响应，举个例子：

<?php
$html = file_get_contents('http://www.163.com/');echo $html;

这个代码就不能得到网易的首页完全的代码，会返回如下的页面，这时我们就需要想其他的办法了。

这里我们引入php的cURL 库，可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库。使用它首先你得在php的配置文件中开启它，开启的时候,在windows中可能需要一些 dll,这里就不相信介绍了，查看是否开启了curl,可以调用phpinfo()；来查看，如果开启了，会在“Loaded Extensions”中显示。

下面给出使用curl获取网页代码的简单例子：

<?php
$ch = curl_init();
$timeout = 10; // set to zero for no timeout
curl_setopt ($ch, CURLOPT_URL,'http://www.163.com/');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$html = curl_exec($ch);
echo $html;

通过这段代码就可以输出网易首页的内容了，这里CURLOPT_USERAGENT是关键，因为他模拟了浏览器的agent,这样服务器就会以为它是浏览器去访问的，所以给他返回正确的html.

php根据URL获得网页内容相关推荐

python爬虫如何从一个页面进入另一个页面-Python爬虫怎么获取下一页的URL和网页内容？...
用BeautifulSoup爬取了第一页的内容,但是不知道剩下的页面怎么爬. 首页链接是长这样的: http://gdemba.gicp.net:82/interunit/ListMain.asp?F ...
php从网页获得数据,php根据URL获得网页内容
php 中根据url来获得网页内容非常的方便,可以通过系统内置函数file_get_contents(),传入url,即可返回网页的内容,比如获得百度首页的内容代码为: $html = file_ge ...
java通过url获取网页内容_Java语言通过URL读取网页数据并保存到本地文件（代码实例）...
本文主要向大家介绍了Java语言通过URL读取网页数据并保存到本地文件(代码实例),通过具体的内容向大家展示,希望对大家学习JAVA语言有所帮助. Java通过URL读取网页数据并保存到本地文件(代码 ...
python beautifulsoup抓取网页内容_利用Python和Beautiful Soup抓取网页内容
利用Python和Beautiful Soup抓取网页内容 Posted on 2012-08-09 00:08 SamWei 阅读(381) 评论(1) 编辑收藏 Python 3中提供了url打 ...
php偷取,PHP偷取UTF-8目标网页内容输出为空白
利用PHP中的file_get_contents(URL)函数实现偷取网页正文内容的时候,将偷取过来的UTF-8网页内容进行转码后输出,直接输出可以看到偷取后的内容.可有时我们有时也会遇到在输出偷取过 ...
局部页面切换url为什么不变_python爬虫 - 翻页url不变网页的爬虫探究
python爬虫-翻页url不变网页的爬虫探究 url随着翻页改变的爬虫已经有非常多教程啦,这里主要记录一下我对翻页url不变网页的探究过程.学术菜鸡第一次写CSDN,请大家多多包容- 如果对你有一点 ...
局部页面切换url为什么不变_python爬虫 - 翻页url不变网页的爬虫探究！
python爬虫-翻页url不变网页的爬虫探究 url随着翻页改变的爬虫已经有非常多教程啦,这里主要记录一下我对翻页url不变网页的探究过程.学术菜鸡第一次写CSDN,请大家多多包容- 如果对你有一点 ...
## 应用Python爬虫、Flask框架、Echarts、WordCloud等技术实现豆瓣Top250数据分析
1.爬取豆瓣Top250信息,例如名称,评分,评价数,概况等 https://movie.douban.com/top250 2.url分析: https://movie.douban.com/top ...
php file_get_contents 临时目录 fopen,php fopen()和file_get_contents() 区别介绍
php中读取文件可以使用fopen和file_get_contents这两个函数,二者之间没有本质区别,只是前者读取文件的php代码相比后者要复杂一点.本文章通过实例向大家讲解fopen和file_g ...

php根据URL获得网页内容

php根据URL获得网页内容相关推荐

最新文章

热门文章