PHP 抓取接口和网页（爬取方式）

2024-05-08 07:26:19

接口有两类:
1、 PHP 接口 类与类之间的接口，对象接口（interface）
2、 PHP API 给小程序、APP使用的接口,还可以给其他平台的PHP使用，也可以给其他语言使用：py、Java（Application Programming Interface）

接口相当于一个中转的东西，不特指函数或类，也可以是通过使用接口可以完成一些事情，如：拿到其他平台的数据、使用某种功能
接口就是返回值不同(结果)：
1、 return 如：$a=time(); echo $a; 在页面看不到值，就算调用它，也看不到值，必须自己打印
2、 echo json_encode() 这个直接输出json格式的数据，数据也可以保存，但通常是打印出来

第一种接口已经学过了，在做任务分布，一个项目多个人，做一些接口，调动两个人的数据。让两个程序员做的合起来。

自己用PHP写接口可以通过 curl() 方法，然后开发者要 遵守我们的规则 来调用这个方法(接口)，如：请求的方式（GET、POST）、参数

通过curl()获取第三方接口数据

小程序调用第三方接口可以通过：
1、直接调用第三方接口。
2、先PHP拿到第三方接口的数据，小程序再通过自己写的PHP接口拿到数据，这样做的好处是：小程序上线后，如果第三方接口有改动，直接改我们的PHP，而不用把小程序下线改动后再提交。

没有返回值的接口不是好接口，好接口有两个方面：
1、返回结果要整齐（1：code；2：msg；3：结果数据）
2、有接口文档（包含参数信息）

通过curl()爬取网页数据

网页抓取，我们拿新闻做案例：news.cyol.com
新闻网站，我们一般不抓取热门(首页新闻)，只会抓取分类和新闻列表，新闻内容
很多网站也是这样，比如淘宝网站，我们不可能抓取首页上的商品
一般抓取大批量且有规律的（排版，样式一样），没有规则的，抓取后，无法批量处理。而且推荐的商品，在列表里也会有这条商品的。

第一步：找寻新闻分类接口、或新闻分类规则（第三方接口是加密，这里的寻找接口是不加密的）

PHP 抓取接口和网页（爬取方式）相关推荐

第二十八篇网页实战之静态网页爬取，四大案例，小说，书，图片等抓取操作
心得:不知道从什么时候开始,喜欢上了思考,完全可以把自己沉浸在自己的程序中,看着自己一点点的累积,慢慢的成长,证明这一天没有白白浪费掉,感谢还在认真的你. 自己在学习过程中总结出来的爬虫的过程: 1. ...
通过交互式网页爬取，抓取天猫商品价格
通过交互式网页爬取,抓取天猫商品价格. 方式:模拟点击颜色分类,然后读取定价参考(1):http://www.cnblogs.com/xinzhyu/p/4214669.html 主要利用Caspe ...
java爬虫的2种爬取方式（HTTP||Socket）简单Demo(一)
转载自 java爬虫的2种爬取方式(HTTP||Socket)简单Demo(一) 最近在找java的小项目自己写着玩,但是找不到合适的,于是写开始学一点爬虫,自己也是感觉爬虫比较有趣.这里自己找了一个 ...
Python 单网页爬取
目录任务描述相关知识网络爬虫网络爬虫:载入网络爬虫:动态载入网络爬虫:解析编程要求测试说明任务描述本关任务:编写一个爬虫,爬取 www.jd.com 网的 title. 相关知识 ...
Python3 实现大众点评网酒店信息和酒店评论的网页爬取
**作者:**Mr. Ceong 链接:http://blog.csdn.net/leigaiceong/article/details/53188454 Python3 实现大众点评网酒店信息和酒店 ...
WebFetch 是无依赖极简网页爬取组件
WebFetch 是无依赖极简网页爬取组件,能在移动设备上运行的微型爬虫. WebFetch 要达到的目标: 没有第三方依赖jar包减少内存使用提高CPU利用率加快网络爬取速度简洁明了的api ...
Python爬虫：最牛逼的 selenium爬取方式！
Python爬虫:最牛逼的 selenium爬取方式! 作为一个男人在最高光的时刻这是小编准备的python爬虫学习资料,加群:700341555即可免费获取! Python爬虫:最牛逼的 sel ...
Python爬虫: 单网页所有静态网页动态网页爬取
Python爬虫: 单网页所有静态网页动态网页爬取前言:所有页代码主干均来自网上!!!感谢大佬们. 其实我对爬虫还挺感兴趣的,因为我玩instagram(需要科学上网),上过IG的人都知道IG虽 ...
静态网页爬取-Requests
静态网页爬取-Requests import requests r=requests.get('http://www.baidu.com/') print(r.encoding) print(r.st ...
Python数据分析：爬虫从网页爬取数据需要几步？
对于数据分析师来说,数据获取通常有两种方式,一种是直接从系统本地获取数据,另一种是爬取网页上的数据,爬虫从网页爬取数据需要几步?总结下来,Python爬取网页数据需要发起请求.获取响应内容.解析数据. ...

最新文章

热门文章