python爬虫网站接口的使用——将网页上的输入内容的接口转移到对应的爬虫中（通过爬虫查询相关网页的信息）

python爬虫网站接口的使用

网站任何输入的对话框，都对应着相关的接口
找到接口对应的关键字，就可以使用爬虫输入关键字进行操作了

通过ip38网站实现爬虫查询ip归属地

登陆相关的网址，随便查询一个项目，通过网址变化，获取对应接口的关键字
如上图，就是获取相关的ip38网站的查询ip归属地的接口关键字
将关键字包含关键字的网址全部复制，作为url来使用

代码如下

def getIPpalce(value):url = "https://www.ip38.com/ip.php?ip="r = requests.get(url,params=value)r.raise_for_status()return r.text[1500:]

通过爬虫实现输入字搜索

自己打开对应的网站，随便输入关键词，从返回的网址就可直接看出
如搜狗的，就是query ：关键字
百度的，就是 wd：关键字
bling的，就是q ：关键字

在request库中的get函数中的url参数中，根据搜索引擎的关键字接口，添加关键字

调用requests库的get函数
requests.get(url,params = None,**kwargs)
- url:拟获取的页面的url连接
- params：url中的额外的参数，将字典或者是字节流的格式，按照对应的方式加到url后部
kwargs控制访问参数

代码：

    kv = {'wd':'关键字'}r = requests.get("https://www.baidu.com/",params=kv)print(r.status_code)

注意会将中文转换成别的字符码，不会直接显示中文

分析与总结

任何的网站上要求输入的对话框，都会反映在网址变化中。在网址上，早多对应的接口关键字，就可以在网址中直接输入对应的关键字
- 如，百度要求你输入关键字搜索的时候，在网址上的变化是出现wd + 关键字
- 再如：上面举的关于确定ip地址的例子，在网址上加上对应的搜索关键字。

python爬虫网站接口的使用——将网页上的输入内容的接口转移到对应的爬虫中（通过爬虫查询相关网页的信息）相关推荐

python 下载网页文件_『如何用python把网页上的文本内容保存下来』python爬取网页内容教程...
python爬虫:如何爬网页数据并将其放在文本用requests库 r=r.requests.get(url) r.concent 保存到文件里就行了如何用python把网页上的文本内容保存下来 ...
java复制屏幕文本内容_网页上的文字内容不给复制？电脑老司机教你输入一串代码，轻松复制...
原标题:网页上的文字内容不给复制?电脑老司机教你输入一串代码,轻松复制我们有时候需要一些资料就会去网上查资料,有的时候我们需要把这些资料的文字给复制下来.但并不是所有的资料都能直接复制的,不是登陆账 ...
JavaScript中ajax如何不刷新,JavaScript基于Ajax实现不刷新在网页上动态显示文件内容...
本文实例讲述了JavaScript基于Ajax实现不刷新在网页上动态显示文件内容的方法.分享给大家供大家参考.具体如下: 下面的JS代码是一个最基础的JS的ajax实现,可以动态显示服务器上的文件aj ...
无法在C语言软件里敲字,网页上不能输入文字怎么办
今天有网友向我们来信反映说电脑开机后,打开浏览器发现自己网页上不能输入文字怎么办.换了几个浏览器还是一样的情况,查不出病毒和插件.下面一起来看看电脑工程师是怎么解决吧! 网页上无法输入字解决方法:( ...
网页上编辑的内容因为网页误关被删了,怎么恢复
情况说明情况说明你是否有过如下经历: 花了2个多小时在一个没有保存键的网页上编写了一大堆文字,然后中途使用其他应用时,不小心关闭你的chrome浏览器? 这是你匆忙打开了你的历史记录,然后想要恢复 ...
如何复制网页上的任何内容（比如百度文库）
目的许多网页都不允许复制,只有进行开通VIP,注册用户,使用专业工具等才能完成ctrl+c和ctrl+v等简单操作.本文提供了一种比较简(cu)单(bao)的解决方案. 注意! 这篇文章话很直(bi ...
小妙招，在禁止复制粘贴的网页上复制粘贴内容
小妙招,在禁止复制的网页上复制内容有些时候,有些网页,是吧你懂的,想复制或者粘贴东西都不让复制粘贴.虽然有一些现有的插件啥的下载了能够解决,但是不同的网页如果都要下载插件岂不是有点麻烦. 教程先f ...
【python】python获取网站源码失败，出现一堆script脚本内容
问题原因网站开启了防爬虫,爬取的设置,通过头部的cookie和User-Agent判断解决流程在头部设置以下内容 def ask_url(url,method):proxies = {" ...
去掉CSDN博客网页上多余的内容并保存为pdf
从这里来的:https://blog.csdn.net/while_black/article/details/90201958 还有这:https://www.jerrycoding.com/art ...

python爬虫网站接口的使用——将网页上的输入内容的接口转移到对应的爬虫中（通过爬虫查询相关网页的信息）

python爬虫网站接口的使用

通过ip38网站实现爬虫查询ip归属地

通过爬虫实现输入字搜索

在request库中的get函数中的url参数中，根据搜索引擎的关键字接口，添加关键字

分析与总结

python爬虫网站接口的使用——将网页上的输入内容的接口转移到对应的爬虫中（通过爬虫查询相关网页的信息）相关推荐

最新文章

热门文章