Python爬虫入门实例四之百度、360搜索关键字提交（可自主输入关键字）

2024-05-14 06:16:41

文章目录

写在前面
一.爬取原页面
- 1.百度页面如下
- 2.360页面如下
二.爬取原理分析
三.完整代码
引用源自

写在前面

本文从百度、360两种搜索引擎介绍关键字的提交爬取信息，在引用例的基础上做了优化，可以自主输入关键字，打印输出提交关键词后的查找内容的字符串长度以及相关的URL。

一.爬取原页面

以关键词为python为例。

1.百度页面如下

2.360页面如下

小声BB：通过上面对比发现同样是卖课，看来这几个机构给的钱是不一样的呀，某度还是把自己的平台放在了第一位。

二.爬取原理分析

首先我以查找python为例向大家展示在百度和360搜索页面中URL的结果。

1.百度

https://www.baidu.com/s?wd=python&tn=78040160_5_pg&ch=8

2.360

https://www.so.com/s?q=python

通过上述实践我们可以发现搜索引擎是有其关键词的提交接口的。

百度的关键词接口：
https://www.baidu.com/s?wd=keyword

360的关键词接口：
https://www.so.com/s?q=keyword

其中keyword就是我们输入的关键字，所以我们只要替换keyword就可以向搜索引擎提交关键词了，即只要构建其URL链接就可以实现对关键词的提取，最后使用len()函数显示提交关键词后的查找内容的字符串长度。

3.使用到的库

import requests

三.完整代码

import requests#百度搜索
def baiDu():key = input("请输入百度搜索关键词：")url = "https://www.baidu.com/s?wd="+keytry:r = requests.get(url)r.raise_for_status()r.encoding=r.apparent_encodingprint(len(r.text))print(r.request.url)except:print("爬取异常")#360搜索
def threeSZ():key = input("请输入360搜索关键词：")url = "https://www.so.com/s?q="+keytry:r = requests.get(url)r.raise_for_status()r.encoding=r.apparent_encodingprint(len(r.text))print(r.request.url)except:print("爬取异常")#调用函数
baiDu()
threeSZ()

本篇完，如有错误欢迎指出~

引用源自

中国大学MOOC Python网络爬虫与信息提取
https://www.icourse163.org/course/BIT-1001870001

Python爬虫入门实例四之百度、360搜索关键字提交（可自主输入关键字）相关推荐

python爬虫程序实例-10个python爬虫入门实例
作者:h3zh1 来源:cnblogs.com/h3zh1/p/12548946.html 今天为大家准备了几个简单的python爬虫入门实例,分享给大家. 涉及主要知识点:web是如何交互的 req ...
python3爬虫入门实例_10个python爬虫入门实例(小结)
昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例涉及主要知识点: web是如何交互的 requests库的get.post函数的应用 response对象的相关函数,属性 python文件 ...
python入门爬虫案例_10个python爬虫入门实例(小结)
昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例涉及主要知识点: web是如何交互的 requests库的get.post函数的应用 response对象的相关函数,属性 python文件 ...
python爬虫入门实例-Python爬虫天气预报实例详解（小白入门）
本文研究的主要是Python爬虫天气预报的相关内容,具体介绍如下. 要求是把你所在城市过去一年的历史数据爬出来. 分析网站我们可以看到,我们需要的天气数据都是放在图表上的,在切换月份的时候,发现只有 ...
python爬虫入门实例-终于领会python爬虫入门示例
随着人工智能大数据的火热 Python成为了广大科学家和普通大众的学习语言.在学习Python的过程中有很多人感到迷茫不知道自己该从什么地方入手,今天我们就来说一些新手该如何学习Python编程 ...
python爬虫实例-10个python爬虫入门实例
昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例涉及主要知识点: web是如何交互的 requests库的get.post函数的应用 response对象的相关函数,属性 python文件 ...
python爬虫实例手机_10个python爬虫入门实例
昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例涉及主要知识点: web是如何交互的 requests库的get.post函数的应用 response对象的相关函数,属性 python文件 ...
Python爬虫入门（四）：实战，爬取4399小游戏首页
目录 robots.txt robots协议 robots.txt 语法君子协定何时需要robots协议? 查看4399.com的robots.txt 设定并分析目标代码 urllib2& ...
小白Python爬虫入门实例1——爬取中国最好大学排名
中国大学慕课python网络爬虫与信息提取--定向爬虫"中国最好大学排名信息爬取" 由于课程中老师给的案例有些许瑕疵,加之至今该网页的首页已经更新,原网址已不存在,因此笔者在老师给 ...

最新文章

热门文章