Python爬虫教程(16行代码爬百度)

最近在学习python，不过有一个正则表达式一直搞不懂，自己直接使用最笨的方法写出了一个百度爬虫，只有短短16行代码。
首先安装必背包：

pip3 install bs4
pip3 install requests

安装好后，输入

import requests
from bs4 import BeautifulSoup

F5运行如果不报错则说明安装成功。
打开浏览器，输入'www.baidu.com'，即进入百度，随便搜索什么，我这里用'python'为例
可以发现，百度搜索出来的链接为

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd=python****

最后可以简化为:

https://www.baidu.com/s?wd=python

所以首先尝试获取搜索结果的html:

import requests
from bs4 import BeautifulSoup
url='https://www.baidu.com/s?wd='+'python'
headers = {"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36"}
html = requests.get(url,headers=headers).text
print(html)

然后，我们再从HTML里面找出我们想要的

可以看爬下来的数据也可以使用谷歌浏览器的F12

这里已谷歌的F12为例

class不同，这个可以作为分析方法

可以发现，div标签中

class为'result c-container '的为非百度，非广告的内容(我们需要的内容)
class为'result-op c-container xpath-log'的为百度自家的内容(可以按需筛选)
class为其它的都为广告

首先定义筛选

soup = BeautifulSoup(html, 'html.parser')

使用for循环找出所有div标签，且class为'result c-container'

for div in soup.find_all('div',class_="result c-container"):print(div)

让后再次使用for循环在其中找出h3标签

for div in soup.find_all('div',class_="result c-container"):#print(div)注释掉方便检查代码for h3 in div.find_all('h3'):print(h3.text)

再次寻找出标题和链接(a标签)

for div in soup.find_all('div',class_="result c-container"):#print(div)for h3 in div.find_all('h3'):#print(h3.text)for a in h3.find_all('a'):print(a.text,' url:',a['href'])

这样，我们就成功屏蔽了广告、百度百科等等
整体代码如下：

import requests
from bs4 import BeautifulSoup
url='https://www.baidu.com/s?wd='+'python'
headers = {"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36"}
html = requests.get(url,headers=headers).text
print(html)
soup = BeautifulSoup(html, 'html.parser')
for div in soup.find_all('div',class_="result c-container"):#print(div)for h3 in div.find_all('h3'):#print(h3.text)for a in h3.find_all('a'):print(a.text,' url:',a['href'])

顺便说一句，里面的headers是为了隐藏爬虫身份，虽然访问量大的话没用，但不用的话百度直接可以发现你是爬虫从而直接封你的IP，这样会搞得你每次上百度都要输验证码

Python爬虫教程(16行代码爬百度)相关推荐

python爬虫代码1000行-Python爬虫教程(16行代码爬百度)
最近在学习python,不过有一个正则表达式一直搞不懂,自己直接使用最笨的方法写出了一个百度爬虫,只有短短16行代码. 首先安装必背包: pip3 install bs4 pip3 install r ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
python小游戏-16行代码实现3D撞球小游戏！-源码下载
python小游戏-16行代码实现3D撞球小游戏!-源码下载所属网站分类: 资源下载 > python小游戏作者:搞笑链接: http://www.pythonheidong.com/bl ...
python：利用20行代码爬取网络小说
文章目录前言一.爬虫是什么? 二.实现过程总结提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档前言今天,来给大家一个分享一下如何使用20爬虫行代码爬取网络小说(这里我们以龙 ...
【Python爬虫】5行代码破解验证码+网页数据爬取全步骤详细记录
文章目录前言一.抓包分析二.编写模块代码 1.引入库 2.获取验证码图片 3.识别验证码 4.爬取列表页 5.爬取详情页 6.完整代码总结 1.TIPS 2.如需交流,可在代码头找到我,或者用 ...
python爬虫入门——13行代码制作英语翻译器教程，小白入门一点通
有些同学一想到爬虫,就觉得很厉害,然后也认为是一个很难学,确实,会爬虫的确是个狠人,爬虫这个东西可以抓取很多东西,但是也并不是那么的难学,入门其实也很简单,爬虫都是一些套路步骤,那么接下来让我们用13 ...
Python爬虫教程：验证码的爬取和识别详解
今天要给大家介绍的是验证码的爬取和识别,不过只涉及到最简单的图形验证码,也是现在比较常见的一种类型. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里 ...
python爬虫教程：Scrapy框架爬取Boss直聘网Python职位信息的源码
今天小编就为大家分享一篇关于Scrapy框架爬取Boss直聘网Python职位信息的源码,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧分析使用Crawl ...
双宋喜结连理过程可以通过python爬虫Aispider 几行代码就能搞定！
爬虫框架AISPIDER 是一种轻量级的爬虫框架,封装了非常多的方法,只需简单几步操作即可开始工作,主要的爬虫逻辑还是需要自行编写. 你只需要把你要请求的网址构造成框架规定的格式,然后放入到工作队列中 ...

Python爬虫教程(16行代码爬百度)

Python爬虫教程(16行代码爬百度)相关推荐

最新文章

热门文章