python爬虫代码1000行-Python爬虫教程(16行代码爬百度)

最近在学习python，不过有一个正则表达式一直搞不懂，自己直接使用最笨的方法写出了一个百度爬虫，只有短短16行代码。

首先安装必背包：

pip3 install bs4

pip3 install requests

安装好后，输入

import requests

from bs4 import BeautifulSoup

F5运行如果不报错则说明安装成功。

打开浏览器，输入'www.baidu.com'，即进入百度，随便搜索什么，我这里用'python'为例

可以发现，百度搜索出来的链接为

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd=python****

最后可以简化为:

https://www.baidu.com/s?wd=python

所以首先尝试获取搜索结果的html:

import requests

from bs4 import BeautifulSoup

url='https://www.baidu.com/s?wd='+'python'

headers = {"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36"}

html = requests.get(url,headers=headers).text

print(html)

然后，我们再从HTML里面找出我们想要的

可以看爬下来的数据也可以使用谷歌浏览器的F12

这里已谷歌的F12为例

可以发现，div标签中

class为'result c-container '的为非百度，非广告的内容(我们需要的内容)

class为'result-op c-container xpath-log'的为百度自家的内容(可以按需筛选)

class为其它的都为广告

首先定义筛选

soup = BeautifulSoup(html, 'html.parser')

使用for循环找出所有div标签，且class为'result c-container'

for div in soup.find_all('div',class_="result c-container"):

print(div)

让后再次使用for循环在其中找出h3标签

for div in soup.find_all('div',class_="result c-container"):

#print(div)注释掉方便检查代码

for h3 in div.find_all('h3'):

print(h3.text)

再次寻找出标题和链接(a标签)

for div in soup.find_all('div',class_="result c-container"):

#print(div)

for h3 in div.find_all('h3'):

#print(h3.text)

for a in h3.find_all('a'):

print(a.text,' url:',a['href'])

这样，我们就成功屏蔽了广告、百度百科等等

整体代码如下：

import requests

from bs4 import BeautifulSoup

url='https://www.baidu.com/s?wd='+'python'

html = requests.get(url,headers=headers).text

print(html)

soup = BeautifulSoup(html, 'html.parser')

for div in soup.find_all('div',class_="result c-container"):

#print(div)

for h3 in div.find_all('h3'):

#print(h3.text)

for a in h3.find_all('a'):

print(a.text,' url:',a['href'])

#with open(r'C:/爬虫/百度.txt', 'w', encoding='utf-8') as wr:#如果需要将爬下来的内容写入文档，可以加上这两句

# wr.write(page)

顺便说一句，里面的headers是为了隐藏爬虫身份，虽然访问量大的话没用，但不用的话百度直接可以发现你是爬虫从而直接封你的IP，这样会搞得你每次上百度都要输验证码

python爬虫代码1000行-Python爬虫教程(16行代码爬百度)相关推荐

Python爬虫教程(16行代码爬百度)
最近在学习python,不过有一个正则表达式一直搞不懂,自己直接使用最笨的方法写出了一个百度爬虫,只有短短16行代码. 首先安装必背包: pip3 install bs4 pip3 install r ...
想写Python爬虫？看这5个教程就行了！
写爬虫总是非常吸引IT学习者,毕竟光听起来就很酷炫极客,我也知道很多人学完基础知识之后,第一个项目开发就是自己写一个爬虫玩玩. 其实懂了之后,写个爬虫脚本是很简单的,但是对于新手来说却并不是那么容易. ...
学python心得体会1000字-Python学习心得体会总结，不要采坑
大家要持续关注哦,不定时更新Python知识哦! Python 作为一个近年备受好评的语言,它的一些优点让人无法忽视.Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言.它的 ...
php换行太长代码,【PyCharm中文教程 16】代码太长？试试自动换行
在使用PyCharm码代码的时候,有些单行的代码比较长或者屏幕比较小,经常需要手动拉动滚动条,才能看全代码. 如果不想去动滚动条,其实可以设置超过屏幕宽度的代码自动代码的点击右键,勾选 Soft-W ...
python闹钟界面源码_Python GUI 教程 25行代码写一个小闹钟
今天我们讲一下用Python写的GUI小程序.一个小闹钟(只是屏幕提示,没有声音哦) 让我们先介绍这个闹钟如何奇葩. 需要通过命令行启动. 没有标题栏. 没菜单. 甚至没有关闭按钮. 没有运行界面. ...
全站最详细的Python numpy 搭建全连接神经网络模型教程（理论计算+代码实现）（不止能预测手写数字数据，准确率93.21%）
1.引言本文构建的全连接神经网络模型结构图如上.其中中间隐藏层的数量以及各层(输入层.隐藏层.输出层)的神经单元数量均可自由设置,本文构造的神经网络并不是专门为识别手写数字而写死的,而是可以根据 ...
python跳出两层for_干货 | 收藏！16段代码入门Python循环语句
(图片付费下载于视觉中国)作者 | 李明江张良均周东平张尚佳,本文摘编自<Python3智能数据分析快速入门>来源 | 大数据(ID:hzdashuju)[导读]本文将重点讲述for ...
python高阶函数教学_Python 简明教程 --- 16，Python 高阶函数
对于那些快速算法,我们总是可以拿一些速度差不多但是更容易理解的算法来替代它们. -- Douglas Jones 目录高阶函数一般以函数为参数. 本节我们介绍Python 中三个方便的高阶函数,分别 ...
c语言求婚代码大全,程序员表白教程，这些代码用过的都成功了！
作为一名程序员,如何用自己的技术向喜欢的人表白? 这篇程序员表白教程,可以让你创造出不一样的浪漫! 你值得拥有! 1. I Love You Batch le 不如送她一个惊喜? 让她的电脑自动关机, ...

python爬虫代码1000行-Python爬虫教程(16行代码爬百度)

python爬虫代码1000行-Python爬虫教程(16行代码爬百度)相关推荐

最新文章

热门文章