python爬虫获取下一页url_Python爬虫获取页面所有URL链接过程详解
如何获取一个页面内所有URL链接?在python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL。
什么是Beautiful Soup?
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。
BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快。
全部代码: from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage(http://news.163.com/)
利用BeautifulSoup还可以有针对性的获取网页链接:Python爬虫获取网页上的链接,通过beautifulsoup的findall()方法对匹配的标签进行查找。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持聚米学院。
python爬虫获取下一页url_Python爬虫获取页面所有URL链接过程详解相关推荐
- python爬虫之js链接跳转抓取_Python爬虫获取页面所有URL链接过程详解
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL. 什么是Beautiful Soup ...
- python脚本语言采用声音作为手段_python 利用pyttsx3文字转语音过程详解
这篇文章主要介绍了python 利用pyttsx3文字转语音过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下# -*- coding: utf ...
- python爬取直播_python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程: 发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作 分析斗鱼的翻页,有一个下一页 ...
- python爬斗鱼直播_python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程: 发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作 分析斗鱼的翻页,有一个下一页 ...
- python爬取斗鱼_python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程: 首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all 发现所有房间的信息都是保存在一个无序列表中的li中, ...
- python模块cv2人脸识别_Python基于Opencv来快速实现人脸识别过程详解(完整版)
前言 随着人工智能的日益火热,计算机视觉领域发展迅速,尤其在人脸识别或物体检测方向更为广泛,今天就为大家带来最基础的人脸识别基础,从一个个函数开始走进这个奥妙的世界. 首先看一下本实验需要的数据集,为 ...
- linux中python编译器的配置_方舟编译器环境配置及源码编译过程详解
1)首先将方舟编译器源代码包下载到本地. https://www.openarkcompiler.cn/download/OpenArkCompiler-0.2.tar.gz 2)Ubuntu系统中方 ...
- python离线包安装_python 通过pip freeze、dowload打离线包及自动安装的过程详解(适用于保密的离线环境...
python的pip是其包管理工具,相当方便好用.本文只介绍pip 如何通过其freeze命令打离线包,及其离线包的安装脚本.这个知识点,特别适用于不适合连通互联网,设备需要物理隔绝,保密要求严格的客 ...
- python爬虫 点击下一页_python爬虫实现获取下一页代码
我们首先来看下实例代码: from time import sleep import faker import requests from lxml import etree fake = faker ...
最新文章
- linunx获取命令帮助
- BZOJ-1800 飞行棋 数学+乱搞
- linux系统操作审计-让history内容更丰富
- mysql怎么写Connection_MySQL里面的CONNECTION_ID
- SQLite 3.30.0 发布,世界上使用量最大的数据库引擎
- Android Multimedia框架总结(十四)Camera框架初识及自定义相机案例
- 双A复制mysql_mysql双主复制并利用keepalived做高可用
- BZOJ2300[HAOI2011] 防线修建
- matlab画图形函数 semilogx semilogy和loglog
- Linux基础命令之cd返回上级目录/返回根目录/进目录/返回上一次目录/返回指定目录
- php excel加密,excel工作表加密怎么设置?
- Git使用小技巧【git reset和git revert, 你真的知道怎么用吗, 详细图解】
- ios 制作方形头像
- 微信公众号-服务器配置(token验证)
- Android go app 安装包,安卓go系统刷机
- 高斯消元法求解线性方程组(附python代码)
- hive数据库操作大全
- 无线耳机的分类和技术特点
- python科学计数法的显示与转换
- go Benchmark的运行
热门文章
- Linux保护文件实现,Linux完整性保护机制模块实现分析(1)
- Hibernate框架ORM的实现原理-不是技术的技术
- 安卓学习笔记14:安卓手势操作编程
- 【BZOJ3156】防御准备,斜率优化DP
- 【codevs1287】矩阵乘法
- cli dll打包 vue_vue-cli3使用 DllPlugin 实现预编译提升构建速度
- 每日小记2017.2.20
- python turtle工具箱_python 库之 turtle(图形绘制) 开启新的快乐源泉
- 自定义控件之绘图篇(三):区域(Range)
- eclipse可以写前端吗_学生:“老师,可以写老师吗?”语文老师怎么做才不尴尬?...