python入门代码示例-Python入门简单的静态网页爬虫3.0 (爬虫的示例代码)
一、需求分析
爬取百度词条Python页面的相关100个页面,分析目标:分析(url格式 数据格式 网页编码 )。url格式限定了爬取的网页格式避免一些不相干的网页的爬取。数据格式主要是内容中相关的标签,网页编码则是为了正确解析网页。
参考视频中的内容简介如下:入口URL在我们打开的Python词条的地址栏中可以得到,为: http://baike.baidu.com/view/21087.html数据格式则是在页面上右键审查元素后选择edit as
HTML可以看到。网页编码在选择审查元素后上拉找到head标签下的可得为万国码。
二、示例代码
2.1 调度程序
在eclipse中创建一个package然后创建对应的module。在前两篇文章中提到的
spider_main
html_parser
html_downloader,
url_manager
html_outputer
如图:
2.2 spider_main代码编写:
if __name__ == '__main__':
root_url = #将此作为入口URL
obj_spider = SpiderMain()
obj_spider.craw(root_url)#调用spider里的craw方法来开始爬虫
总调度程序的编写
class SpiderMain(object):
def __init__(self): #初始化构造函数
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.output = html_outputer.HtmlOutputer()#初始化各个对象
编写完成后还要记得将各个对象和方法在各个模块中初始化
def craw(self, root_urls):
count = 1 #记录当前爬取的URL个数
self.urls.add_new_url(root_urls)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print('craw %d:%s' %(count, new_url))
html_cout = self.downloader.downloader(new_url)
new_urls, new_data = self.parser.parse(new_url, html_cout)
self.urls.add_new_urls(new_urls)
self.output.collect_data(new_data)
if count == 100:
break
count += 1
except Exception as e:
print('craw fails--', e)#这里一个小小的改写能将爬取遇到的问题能及时打印出来
self.output.output()
也要及时在对应模块中创建相应的方法
2.3URL管理器模块代码的编写
首先再想一想该模块要提供的方法:
添加一个新的未爬取的URL
添加新的未爬取一系列URL
判断管理器中是否有待爬取的URL
从管理器中获取一个新的URL
(待更)
python入门代码示例-Python入门简单的静态网页爬虫3.0 (爬虫的示例代码)相关推荐
- 大一可能用到的使用HTML+CSS做成简单的静态网页
大一可能用到的使用HTML+CSS做成简单的静态网页 不知道你们大一学html和css没有,哈哈.要是老师负责还好,要是不负责就jj了,期末,期中可能就要交课程报告了,希望能帮到你.! 我就做了一个简 ...
- 【1】python爬虫入门,利用bs4以及requests获取静态网页
注:本文仅适用于爬虫初级入门者,并不涉及太多技术本质 感谢您阅读此文.最近放假在家,闲时无聊,开始入门了python爬虫,可以完成一些基本的数据爬取(对于一些反爬取例如JS渲染,接口加密等页面仍然处于 ...
- python爬虫如何从一个页面进入另一个页面-Python爬虫 (一):爬取一个简单的静态网页...
版本:python3.7 平台:windows10 工具 :pycharm 断断续续学习了py3爬虫2周左右的时间,发现自己学习的过于零散化,所以想通过这个专栏系统的整理下自己所学过的知识.如有错误, ...
- python 简单网页_Python爬虫 (一):爬取一个简单的静态网页
版本:python3.7 平台:windows10 工具 :pycharm 断断续续学习了py3爬虫2周左右的时间,发现自己学习的过于零散化,所以想通过这个专栏系统的整理下自己所学过的知识.如有错误, ...
- 一种非常简单的静态网页生成方法介绍
一.目前的静态页生成方法有简单的模板替换.常见的ASP+FSO等,这里给大家介绍一种更简单的方法.原理就是借助XMLHTTP对象获取目标页面的源代码,然后写入到静态网页文件中.代码如下: Code D ...
- python关于七巧板的代码_Css打造一个简单的静态七巧板
偶然在微博上看到用css写一个七巧板,正好也有一些源代码,于是就试着敲了敲. 主要是利用了css3的transform,实现平移,旋转,变形,直接用看到的代码敲出来之后有些问题,因为宽度上下面绿色的三 ...
- python抓取网页内容到excel_Python实现抓取网页生成Excel文件的方法示例
本文实例讲述了Python实现抓取网页生成Excel文件的方法.分享给大家供大家参考,具体如下: Python抓网页,主要用到了PyQuery,这个跟jQuery用法一样,超级给力 示例代码如下: # ...
- HTML5期末大作业:个人主页网站设计(6页)代码质量高 学生简单个人静态HTML网页设计作品 DIV布局个人介绍网页模板代码 DW学生个人网站制作成品下载
HTML5期末大作业:个人主页网站设计(6页)代码质量高 HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 web学生网页设计作业源码 常见网页设计作业题 ...
- html+css 简单的静态网页小米官网
html+css简单静态小米官网 把之前做的改进了一下,其他的都是一样的布局 效果图: 新增了一些字体文件 不多说上代码 HTML代码: ```html <!DOCTYPE html> & ...
最新文章
- OpenArkCompiler方舟编译
- 基于openCV的项目实战1:信用卡数字识别
- 小龙虾上天了!口碑APP推出飞机上扫码点餐服务
- Android apk动态加载机制的研究
- Java黑皮书课后题第7章:*7.22(计算一个字符串中大写字母的数目)编写程序,从命令行输入一个字符串,然后显示字符串中大写字母的数目
- Python笔记-uiautomator2截图点击,OpenCV找图
- Spring、Struts整合
- python情感词典计算得分_基于情感词典的情感打分
- php strtotime 8小时,php时间函数strtotime的深入理解
- Response.End()在Webform和ASP.NET MVC下的表现差异
- JSP页面处理和输出
- python 对excel操作用法详解_Python对excel文档的操作方法详解
- 小米笔记本显示器关闭后无法唤醒曲线解决办法
- java 圣思园视频资源
- css修改下拉框样式
- xp显示连接上不了网络连接服务器地址,xp本地连接受限制|windows xp系统本地连接提示受限制或无连接怎么办...
- 数值分析:复化梯形公式与复化Simpson公式
- 常用的Markdown使用命令
- 在做产品经理的实习收获(第一篇)
- 哈希表_实现插入、删除、查找元素操作(链地址法解决冲突)