python爬虫自学网站_python爬虫学习爬取幽默笑话网站

这篇文章主要介绍了python爬虫爬取幽默笑话网站,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

爬取网站为：http://xiaohua.zol.com.cn/youmo/

查看网页机构，爬取笑话内容时存在如下问题：

1、每页需要进入“查看更多”链接下面网页进行进一步爬取内容每页查看更多链接内容比较多，多任务进行，这里采用线程池的方式，可以有效地控制系统中并发线程的数量。避免当系统中包含有大量的并发线程时，导致系统性能下降，甚至导致 Python 解释器崩溃，引入线程池，花费时间更少，更效率。

•创建线程池threadpool.ThreadPool()

•创建需要线程池处理的任务即threadpool.makeRequests()，makeRequests存放的是要开启多线程的函数，以及函数相关参数和回调函数，其中回调函数可以不写（默认是无）。

•将创建的多个任务put到线程池中,threadpool.putRequest()

•等到所有任务处理完毕theadpool.pool()

2、查看链接笑话页内容，div元素内部文本分布比较混乱。有的分布在

链接内有的属于div的文本，可采用正则表达式的方式解决。

注意2种获取元素节点的方式：

1）lxml获取节点字符串

res=requests.get(url,headers=headers)html = res.textlxml 获取节点写法element=etree.HTML(html)divEle=element.xpath("//div[@class='article-text']")[0] # 获取div节点div= etree.tostring(divEle, encoding = 'utf-8' ).decode('utf-8') # 转换为div字符串

2）正则表达式写法1，过滤回车、制表符和p标签

# 第一种方式：replacecontent = re.findall('

(.*?)

',html,re.S)content = content[0].replace('\r','').replace('\t','').replace('

','').replace('

','').strip()

3）正则表达式写法2，过滤回车、制表符和p标签

# 第二种方式：subfor index in range(len(content)):content[index] = re.sub(r'(\r|\t|

|<\/p>)+','',content[index]).strip()list = ''.join(content)print(list)

3、完整代码

import requestsimport threadpoolimport timeimport os,sysimport refrom lxml import etreefrom lxml.html import tostringclass ScrapDemo():next_page_url="" #下一页的URLpage_num=1 #当前页detail_url_list=0 #详情页面URL地址listdeepth=0 #设置抓取的深度headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36"}fileNum=0def __init__(self,url):self.scrapyIndex(url)def threadIndex(self,urllist): #开启线程池if len(urllist) == 0:print("请输入需要爬取的地址")return FalseScrapDemo.detail_url_list=len(urllist)pool=threadpool.ThreadPool(len(urllist))requests=threadpool.makeRequests(self.detailScray,urllist)for req in requests:pool.putRequest(req)time.sleep(0.5)pool.wait()def detailScray(self,url): # 获取html结构if not url == "":url='http://xiaohua.zol.com.cn/{}'.format(url)res=requests.get(url,headers=ScrapDemo.headers)html=res.text# element=etree.HTML(html)# divEle=element.xpath("//div[@class='article-text']")[0] # Element divself.downloadText(html)def downloadText(self,ele): # 抓取数据并存为txt文件clist = re.findall('

(.*?)

',ele,re.S)for index in range(len(clist)):'''正则表达式：过滤掉回车、制表符和p标签'''clist[index]=re.sub(r'(\r|\t|

|<\/p>)+','',clist[index])content="".join(clist)# print(content)basedir=os.path.dirname(__file__)filePath=os.path.join(basedir)filename="xiaohua{0}-{1}.txt".format(ScrapDemo.deepth,str(ScrapDemo.fileNum))file=os.path.join(filePath,'file_txt',filename)try:f=open(file,"w")f.write(content)if ScrapDemo.fileNum == (ScrapDemo.detail_url_list - 1):print(ScrapDemo.next_page_url)print(ScrapDemo.deepth)if not ScrapDemo.next_page_url == "":self.scrapyIndex(ScrapDemo.next_page_url)except Exception as e:print("Error:%s" % str(e))ScrapDemo.fileNum=ScrapDemo.fileNum+1print(ScrapDemo.fileNum)def scrapyIndex(self,url):if not url == "":ScrapDemo.fileNum=0ScrapDemo.deepth=ScrapDemo.deepth+1print("开启第{0}页抓取".format(ScrapDemo.page_num))res=requests.get(url,headers=ScrapDemo.headers)html=res.textelement=etree.HTML(html)a_urllist=element.xpath("//a[@class='all-read']/@href") # 当前页所有查看全文next_page=element.xpath("//a[@class='page-next']/@href") # 获取下一页的urlScrapDemo.next_page_url='http://xiaohua.zol.com.cn/{}'.format(next_page[0])if not len(next_page) == 0 and ScrapDemo.next_page_url != url:ScrapDemo.page_num=ScrapDemo.page_num+1self.threadIndex(a_urllist[:])else:print('下载完成，当前页数为{}页'.format(ScrapDemo.page_num))sys.exit()

运行如下:

总共1988个文件，下载完成。

以上就是本文的全部内容，希望对大家的学习有所帮助。

end

近期热门文章推荐：

-------------------End-------------------

扫下方二维码加老师微信或是搜索老师微信号:XTUOL1988【备注学习Python】领取Python web开发，Python爬虫，Python数据分析，人工智能等学习教程。带你从零基础系统性的学好Python！也可以加老师建的Python技术学习教程qq裙：245345507，二者加一个就可以！

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

万水千山总是情，点个【在看】行不行

*声明：本文于网络整理，版权归原作者所有，如来源信息有误或侵犯权益，请联系我们删除或授权事宜。

python爬虫自学网站_python爬虫学习爬取幽默笑话网站相关推荐

详细实例：用python爬虫爬取幽默笑话网站！（建议收藏）
前言: 今天为大家带来的内容是详细实例:用python爬虫爬取幽默笑话网站!(建议收藏),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下! 爬取网站为 ...
python搞笑教程_python爬虫- 爬取幽默笑话网站，带你一起笑翻天
importrequestsimportthreadpoolimporttimeimportos,sysimportrefrom lxml importetreefrom lxml.html impo ...
初学爬虫之试---爬取51笑话网站（源代码）
爬取点笑话图片没事的时候躲在被子里看看吧做实验的等待的时候,有点无聊,就想起来原来自己闲着没事,自己写了个爬虫,爬取了一些搞笑图片,没事看看娱乐下. 相信大家平时都有无聊的时候,那么问题来了,无聊的 ...
爬虫项目实操二、爬取“下厨房”网站的菜名、所需材料、和菜名所对应的详情页URL
项目-爬取"下厨房"网站的菜名.所需材料.和菜名所对应的详情页URL. 它有一个固定栏目,叫做"本周最受欢迎",收集了当周最招人喜欢的菜谱.地址如下: http ...
python爬虫自学路线_python 爬虫学习路线：从入门到进阶
大家好,我是凉拌今天给大家详解一下我的爬虫学习路线. 对于小白来说,爬虫可能是一件非常复杂.技术门槛很高的事情.比如有的人则认为先要掌握网页的知识,遂开始 HTML\CSS,结果入了前端的坑,浪费了 ...
python爬虫爬取数据如何将br去掉_Python怎么去除爬取下来的网站中的一些转义字符串 - 收获啦...
基本方法其实用python爬取网页很简单,只有简单的几句话这样就可以获得到页面的内容.接下来再用正则匹配去匹配所需要的内容就行了.但是,真正要做起来,就会有各种各样的细节问题. 2.登录这是一个 ...
Python爬虫系列（三）多线程爬取斗图网站（皮皮虾，我们上车）
斗图我不怕最近看了Python多线程的相关内容,并且前几天观看了腾讯课堂潭州学院上面的关于斗图网爬取的公开课,课程内容大致是利用Python多线程爬取斗图(多页),并将图片保存到本地.自己写这篇文章 ...
python爬虫外贸客户_python实战成功爬取海外批发商价格信息并写入记事本
运行平台:windows Python版本:Python 3.7.0 用到的第三方库:requests ,Beautiful Soup,re IDE:jupyter notebook 浏览器:Chro ...
python 写数值模拟器_python实现模拟器爬取抖音评论数据的示例代码
目标: 由于之前和朋友聊到抖音评论的爬虫,demo做出来之后一直没整理,最近时间充裕后,在这里做个笔记. 提示:大体思路通过fiddle + app模拟器进行抖音抓包,使用python进行数据整理 ...

python爬虫自学网站_python爬虫学习 爬取幽默笑话网站

python爬虫自学网站_python爬虫学习 爬取幽默笑话网站相关推荐

最新文章

热门文章

python爬虫自学网站_python爬虫学习爬取幽默笑话网站

python爬虫自学网站_python爬虫学习爬取幽默笑话网站相关推荐