爬取百思不得姐的段子

 1 #coding=utf-8
 2 import io
 3 import requests
 4 from bs4 import BeautifulSoup
 5 for i in range(1,50):
 6     url=requests.get('http://www.budejie.com/text/%s' % i) #使用request.get请求url
 7     soup = BeautifulSoup(url.text, 'html.parser')#使用parser解析
 8     all_desc=soup.find_all('div',class_='j-r-list-c-desc')
 9     for j in all_desc:
10         f=open(r'C:\Users\Administrator\Desktop\Python\qiushibaike\baisi.txt','r+',encoding='utf-8') #写入
11         f.read() #追加数据前要先读取yix
12         f.write(j.get_text())
13         f.close()
14     print("已爬取第%s页" % i)
15     i+=1

爬取白死不得姐的段子，并且写入到指定目录下的文本中。重点，使用parser解析获取到的url，然后通过soup.find_all()找到对应的标签，all_desc里面是多个<div><a>1231</a><div>，如何获取123123，我们通多for循环遍历，j.get_text().获取具体文本。在写入的时候先打开open(' ',' ',' ')三个参数，第一个为目录下的文件地址，第二个为操作方式' r+'是持续写入，但是后面写入的内容会替换掉前面的内容，解决办法是，在写入之前我们先读取f.read()，这样后写入的会被添加在末尾，不会覆盖。第三个参数非常重要具体使用方法参见上一篇 http://www.cnblogs.com/wangcongsuibi/p/7941294.html

转载于:https://www.cnblogs.com/wangcongsuibi/p/7941779.html

爬取百思不得姐的段子相关推荐

Python爬取百思不得姐的视频
本次使用Python爬取百思不得姐中的视频,虽然其中视频提供了下载,但作为程序猿,你懂的(本次使用的Python的版本为3.6.1). 其源码如下: #_*_ coding:utf-8 _*_ imp ...
[python爬虫之路day19:] scrapy框架初入门day1——爬取百思不得姐段子
好久没学习爬虫了,今天再来记录一篇我的初入门scrapy. 首先scrapy是针对大型数据的爬取,简单便捷,但是需要操作多个文件以下介绍: 写一个爬虫,需要做很多的事情.比如: 发送网络请求, 数据解 ...
python爬虫scrapy框架爬取糗妹妹段子首页
声明:本文仅为学习爬虫,请勿商业和恶意攻击网站,本文所有解释权归作者. 本文分别用两种方法把获取的段子信息存储到了本地,分别是txt文件和json文件, txt文件比较简单,生成字典后用命令直接执行即 ...
每日爬虫练习：爬取最新搞笑段子
2020-03-22日爬虫练习爬取网站:别逗了需求: 爬取分页段子,并将段子标题和正文以字典的形式通过json序列化后存储到本地技术路线: 1.requests BeautifulSoup Js ...
python 多线程爬取百思不得姐段子
并且可以导出到csv文件查看. 复制粘贴运行即可. 2019年8月11日测试可用 import requests,threading,csv from lxml import etree from q ...
python爬取百思不得姐视频
1 页面分析百思不得姐视频地址http://www.budejie.com/video/ 看到这个地址的时候我们首先分析,这个地址的多页是如何实现的?访问其他页面时链接是怎么样的?所以我们直接点击页 ...
爬取百思不得姐网站上的MP4视频，有限制，必须是网页内有mp4才行，18年3月之后百思不得姐网页版改版之后不行了
代码如下,贡献出来 #-*-coding:utf-8 -*- import requests #第三方 import re #正则模块 import urllib def get_response(u ...
python多线程爬取段子_Python爬虫实战之一秒爬取内涵段子
人生苦短,我用Python,今天来一起爬取一下内涵段子. 话不啰嗦直接代码,gogogog! #coding=utf-8 import urllib2 import re class Spider: ...
内涵段子爬取及re匹配
案例:使用正则表达式的爬虫现在拥有了正则表达式这把神兵利器,我们就可以进行对爬取到的全部网页源代码进行筛选了. 下面我们一起尝试一下爬取内涵段子网站: http://www.neihan8.com/ ...

爬取百思不得姐的段子

爬取百思不得姐的段子相关推荐

最新文章

热门文章