使用request简单爬虫

import requests
import reurl = "http://www.acfun.tv/v/list110/index.htm?from=fixedNav"
context = requests.get(url).text#print(html.text)
pattern1 = re.compile('<div class="desc">(.*)</div>')
#'.*'为贪婪模式，匹配到了还要然后找，匹配到不能匹配为止，根据后面的正则表达式，会进行回溯
pattern2 = re.compile('<div class="desc">(.*?)</div>')
#'.*?'一旦匹配就进行下一次匹配，不会回溯
text1 = pattern1.findall(context)
for text in text1:
print(text)
print("--" * 20)
text2 = pattern2.findall(context)
for text in text2:
print(text)

D:\Programs\Python\Python35\python.exe D:/PycharmProjects/forTest/req.py

捐精400次的“超级爸爸”终于迎来一场人间小团圆</div></a>

美国大叔把55%的肝捐给陌生妹纸现在他们订婚了</div></a>

无锡一男子分饰多角行骗骗到三十二吨钢</div></a>

百万奔驰停车场遇克隆车车主惊呆难辨真伪</div></a>

女子口撕快递嘴巴溃烂医生：包装袋比垃圾桶脏</div></a>

英国男童捡到疑来自中国漂流瓶</div></a>

英国著名摇滚巨星大卫·鲍威的经纪人向《好莱坞报道》确认，在与癌症搏斗数月之后，这位音乐人已经不幸逝世。</div></a>

拒付农民工工资老板成网逃携妻观电影被抓</div></a>

已婚男在宾馆捅死出轨妻子情人后拍照发微信朋友圈</div></a>

歌手三里屯持酒瓶抢劫单身女抢劫5千元被判5年</div></a>

5岁男童竟长出16岁的生殖器官，罪魁祸首竟让孩子父母彻底傻眼</div></a>

诺基亚安卓新机外形曝光：全金属</div></a>

----------------------------------------

捐精400次的“超级爸爸”终于迎来一场人间小团圆

美国大叔把55%的肝捐给陌生妹纸现在他们订婚了

无锡一男子分饰多角行骗骗到三十二吨钢

百万奔驰停车场遇克隆车车主惊呆难辨真伪

女子口撕快递嘴巴溃烂医生：包装袋比垃圾桶脏

英国男童捡到疑来自中国漂流瓶

英国著名摇滚巨星大卫·鲍威的经纪人向《好莱坞报道》确认，在与癌症搏斗数月之后，这位音乐人已经不幸逝世。

拒付农民工工资老板成网逃携妻观电影被抓

已婚男在宾馆捅死出轨妻子情人后拍照发微信朋友圈

歌手三里屯持酒瓶抢劫单身女抢劫5千元被判5年

5岁男童竟长出16岁的生殖器官，罪魁祸首竟让孩子父母彻底傻眼

诺基亚安卓新机外形曝光：全金属

Process finished with exit code 0

转载于:https://www.cnblogs.com/linxingyi/p/5123094.html

使用request简单爬虫相关推荐

python_2开发简单爬虫
2017年12月03日 16:43:01 独行侠的守望阅读数:204 标签: python爬虫更多个人分类: Python 编辑版权声明:本文为博主原创文章,转载请注明文章链接. https: ...
Golang实现简单爬虫框架（4）——队列实现并发任务调度
前言在上一篇文章<Golang实现简单爬虫框架(3)--简单并发版>中我们实现了一个最简单并发爬虫,调度器为每一个Request创建一个goroutine,每个goroutine往Wor ...
python简单爬虫程序分析_[Python专题学习]-python开发简单爬虫
掌握开发轻量级爬虫,这里的案例是不需要登录的静态网页抓取.涉及爬虫简介.简单爬虫架构.URL管理器.网页下载器(urllib2).网页解析器(BeautifulSoup) 一.爬虫简介以及爬虫的技术价 ...
Golang实现简单爬虫框架（5）——项目重构与数据存储
前言在上一篇文章<Golang实现简单爬虫框架(4)--队列实现并发任务调度>中,我们使用用队列实现了任务调度,接下来首先对两种并发方式做一个同构,使代码统一.然后添加数据存储模块. 注 ...
python简单实践作业_【Python】：简单爬虫作业
使用Python编写的图片爬虫作业: #coding=utf-8 import urllib import re def getPage(url): #urllib.urlopen(url[, dat ...
pythonurllib登录微博账号_简单爬虫实现登录新浪微博（python2.7)
因为图论作业,所以要写一个爬虫,就开始学python.接触python开始,就觉得这个语言非常舒服,不需要定义变量,不需要分号,非常简洁. 下面就聊聊,我写爬虫的经历.上网搜了一下爬虫的代码,发现简单 ...
简单NLP分析套路（1）----语料库积累之3种简单爬虫方式应对大部分网站
目录近期听课的思考语料库的记录 3种爬虫 urllib.request + BeautifulSoup scrapy 与xpath 使用selenium 模拟浏览器行为新的改变相关链接未完待 ...
实现一个go语言的简单爬虫来爬取CSDN博文(一)
http://blog.csdn.net/tyBaoErGe/article/details/50375802?hmsr=studygolang.com&utm_medium=studygol ...
python秒懂百科视频,Python开发简单爬虫
Python开发简单爬虫源码网址: http://download.csdn.NET/detail/hanchaobiao/9860671 一.爬虫的简介及爬虫技术价值 1.什么是爬虫: 一段自动 ...

使用request简单爬虫

使用request简单爬虫相关推荐

最新文章

热门文章