python极客学院爬虫_极客学院Python文本爬虫

# -*- coding: utf-8 -*-

import re

old_url = 'http://www.jikexueyuan.com/course/android/?pageNum=2'

total_page = 20

f = open('1.wenben.txt','r+')

html = f.read()

f.close()

# re.S 包括换行

# 抓取标题 search 找到内容后自动停止查找 findall则是遍历

title = re.search('

(.*?)',html,re.S).group(1)

print title

# sub的使用

s = '123adsg123'

output = re.sub('123(.*?)123','houzhong%d'%88,s)

print output

不要使用compile。

#匹配数字

a = 'asdfsf12313dfadfad'

b = re.findall('\d',a)

print b

结果：['1', '2', '3', '1', '3']

a = 'asdfsf12313dfadfad2131'

b = re.findall('\d+',a)

print b

结果：['12313', '2131']

翻页功能 re.sub

import re

old_url = 'http://www.jikexueyuan.com/course/android/?pageNum=2'

total_page = 20

for i in range(total_page):

i += 1

new_url = re.sub('pageNum=\d+','pageNum=%d'%i, old_url)

print new_url

python极客学院爬虫_极客学院Python文本爬虫相关推荐

pythonscrapy爬虫_零基础写python爬虫之使用Scrapy框架编写爬虫
网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据.虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间.Scrapy是一个使用Python编写的,轻 ...
python如何编写爬虫_如何实现一个Python爬虫框架
image 这篇文章的题目有点大,但这并不是说我自觉对Python爬虫这块有多大见解,我只不过是想将自己的一些经验付诸于笔,对于如何写一个爬虫框架,我想一步一步地结合具体代码来讲述如何从零开始编写一个 ...
python微博评论爬虫_详解用python写网络爬虫-爬取新浪微博评论基于Python的新浪微博爬虫研究...
怎样爬取新浪微博的评论信息针对八爪鱼在微博的应用上,除了用户信息之外还包括话题内容方面的采集,目前绝大多数企业均在微博设有官方微博,八爪鱼可以协助企业快速及时的抓取与企业产品相关联的话题信息,规则市 ...
python 运算太慢怎么办_干货|如何入门 Python 爬虫？爬虫原理及过程详解
点击蓝字"python教程"关注我们哟! 前言 Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及 ...
网站客服系统_网页客服系统安装使用_GOFLY在线客服系统
GOFLY提供网站客服系统,网页客服系统 GOFLY,一套可私有化部署的免费开源客服系统,基于Golang开发,编译后的二进制文件可直接使用无需搭开发环境,下载zip解压即可,仅依赖MySQL数据库, ...
python数据采集有哪些技术_如何快速掌握Python数据采集与网络爬虫技术
一.数据采集与网络爬虫技术简介网络爬虫是用于数据采集的一门技术,可以帮助我们自动地进行信息的获取与筛选.从技术手段来说,网络爬虫有多种实现方案,如PHP.Java.Python ....那么用pyt ...
python 鱼c工作室作业_#鱼C工作室Python作业#图解python百度云
最好的python视频教程谁有我这里有python全套高清教学视频,非常适合新手小白,真实分享,望采纳点赞. python 网盘 python视频教程从入门到精通有提取码:提取码:8ste 求一个 ...
python后端开发学什么_零基础学Python，这是阿里Python8年开发经验写给你的学习路线图...
今天给大家分享一位前辈整理的一个Python web学习路线.这位前辈由于有编程基础,所以采用了自学Python的方式.学完后主要做后端开发.希望对你有所启发. 整理的一个 python web 学习 ...
python骚气表情包_火爆全网!这个 Python 项目很骚气!
点击上方Python知识圈,选择设为星标回复1024获取Python资料本文转自量子位,作者郭一璞阅读文本大概需要 5 分钟点击「阅读原文」查看pk哥原创精品视频.像文字云一样,用各种小图拼出 ...
零基础python视频教程谁的好_零基础自学Python！自我提升视频教程，新手必看
小编今天给大家分享一套高老师的python400集视频教程,里面包含入门进阶,源码,实战项目等等,,不管你是正在学习中,还是想要学习的,通通来吧肯定不会让你失望. 目录大纲: 本套教程15天学前环 ...

python极客学院爬虫_极客学院Python文本爬虫

python极客学院爬虫_极客学院Python文本爬虫相关推荐

最新文章

热门文章