Python网页简单小爬虫

2019独角兽企业重金招聘Python工程师标准>>>

#!usr/bin/env python
# encoding: utf-8'''爬一个简单的网页，并下载网页中的mp3文件存在的问题是：1. 下载mp3文件模块未实现，所以先以wget小工具顶上2. 在问题1的情况下，bat文件是UFT-8编码，处理非英文字符时显示有问题,暂时得手动转bat编码
'''
__author__ = 'honghe'import re
import requests
from os.path import dirname, abspathPREFIX = dirname(abspath(__file__))def extract(begin, end, data):'''抽取行内begin与end之间的内容'''result = []r = re.compile(r'.+%s(.+?)%s.+' % (begin, end))li = data.split('\r\n')for l in li:m = r.match(l)if m:print m.group(1)result.append(m.group(1))return resultdef fetch():'''获取网页中的mp3地址与名字'''#    保存成简单bat文件with open("%s/down.bat" % PREFIX, 'w') as down:
#        只选几个页面做测试for i in xrange(394, 396):url = 'http://www.luoo.net/radio/radio%s/mp3.xml' % ir = requests.get(url)if r.status_code == 200:for path, name in zip(extract('path="', '"', r.content),extract('title="', '"', r.content)):down.write('wget %s -O "%s/%s.mp3"\n' % (path, PREFIX, name))if __name__ == '__main__':fetch()

转载于:https://my.oschina.net/leopardsaga/blog/94695

Python网页简单小爬虫相关推荐

用python爬虫下载视频_使用Python编写简单网络爬虫抓取视频下载资源
我第一次接触爬虫这东西是在今年的5月份,当时写了一个博客搜索引擎,所用到的爬虫也挺智能的,起码比电影来了这个站用到的爬虫水平高多了! 回到用Python写爬虫的话题. Python一直是我主要使用的脚 ...
python爬虫简单实例-Python 利用Python编写简单网络爬虫实例3
利用Python编写简单网络爬虫实例3 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错实验目的获取目标网站"http://bbs.51tes ...
Python 实现简单的爬虫
Python 是一种跨平台的计算机程序设计语言,面向对象动态类型语言,Python是纯粹的自由软件,源代码和解释器cpython遵循 GPL(GNU General Public License)协议 ...
python pygame 简单小游戏
python pygame 简单小游戏最近学习了pygame,感觉十分有意思,花了一点时间制作了一个简单的小游戏效果图这是一个很简单的防守类小游戏玩家可以使用wasd控制人物移动,并且鼠标控制 ...
python最简单的爬虫代码,python小实例一简单爬虫
python新手求助关于爬虫的简单例子 #coding=utf-8from bs4 import BeautifulSoupwith open('', 'r') as file: fcontent ...
Python实现简单的爬虫获取某刀网的更新数据
昨天晚上无聊时,想着练习一下Python所以写了一个小爬虫获取小刀娱乐网里的更新数据 #!/usr/bin/python # coding: utf-8import urllib.request im ...
python手机版做小游戏代码大全-python简单小游戏代码怎么用Python制作简单小游戏...
1.Python猜拳小游戏代码: 2.import random #导入随机模块 3. 4.num = 1 5.yin_num = 0 6.shu_num = 0 7.while num <= ...
python小游戏代码大全-python简单小游戏代码怎么用Python制作简单小游戏
1.Python猜拳小游戏代码: 2.import random #导入随机模块 3. 4.num = 1 5.yin_num = 0 6.shu_num = 0 7.while num <= ...
python抽奖简单小程序游戏_python实现抽奖小程序
本文实例为大家分享了python实现抽奖小程序的具体代码,供大家参考,具体内容如下设计一个抽奖服务背景:有x个奖品,要求在y天内发完:每天至少发放z个奖品:每天抽奖人数不定,事先会假设一个范围是m ...
python网页爬虫例子_Python 利用Python编写简单网络爬虫实例3
by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错实验目的获取目标网站"http://bbs.51testing.com/forum.php&q ...

Python网页简单小爬虫

Python网页简单小爬虫相关推荐

最新文章

热门文章