贴吧备份到本地浏览html,获取贴吧对应页html及写入文件

1 #!/usr/bin/env python

2 #-*- coding:utf-8 -*-

3 from urllib importrequest4 from random importchoice5 importurllib.parse6

7 defloadPage(url, filename):8 '''

9 作用：根据url,获取响应文件10 url: 需要爬取的地址11 filename: 处理的文件名12 '''

13 USER_AGENTS =[14 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",15 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",16 "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",17 "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",18 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",19 "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",20 "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",21 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",22 "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",23 "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",24 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",25 "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",26 "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",27 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",28 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",29 "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"

30 ]31 user_agent =choice(USER_AGENTS)32 print('正在下载'+filename)33 req =request.Request(url)34 req.add_header('User-Agent',user_agent)35 returnstr(request.urlopen(req).read(),encoding='utf-8')

贴吧备份到本地浏览html,获取贴吧对应页html及写入文件相关推荐

贴吧备份到本地浏览html,Octoman微博备份插件，一键备份新浪微博为html文件
Octoman微博备份插件,是一款便捷好用的新浪微博备份辅助工具.它的作用就是把你需要备份的微博保存为一个html文件在本地,以便于在发生意外后还能继续查看这些内容. Octoman微博备份插件是今年 ...
oracle备份还原到本地_RMAN备份的基本操作与代码口令
蒋蒋~~大家吼啊,又是我,智商233的天才少呂,今天给大家带来的是Rman的命令相关介绍那么!正文开始喽 RMANR 连接到库连接本地数据库 a,如果本地有多少实例,则需要设置环境变量ORACLE ...
mysql 数据库备份到本地_如何备份远程 MySQL 数据到本地
对于远程的 MySQL 数据库,如何定期将数据备份到本地呢?对于需要远程备份数据的童鞋来说我想这个是经常需要用到的. 1.首先远程数据库必须支撑远程连接,提供有供远程连接的IP或者域名. 假设远程数据 ...
MySQL自动备份到本地数据库_MYSQL数据库自动本地/异地双备份/MYSQL增量备份
构建高安全电子商务网站之(网站文件及数据库自动本地/异地双备份)架构图继续介绍Linux服务器文件备份,数据库备份,数据安全存储相关的电子商务系统架构.针对安全性有多种多样的解决方案,其中数据备份是 ...
【Git、GitHub、GitLab】十将git仓库备份到本地
上一篇文章学习记录了工作中常用的一些git命令,点击链接查看:[Git.GitHub.GitLab]九工作中非常重要的一些git用法文章目录 1 git的传输协议 2 如何将git仓库备份到本地 ...
linux自动异地备份,Linux本地加异地自动备份方案
创建脚本/root/script/backup.sh# 该脚本应用于10多台普通的Linux应用服务器,多年来从未出过差错. # 数据库备份较为特殊,这里不包含数据库备份. # 因为脚本中含有FTP密 ...
js/jquery 获取本地文件的文件路劲获取input框中type=‘file’ 中的文件路径(转载)...
原文:http://blog.csdn.net/niyingxunzong/article/details/16989947 js/jquery 获取本地文件的文件路劲获取input框中type=' ...
python获取所有盘符_自动扫描所有本地磁盘，获取所有图片信息
我的开发环境: wxPython2.9-win32-docs-demos-2.9.4.0.exe 下载地址 http://www.wxpython.org/download.php wx ...
Esxi虚拟机备份到本地
Esxi虚拟机备份到本地 Esxi虚拟机备份到本地 Esxi虚拟机备份到本地使用vsphere client登录到vcenter 选择要备份的虚拟机 1.点击文件菜单,导出到OVF模板 2. 出现导 ...

贴吧备份到本地浏览html,获取贴吧对应页html及写入文件

贴吧备份到本地浏览html,获取贴吧对应页html及写入文件相关推荐

最新文章

热门文章