python爬虫小说设计过程_Python制作爬虫采集小说
开发工具:python3.4
操作系统:win8
主要功能:去指定小说网页爬小说目录,按章节保存到本地,并将爬过的网页保存到本地配置文件。
被爬网站:http://www.cishuge.com/
小说名称:灵棺夜行
代码出处:本人亲自码的
import urllib.request
import http.cookiejar
import socket
import time
import re
timeout = 20
socket.setdefaulttimeout(timeout)
sleep_download_time = 10
time.sleep(sleep_download_time)
def makeMyOpener(head = {
'Connection': 'Keep-Alive',
'Accept': 'text/html, application/xhtml+xml, */*',
'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
}):
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
header = []
for key, value in head.items():
elem = (key, value)
header.append(elem)
opener.addheaders = header
return opener
def saveFile(save_path,txts):
f_obj = open(save_path,'w+')
for item in txts:
f_obj.write(item+'\n')
f_obj.close()
#get_code_list
code_list='http://www.cishuge.com/read/0/771/'
oper = makeMyOpener()
uop = oper.open(code_list,timeout=1000)
data = uop.read().decode('gbk','ignore')
pattern = re.compile('
虽然代码还是有点瑕疵,还是分享给大家,一起改进
本文原创发布php中文网,转载请注明出处,感谢您的尊重!
python爬虫小说设计过程_Python制作爬虫采集小说相关推荐
- python爬虫库的功能_Python学习爬虫掌握的库资料大全和框架的选择的分析
学Python,想必大家都是从爬虫开始的吧.毕竟网上类似的资源很丰富,开源项目也非常多. Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 当我们在浏览器中输入一个url后回车,后台会发生 ...
- python做爬虫有什么优势_python在爬虫方面有哪些优势呢?
python是一门非常不错的编程语言,通俗易懂.适合零基础入门,尤其是爬虫领域有着独特的优势,成为了首选编程语言. Python是一种计算机程序设计语言,是一种动态的.面向对象的脚本语言.Python ...
- python 小说下载工具_python 制作网站小说下载器
基本开发环境 ・ Python 3.6 ・ Pycharm 相关模块使用 目标网页分析 输入想看的小说内容,点击搜索 这里会返回很多结果,我只选择第一个 网页数据是静态数据,但是要搜索,是post请求 ...
- python小说下载器_python 制作网站小说下载器
基本开发环境 · Python 3.6 · Pycharm 相关模块使用 目标网页分析 输入想看的小说内容,点击搜索 这里会返回很多结果,我只选择第一个 网页数据是静态数据,但是要搜索,是post请求 ...
- 爬虫取中间文本_Python Scrapy爬虫框架学习!半小时掌握它!
Scrapy 是用Python实现一个为爬取网站数据.提取结构性数据而编写的应用框架. 一.Scrapy框架简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数 ...
- python爬虫设计思路_python网络爬虫(9)构建基础爬虫思路
目的意义 基础爬虫分5个模块,使用多个文件相互配合,实现一个相对完善的数据爬取方案,便于以后更完善的爬虫做准备. 这里目的是爬取200条百度百科信息,并生成一个html文件,存储爬取的站点,词条,解释 ...
- python爬取页面内容由京东提_python制作爬虫爬取京东商品评论教程
本篇文章是python爬虫系列的第三篇,介绍如何抓取京东商城商品评论信息,并对这些评论信息进行分析和可视化.下面是要抓取的商品信息,一款女士文胸.这个商品共有红色,黑色和肤色三种颜色, 70B到90D ...
- python爬虫课程设计过程_[Python]新手写爬虫全过程(已完成)
今天早上起来,第一件事情就是理一理今天该做的事情,瞬间get到任务,写一个只用python字符串内建函数的爬虫,定义为v1.0,开发中的版本号定义为v0.x.数据存放?这个是一个练手的玩具,就写在tx ...
- python爬取网页原理_Python:爬虫原理和网页构造
入门网络数据爬取,也就是Python爬虫 现实中我们使用浏览器访问网页时,网络是怎么运转的,做了什么呢? 首先,必须了解网络连接基本过程原理,然后,再进入爬虫原理了解就好理解的多了. 1.网络连接原理 ...
最新文章
- SAP LSMW 导入Open PO单据,系统报错 --- GL account 670100 cannot be used ---
- 「微服务系列 13」熔断限流隔离降级
- 调试pcb板子的步骤
- boost::spirit模块实现一个复数微生成器的测试程序
- pytorch 查看中间变量的梯度
- IOS高级编程之二:IOS的数据存储与IO
- 手机壁纸自动采集小程序源码
- Android 学习笔记 Service服务与远程通信...(AIDL)
- Longest Subsequence CodeForces - 632D (lcm)
- 驱动精灵w8ndows xp sp2,独家率先支持Win8 驱动精灵2011 SP2发布
- photoshop合并图层:向下合并、合并选中层、合并可见图层、拼合图像操作
- 【运维】在阿里云服务器上给Ubuntu安装桌面系统
- CentOS 6.4安装配置ldap
- 炒作房地产对个人三观之扭曲
- STM32---RESET按键功能
- 日志采集 - Filebeat
- 基于matlab的汽车牌照识别程序 (完整的代码+数据集+报告毕业设计)
- sketchup随手笔记
- 北京地税数据复制容灾方案_SharePlex应用
- 怎么设置电脑壁纸居中显示
热门文章
- 名编辑电子杂志大师教程 | 名编辑在线电子书如何生成手机桌面图标?
- Python知识拓展
- ICD建模功能约束(详见DL/T860.73附录B)
- spreadjs~~一个Excel在线编辑的工具
- Wifi 认证,关联,四次握手(WPA/WPA2/WPA3-SAE)
- 深富策略:市场良性回踩 注意把握节奏
- 中国将取代德国成世界第三大经济体
- Lynda课程中文字幕 Network Automation Quick Start 网络自动化快速入门
- jQuery从入门到进阶视频教程-汤小洋-专题视频课程
- 有 50 家人家,每家一条狗。有一天警察通知, 50 条狗当中有病狗,行为和正常狗不一样。每人只能通过观察别 人家的狗来判断自己家的狗是否生病,而不能看自己家的狗,如果判断出自己家的狗病了,就必须当天