python采集数据搭建小说网站_Python制作爬虫采集小说
开发工具:python3.4
操作系统:win8
主要功能:去指定小说网页爬小说目录,按章节保存到本地,并将爬过的网页保存到本地配置文件。
被爬网站:http://www.cishuge.com/
小说名称:灵棺夜行
代码出处:本人亲自码的
import urllib.request
import http.cookiejar
import socket
import time
import re
timeout = 20
socket.setdefaulttimeout(timeout)
sleep_download_time = 10
time.sleep(sleep_download_time)
def makeMyOpener(head = {
'Connection': 'Keep-Alive',
'Accept': 'text/html, application/xhtml+xml, */*',
'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
}):
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
header = []
for key, value in head.items():
elem = (key, value)
header.append(elem)
opener.addheaders = header
return opener
def saveFile(save_path,txts):
f_obj = open(save_path,'w+')
for item in txts:
f_obj.write(item+'\n')
f_obj.close()
#get_code_list
code_list='http://www.cishuge.com/read/0/771/'
oper = makeMyOpener()
uop = oper.open(code_list,timeout=1000)
data = uop.read().decode('gbk','ignore')
pattern = re.compile('
(.*?)',re.S)
items = re.findall(pattern,data)
print ('获取列表完成')
url_path='url_file.txt'
url_r=open(url_path,'r')
url_arr=url_r.readlines(100000)
url_r.close()
print (len(url_arr))
url_file=open(url_path,'a')
print ('获取已下载网址')
for tmp in items:
save_path = tmp[1].replace(' ','')+'.txt'
url = code_list+tmp[0]
if url+'\n' in url_arr:
continue
print('写日志:'+url+'\n')
url_file.write(url+'\n')
opene = makeMyOpener()
op1 = opene.open(url,timeout=1000)
data = op1.read().decode('gbk','ignore')
opene.close()
pattern = re.compile(' (.*?)
',re.S)
txts = re.findall(pattern,data)
saveFile(save_path,txts)
url_file.close()
虽然代码还是有点瑕疵,还是分享给大家,一起改进
本条技术文章来源于互联网,如果无意侵犯您的权益请点击此处反馈版权投诉
本文系统来源:php中文网
python采集数据搭建小说网站_Python制作爬虫采集小说相关推荐
- python爬虫小说设计过程_Python制作爬虫采集小说
开发工具:python3.4 操作系统:win8 主要功能:去指定小说网页爬小说目录,按章节保存到本地,并将爬过的网页保存到本地配置文件. 被爬网站:http://www.cishuge.com/ 小 ...
- Python+Flask框架搭建可视化网站
Python+Flask框架搭建可视化网站 一.项目结构 二.app.py from flask import Flask,render_template import sqlite3app = Fl ...
- python实现数据爬取——糗事百科爬虫项目
python实现数据爬取--糗事百科爬虫项目 # urllib.request 请求模块 import urllib.request # re 模块使 Python 语言拥有全部的正则表达式功能. i ...
- 织梦dedecms小说网站源码|带采集+搭建方式
介绍: 织梦dedecms小说网站源码,带全自动采集功能. 此套源码某宝买的,东西全套! 源码文件夹带部署搭建教程, 与普通织梦安装方法几乎一致,另外有专门的官方教程,非常详细. 网盘下载地址: ht ...
- python爬取小说网站_Python爬取小说网站下载小说
1前言 这个小程序是用来爬取小说网站的小说的,一般的盗版小说网站都是很好爬取的 因为这种网站基本没有反爬虫机制的,所以可以直接爬取 该小程序以该网站http://www.126shu.com/15/下 ...
- matlab制作以太网数据接收上位机_Python制作串口通讯上位机
串口通讯具有简单易用的特点广泛应用于测试设备的通讯和数据传递.单片机与计算机的通讯等,本案例基于Python语言制作一个用于接收燃油质量流量计的串口通讯上位机,实现数据的读取和保存. 1. 相关知识点 ...
- python保存数据到本地文件_python保存数据到本地文件的方法
python保存数据到本地文件的方法 1.保存列表为.txt文件 #1/list写入txt ipTable = ['158.59.194.213', '18.9.14.13', '58.59.14.2 ...
- python做疫情数据分析的框架_Python制作新冠疫情世界地图
目录 pyecharts模块 简介 Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可.而 Python 是一门富有表达力的语言,很适合用于数据处 ...
- python使用代理ip访问网站_python使用代理ip访问网站的实例
实例如下所示: # -*- coding: UTF-8 -*- from urllib import request if __name__ == "__main__": #访问网 ...
- python统计小说人物_python统计喜欢的小说主角出场次数
这周老师布置了一项作业,让我们回去将自己喜欢的小说里面的主角出场次数统计出来,我对这个充满了兴趣,但我遇到了三个问题: (1)一开始选了一部超长的小说(最爱之一),但是运行时老是不行,老是显示下图错误 ...
最新文章
- python数据分析平均时间间隔_python 数据分析中常用的时间--datetime操作
- 一款霸榜 GitHub 的开源 Linux 资源监视器!
- 博后招募 | 新加坡国立大学WING实验室招募自然语言处理方向博士后
- [小才能]防备误删文件
- 2019-1-15 课后作业
- SQL里学习通配符时LIKE和RLIKE的区别
- Matlab clear, clc 和close函数
- 安装oracle的口令是,Oracle中口令设置、用户解锁、卸载等问题
- ROR no such file to load -- sqlite3 错误解决方法
- JS中的大括号{}和中括号[]详解
- [转载] 字符串最长重复子串python_查找字符串中重复字符的最长子字符串
- 给大家带来点福利 整理了一些学习网站,问答网站,和IT咨询网站
- iframe父页面和子页面高度自适应
- 基于词典的情感分析实验
- 计算机绘画教案风车,电脑动画美术教案
- fifo的rdata_异步FIFO设计与实现
- linux关闭firefox进程,Firefox 68+ 怎样关闭多进程
- 互联网晚报 | 11月18日 星期四 | 看点直播将于11月30日停止服务;B站月活用户达2.67亿;高通宣布进军汽车领域...
- 【最佳实践】瀚高数据库 Windows企业版v6.0.4 的安装
- 触摸屏——S5PV210的触摸屏的理论与操作