python自动生成采集规则_【仅供学习参考】Python多线程池采集小说，超简单！

[Python] 纯文本查看复制代码#采集小说lingdiankanshu.co

import requests

from lxml import etree

from multiprocessing.dummy import Pool as ThreadPool #多线程

import os

global xsmz

xsmz=''

def cljj(sm):

global xsmz

#url="https://www.lingdiankanshu.co/338379/"

url="https://www.lingdiankanshu.co/{}/".format(sm)

html=requests.get(url,timeout=20).text

#print(html)

ljnr=etree.HTML(html)

#获取小说名

xsm=ljnr.xpath('//*[@id="info"]/h1/text()')

xsmz=xsm[0]

ljs=[]

ljj=ljnr.xpath('//*[@id="list"]/dl/dd/a/@href')

for lj in ljj:

lj=url+lj

ljs.append(lj)

return(ljs)

def cxsnr(url):

global xsmz

#url="https://www.lingdiankanshu.co/338379/2081667.html"

html=requests.get(url,timeout=20).text

#print(html)

xq=etree.HTML(html)

bt=xq.xpath('//*[@class="bookname"]/h1/text()')

bt=bt[0]

print(bt)

nr=xq.xpath('//*[@id="content"]/text()')

xsxq=''

for nrxq in nr:

nrxq.replace('\u3000\u3000','')

xsxq=xsxq+nrxq+'\r\n'

os.makedirs("./xs/"+xsmz+"/", exist_ok=True)

with open('./xs/'+xsmz+'/'+bt+'.txt','w',encoding='utf-8') as f:

f.write(bt+'\r\n'+xsxq)

print(bt+'.txt---采集成功！')

if __name__ == "__main__":

sm=input('请输入书目录：')

urls=cljj(sm)

print(urls)

try:

# 开4个 worker，没有参数时默认是 cpu 的核心数

pool = ThreadPool()

results = pool.map(cxsnr,urls)

pool.close()

pool.join()

except:

print("Error: unable to start thread")

python自动生成采集规则_【仅供学习参考】Python多线程池采集小说，超简单！相关推荐

人力资源学python有意义吗-python爬虫抖音个人资料仅供学习参考切勿用于商业...
本文仅供学习参考切勿用于商业本次爬取使用fiddler+模拟器(下载抖音APP)+pycharm 1. 下载最新版本的fiddler(自行百度下载),以及相关配置 1.1.依次点击,菜单栏-Too ...
DNS欺骗攻击——实现受害者访问任何网站都转向到攻击者指定的网站（仅供学习参考）
DNS欺骗攻击--实现受害者访问任何网站都转向到攻击者指定的网站 (仅供学习参考) 情景要求: 同一局域网内受害者IP:192.168.26.130 攻击者系统Kali Linux,IP地址:192 ...
15kw充电桩电源模块，三相电源模块电路图，仅供学习参考
15kw充电桩电源模块,三相电源模块电路图,仅供学习参考,只包含电路图和PCB文件,无软件代码 id=623312177000&
python爬虫爬取漫画（仅供学习）
项目名: crawl_chuanwu 爬取链接:https://www.manhuadui.com/manhua/chuanwu/ 声明:本项目无任何盈利目的,仅供学习使用,也不会对网站运行造成负担. ...
python图片裁剪对比_Python自动抢视频红包，仅供学习！
本文来源于公众号: AirPython 1 目标场景如今短视频横行的时代,以某短视频为首的,背后依靠着强大的资金后盾,疯狂地对平台用户进行红包轰炸. 与传统的红包不一样,视频红包包含位置的不确 ...
python自动生成ppt报告_把时间还给洞察，且看PPT调研报告自动生成攻略
文/JSong @2017.02.28 在数据分析里面有一句话是说,80%的时间要用于数据清洗和整理,而我觉得理想的状态应该是把更多的把时间花在数据背后的洞察当中.去年11月在简书占了个坑,说要自己写 ...
python抢红包脚本_Python自动抢视频红包，仅供学习！
本文来源于公众号: AirPyt hon 1 目标场景如今短视频横行的时代,以某短视频为首的,背后依靠着强大的资金后盾,疯狂地对平台用户进行红包轰炸. 与传统的红包不一样,视频红包包含位置的不 ...
python自动生成分析报告_利用PYTHON全自动生成分析报告
日常工作当中,特别是金融行业当中,有不少人的工作是提取数据,分析数据,得到可视化图表,并加入自已的研究分析结论,最终生成分析报告,并且有不少报告是定期生成,存在不少重复手工劳动.本文通过一个简单实例, ...
截止20210605的微博部分API汇总——仅供学习参考使用
文章目录免责声明背景 API列表搜索主评论API REQUEST RESPOND 搜索次评论API REQUEST RESPOND 转发评论API REQUEST RESPOND 上传图片API ...

python自动生成采集规则_【仅供学习参考】Python多线程池采集小说，超简单！

python自动生成采集规则_【仅供学习参考】Python多线程池采集小说，超简单！相关推荐

最新文章

热门文章