Python爬取网站小说保存txt，pdf文件

# 爬取小说 http://www.hengyan.com/dir/9495.aspxfrom lxml.html import etree
import requests
import re
import os
import pdfkithost = "http://www.hengyan.com"
url = "http://www.hengyan.com/dir/9495.aspx"
temp = ''
outPutDirName = 'D:/Book/'
config = pdfkit.configuration(wkhtmltopdf=r"D:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe")if not os.path.exists(outPutDirName):# 如果文件目录不存在则创建目录os.makedirs(outPutDirName)response = requests.get(url)
selector = etree.HTML(response.text)for i in range(1, 43):words = selector.xpath('//*[@id="left"]/div[3]/ul/li[' + str(i) + ']/a/text()')hrefs = selector.xpath('//*[@id="left"]/div[3]/ul/li[' + str(i) + ']/a/@href')address = host + ''.join(hrefs)print(words, address)html = requests.get(address)content = etree.HTML(html.text)block = content.xpath('//*[@class="contentitem"]/div[3]')sub_str = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a-\u3000])", "", str(''.join(words)))  # 剔除非法字符filename = outPutDirName + sub_str + '.txt'for j in block:aaa = j.xpath('./p/text()')bbb = '\n'.join(aaa)bbb.strip()bbb.replace(' ', '')# print(bbb)file = open(filename , 'w')file.write(bbb)file.close()temp = temp + '\n'.join(words) + '</br>' + bbb + '</br>'temp.replace('\n', '</br>')
# 写成pdf
last_pdf = '<html><head><meta charset="UTF-8"></head>' \'<body><div align="center"><p>%s</p></div></body></html>' %temppdfkit.from_string(last_pdf, "./民间烧尸怪谈.pdf", configuration=config)

Python爬取网站小说保存txt，pdf文件相关推荐

Python爬取起点小说并保存到本地文件夹和MongoDB数据库中
Python爬取起点小说并保存到本地MongoDB数据库中工具:Python3.7 + Mongo4.0 + Pycharm """ 爬取起点小说<诡秘之主> ...
Python爬取网站图片并保存，超级简单
Python爬取网站图片并保存,超级简单先看看结果吧,去bilibili上拿到的图片=-= 第一步,导入模块 import requests from bs4 import BeautifulSou ...
python爬取网站源代码+图片
python爬取网站源代码+图片需求分析基础知识正则表达式 python网络请求文件读写实现基本思路具体实现结果总结需求分析大部分有志青年都想建立属于自己的个人网站,从零开始设计 ...
完全小白篇-使用Python爬取网络小说
完全小白篇-使用Python爬取网络小说一.找一个你要爬取的小说二.分析网页网页的展示方式需要用到的库文件三.向网站发送请求四.正则提取五.跳转的逻辑六.后续处理七.保存信息进入do ...
python爬取顶点小说简单版
python爬取顶点小说简单版爬取网络资源首先要下载requests库因为这里面也有数据提取和分析所以也要有etree库,re库下载库的代码是:pip install 库名如:pip inst ...
python爬取有声小说_2019-04-23-Python爬取有声小说
Python爬取有声小说 [toc] 通过python爬取网站的资源,实现批量下载功能: 记录一次自己的学习经历,小白,非专业,难免有不足之处,望读者取其精华! 摘要功能如下: 1.批量下载 2.批 ...
Python爬取有声小说
Python爬取有声小说文章目录 Python爬取有声小说摘要 1.获取下载链接 2.分析规律,循环爬取 3.保存到本地,批量命名 4.界面设计 5.效果展示通过python爬取网站的资源,实现 ...
python爬取网站的图片
python爬取网站的图片本次爬取图片所需要用到的库:Requests库,BeautifulSoup库,正则表达式,os库. 思路:先爬一张图片,再爬一个网站的图片先爬一张图片: 首先要得到这张图 ...
使用python爬取斗破苍穹小说网
使用python爬取斗破苍穹小说网,学会了以后就不用去看付费的小说了不多bb直接上源码 import requests from bs4 import BeautifulSoupdef file(): ...

Python爬取网站小说保存txt，pdf文件

Python爬取网站小说保存txt，pdf文件相关推荐

最新文章

热门文章