python来一份情书采集备用python xpath

import requests
from lxml import etree
import time
class Book():
def init(self):
self.url = “http://www.qingshu.so/lmqs.html”
self.headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36”
}

def get_data(self):response = requests.get(url=self.url, headers=self.headers)response.encoding = "utf-8"return response.text
def parse(self,data):tree = etree.HTML(data)mainlist = tree.xpath('//div[@class="item"]')fp = open("./烂漫情书.txt", "w", encoding='UTF-8')for main in mainlist:mainsrc="http://www.qingshu.so"+ str(main.xpath('.//div[@class="des"]//@href ')[0])# http://www.qingshu.so/aiqing/1669.htmlres=requests.get(mainsrc,headers=self.headers)res.encoding="utf-8"res_text=res.texttree1=etree.HTML(res_text)h1=tree1.xpath('//h1[@class="a_title"]/a/text()')[0]# print(h1)p1=tree1.xpath('//div[@class="a_content clearfix"]//text()')[0]fp.write(str(h1)+"\n"+str(p1)+'\n')print(h1,"下载成功")

if name == ‘main’:
book=Book()
data=book.get_data()
book.parse(data)

python来一份情书采集备用python xpath相关推荐

用python写情书_资深Python程序员用图片隐写术写情书，全公司只有她能看懂，绝了...
谁说程序员不浪漫!他从事python工作七八年,为了追公司的女同事,竟然用python的图片隐写术在图片上写情书,让全公司只有她才能看懂. image 先介绍一下图片隐写术吧,这是一门有关于将信息隐藏 ...
用python写情书_用Python给喜欢人的发一封邮件吧(群发)
你好,我是goldsunC 让我们一起进步吧! 利用Python发送邮件相信我们每个人都用过邮箱,虽然其它社交聊天软件已经非常普及,并且这些社交软件大多都具有文件发送的功能,但很多时候我们仍然离不开 ...
用python写情书_Fedora写给Python的情书
运维开发网 https://www.qedev.com 2021-01-16 09:35 出处:51CTO作者:mb5ff590c45613d Fedora写给Python的情书诗书塞外Python程 ...
Ubuntu系统下python opencv视频采集：使用USB端口映射指定要读取的相机设备
Ubuntu16.04 下 python opencv 视频采集:使用USB端口映射指定要读取的相机设备有时我们需要读取指定设备的视频流,但笔记本电脑通常自带相机,同时可能连接多个USB相机,每次插 ...
Python网络爬虫开发实战使用XPath，xpath的多种用法
XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言.它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索. 很多人学习python, ...
python网络爬虫系列教程——python中lxml库应用全解（xpath表达式）
全栈工程师开发手册 (作者:栾鹏) python教程全解 python网络爬虫lxml库的应用全解. 在线安装方法:cmd中输入"pip install lxml" 离线安装,下载 ...
Python 爬虫找到数据了 re XPath requests Pool
Python 爬虫找到数据了 re & XPath & requests & Pool 2018.06.16 23:18 88浏览字号是的,爬虫就是为了获取数据.在获取的数 ...
小白学 Python 爬虫（20）：Xpath 进阶
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Li ...
python金融分析小知识(12)——python爬虫工具xpath使用
Hello 大家好,我是一名新来的金融领域打工人,日常分享一些python知识,都是自己在学习生活中遇到的一些问题,分享给大家,希望对大家有一定的帮助! 本篇文章紧接上一篇文章,python金融分析小 ...

python来一份情书采集备用python xpath

python来一份情书采集备用python xpath相关推荐

最新文章

热门文章

python来一份情书采集 备用python xpath

python来一份情书采集 备用python xpath相关推荐

最新文章

热门文章

python来一份情书采集备用python xpath

python来一份情书采集备用python xpath相关推荐