python3.7爬取墨菲定律保存在本地txt

#!/usr/local/bin/python3.7
# -*- coding: utf-8 -*-
# @Time: 2019/07/15
# @Function 获取在线文本内容import requests
from bs4 import BeautifulSoup
import re
import codecsurl = 'https://www.shuhaige.com/7518/'
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36','Origin': 'https://www.shuhaige.com','Host': 'www.shuhaige.com'
}
# 设置代理服务器
proxies = {'http:': 'http://121.232.146.184','https:': 'https://144.255.48.197'
}def getContent():contents = requests.get(url, headers=header).texthtml = BeautifulSoup(contents, 'html.parser')lists = html.select('dl')[0].select('a')for list in lists:itemUrl = f'https://www.shuhaige.com{list["href"]}'itemContent = requests.get(itemUrl, headers=header).textitemHtml = BeautifulSoup(itemContent, 'html.parser')saveToTxt(itemHtml.select('div .content')[0], list.string)# 写入文本文件
def saveToTxt(comments, title):commentsList = ''for item in comments:comment_info = f'{item}'.replace(f'<br/>', '')comment_info = re.sub(f'<p>.*</p>', '', comment_info)commentsList += comment_infowith codecs.open(f'MoFeiDingLv/{title}.txt', 'w', encoding='utf-8') as file:file.writelines(commentsList)print(f'{title}写入文件成功!')getContent()

　　书本内容来自书海阁《墨菲定律》

转载于:https://www.cnblogs.com/Man-Dream-Necessary/p/11193415.html

python3.7爬取墨菲定律保存在本地txt相关推荐

python3.7保存_python3.7爬取墨菲定律保存在本地txt
#!/usr/local/bin/python3.7 # -*- coding: utf-8 -*- # @Time: 2019/07/15 # @Function 获取在线文本内容 import r ...
Python爬取起点小说并保存到本地文件夹和MongoDB数据库中
Python爬取起点小说并保存到本地MongoDB数据库中工具:Python3.7 + Mongo4.0 + Pycharm """ 爬取起点小说<诡秘之主> ...
Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂，注释超级全，代码可以直接运行】
Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...
node.js 爬虫实现爬取网页图片并保存到本地
node.js 爬虫实现爬取网页图片并保存到本地没有废话直接看代码 /*** 请求网站数据* 将数据保存本地文件*/ //不同协议引用不同模块,http https const http = re ...
java爬取网页并保存_第九讲：Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...
第九讲：Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...
python爬取一张图片并保存_python爬取网页图片并保存到本地
先把原理梳理一下:首先我们要爬取网页的代码,然后从中提取图片的地址,通过获取到的地址来下载数据,并保存在文件中,完成. 下面是具体步骤: 先确定目标,我挑选的是国服守望先锋的官网的英雄页面,我的目标是 ...
python爬取一张图片并保存_第九讲：Python爬取网页图片并保存到本地
上一讲我们说了如何把网页的数据通过分析后存储到数据库,我们这次讲如何将网页上的图片提取并下载到本地. 思路如下: 我们本次要爬取的是昵图网首页的图片. 1.首先分析我们要爬取的网页的代码结构,每个网页 ...
爬取网站图片并保存到本地
第一步:模拟浏览器发出请求,获取网页数据 import requests# 目标网站 url = 'https://baijiahao.baidu.com/s?id=16872785093955534 ...
python3自动爬取网页资源并保存为epub电子书
使用Python获取网页内容并生成EPUB格式电子书前言 EPUB的介绍思路代码示例前言现在的有很多电子书都不能下载了,只能在线看,但是广告又多.所以想编个程序抓取这些内容生成电子书. EP ...

python3.7爬取墨菲定律保存在本地txt

python3.7爬取墨菲定律保存在本地txt相关推荐

最新文章

热门文章