python爬取每日一文meiriyiwen.com

爬取 meiriyiwen.com 的每日一文和随机文章保存到程序的相同目录下的 article.txt 文件中

import requests
from lxml import etree
import time
import osdef getArticle(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}# get 请求r = requests.get(url, headers=headers)# 提取数据html = etree.HTML(r.text)article = html.xpath('//h1/text() | //p[@class="article_author"]/span/text() | //div[@class="article_text"]/p/text()')# 追加的方式写到文本文件中with open('article.txt', 'a+', encoding='utf-8') as f:f.write(time.ctime() + '\n\n《' + article[0] + '》' + '\n\n作者：' + article[1] + '\n\n')f.write('\n'.join(article[2:]))f.write('\n\n')url = 'https://meiriyiwen.com'
try:mark = int(input('今日文章--输入0\n''随机文章--输入篇数(最高100)\n'))if mark is 0:print('今日文章')getArticle(url)print('OK')else:print('随机文章')# 这里设置最高爬取一百篇随机文章for i in range(min(mark, 100)):getArticle(url + '/random')time.sleep(1)print('第' + str(i + 1) + '篇OK')
except ValueError:print('请输入数字')os.system('pause')

python爬取每日一文meiriyiwen.com相关推荐

python爬取知网论文信息
用Python爬取指望关于某个主题的所有论文摘要等信息. 很幸运的找到了一个大佬的代码来自己改改改! 先放大佬代码连接 Git 接下来就是我自己嚯嚯嚯改的,很小白的了... 应该是很详细得了为了看懂 ...
Python 爬取每日北上资金数据
北上资金一直被誉为"聪明钱",擅长左侧交易.现在很多机构和大户都会盯着北上资金调整自己的交易.这似乎已经是公开的秘密了.香港证券交易python教程所每天收盘都会公布当天北上资金的 ...
python爬取知网论文关键词_Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】...
搜索出来的结果和知网上的结果几乎一样,另外以后面试找Python工作,项目经验展示是核心,如果你缺项目练习,去小编的Python交流.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,里面很多新 ...
python爬取文件归类_python爬取各类文档方法归类汇总
HTML文档是互联网上的主要文档类型,但还存在如TXT.WORD.excel.PDF.csv等多种类型的文档.网络爬虫不仅需要能够抓取HTML中的敏感信息,也需要有抓取其他类型文档的能力.下面简要记录 ...
爬取每日必应图片，python爬虫简单入门
爬取每日必应图片: 网址:微软必应搜索第一步,打开网站: 右键,查看网页源代码: 初看有点吓人,不过幸运的是图片地址就在开头几行显眼的位置 ![在这里插入图片描述](https://img-blog ...
Python爬取起点小说并写入文档
python爬取起点免费小说按F12查看网页源代码: 发现每一章小说链接在li中,这时可以提取每一章的链接: def get_html(url):r=requests.get(url)html=Be ...
python爬取气象台每日天气图代码
特别鸣谢以下更多python教程请到友情连接: 菜鸟教程https://www.piaodoo.com 初中毕业读什么技校 http://cntkd.net 茂名一技http://www.enechn ...
[Python] 爬取材料力学Ⅰ第六版刘鸿文-指导与例题习题解答
[Python] 爬取材料力学Ⅰ第六版刘鸿文-指导与例题习题解答下载书<材料力学Ⅰ 第六版刘鸿文-指导与例题习题解答>的全部图片下载的图片保存在./cailiaolixue里,全部 ...
【爬虫+数据可视化】Python爬取CSDN博客访问量数据并绘制成柱状图
以下内容为本人原创,欢迎大家观看学习,禁止用于商业及非法用途,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/article/ ...

python爬取每日一文meiriyiwen.com

python爬取每日一文meiriyiwen.com相关推荐

最新文章

热门文章