python爬取新闻发送微信_如何利用 Python 爬虫实现给微信群发新闻早报?(详细)...
image
1. 场景
经常有小伙伴在交流群问我,每天的早报新闻是怎么获取的?
image
其实,早期使用的方案,是利用爬虫获取到一些新闻网站的标题,然后做了一些简单的数据清洗,最后利用 itchat 发送到指定的社群中。
由于爬虫面对 网站改版的不稳定性及 itchat 不安全性,所以放弃了这种方案
后期更改了一种方案,通过修改爬虫方案,创建 API 服务,编写 App 去获取数据,然后手动发送到微信群
本篇文章将和大家详细聊聊具体的实现过程
2. 数据爬取
第 1 步,通过 Python 爬虫获取数据
获取方式有 2 种,分别是:已有的新闻早报网站、新闻网站的头条新闻
选择一种爬虫方式,就能很快地爬取到目标网站的数据
第 2 步,数据清洗,排序
将爬取到的数据先进行一次关键字筛选,然后按照点赞或者阅读数按照热点进行排序
第 3 步,参数化,去重
去掉数据中重复的新闻,然后将最后展示的数目参数化
# 按照点赞数目,降序排列
news_sorted_pro = sorted(news, key=itemgetter('news_approve_num'), reverse=True)
result = []
for news_sorted_item in news_sorted_pro:
result.append(news_sorted_item.get('title'))
# 去重
result = sorted(set(result), key=result.index)
# 只取前12条数据
result = result[:self.news_num] if len(result) >= self.news_num else result
需要注意的是,由于新闻网站会经常改版,建议爬取多个新闻网站,做好异常处理,做一个优先级,如果一个网站爬取数据失败,切换到下一个级别的网站爬取数据
3. 服务化
将数据服务化,即编写 API,目的是为了方便终端调用
如果使用 Python 编写 API,建议使用 FastAPI 或 Flask 框架,因为这两个框架开发 API 方便快捷,以 FastAPI 为例:
第 1 步,安装依赖
包含 FastAPI 框架及 hypercorn 依赖,hypercorn 是独立的 ASGI 服务器,方便 FastAPI 项目的部署
# FastAPI框架
pip3 install fastapi
pip3 install hypercorn
第 2 步,编写 API
使用 FastAPI 很方便,不到 10 行代码就能编写一个接口服务
只需要实例化 FastAPI 对象,利用装饰器指定请求方法和路径即可,调用上面的爬虫方法即可。
from fastapi import FastAPI
# 实例化
app = FastAPI()
# API,Get方式
@app.get("/last_news")
def get_last_news():
"""
最新的新闻
:return:
"""
news = get_news()
data = {
'code': 0,
'news': news
}
# 封装
return data
如要想本地调试 API,可以通过 uvicorn 命令运行项目
# 运行项目
uvicorn news:app --reload
然后访问下面的地址,查看返回的新闻数据
image
第 3 步,生成依赖迁移文件
使用 pip freeze 命令将在本地生成依赖迁移文件
# 生成迁移文件
pip freeze > requirements.txt
第 4 步,上传代码
将代码上传到代码托管平台,比如:码云、GitLab 等
第 5 步,服务器拉取代码
服务器中通过 git 拉取代码,并通过依赖文件一键安装所有依赖
# 安装依赖
pip3 install -r requirements.txt
第 6 步,运行服务
使用 hypercorn 运行 FastAPI 项目,使进程一直在后台运行,并保存运行日志信息
# 后台运行
# 保存日志,绑定端口号为:8000
nohup hypercorn news:app --bind 0.0.0.0:8000 > /news.log 2>&1 &
需要注意的是,项目绑定的端口号需要在防火墙和云服务器安全组开启
当然,如果使用 Java 编写 API,推荐使用 Spring Boot,可以快速开发一个 Restful API 服务
4. 编写 App
完成 API 服务之后,接下来就是在终端编写一款 App 去访问 API,拿到数据并展示出来
以编写一款 Android 应用为例
首先,我们在界面上放置一个文本显示框和一个按钮控件
然后,对按钮控件设置点击事件的监听
get_news_btn = findViewById(R.id.get_news_btn);
//监听事件
get_news_btn.setOnClickListener(this);
@Override
public void onClick(View v)
{
switch (v.getId())
{
case R.id.get_news_btn:
news_et.setText("获取中。。。");
getNewsMet();
break;
}
}
}
接着,使用 Android 的网络请求框架 OkHttp 框架调用 API 获取数据
/***
* 获取新闻
*/
private void getNewsMet()
{
OkHttpClient okHttpClient = new OkHttpClient();
//构建请求信息:连接请求url 请求方法method 请求头部headers 请求体body 标签tag
Request request = new Request.Builder().url(url).get().build();
// Call call = okHttpClient.newCall(request);
okHttpClient.newCall(request).enqueue(new Callback()
{
@Override
public void onFailure(Call call, IOException e)
{
Log.d("xag", "获取失败");
showResult(false, "");
}
@Override
public void onResponse(Call call, final Response response) throws IOException
{
Log.d("xag", "获取成功")
parseJsonWithJsonObject(response);
}
});
}
最后,将新闻数据显示在文本控件中,并复制到系统剪切板
private void copyToClip(String content)
{
//获取剪贴板管理器:
ClipboardManager cm = (ClipboardManager) getSystemService(CLIPBOARD_SERVICE);
// 创建普通字符型ClipData
ClipData mClipData = ClipData.newPlainText("Label", content);
// 将ClipData内容放到系统剪贴板里。
if (null != cm)
{
cm.setPrimaryClip(mClipData);
}
}
如果只有 iOS 设备,使用 Xcode 编写 iOS 应用,建议将 Xcode 升级到 11.0 以上
创建项目的时候,推荐使用 SwiftUI 构建 UI 界面,然后利用 CocoaPods 添加 Alamofire 网络请求依赖库,其他操作步骤和 Android 端类似,这里不展开说明
# Uncomment the next line to define a global platform for your project
source 'https://github.com/CocoaPods/Specs.git'
platform :ios, '9.0'
use_frameworks!
target 'news_eve' do
# Comment the next line if you don't want to use dynamic frameworks
pod 'Alamofire'
pod 'SwiftyJSON'
pod 'HandyJSON'
# Pods for news_eve
end
5. 最后
上面步骤只需要点击 App 中的按钮,早报新闻就复制到系统剪切板了,接着可以转发到多个微信群了
当然,最后一步也可以利用 SoloPi 或者无障碍,将内容利用自动化操作,一键转发出去
我已经将文中部分源码上传到后台,关注公众号 AirPython 后回复「 早报 」即可获得全部源码
如果你觉得文章还不错,请大家点赞分享下。你的肯定是我最大的鼓励和支持。
python爬取新闻发送微信_如何利用 Python 爬虫实现给微信群发新闻早报?(详细)...相关推荐
- python爬取b站数据_如果利用Python爬取B站上千万数据?B站直播都是大屌萌妹吗?...
粉丝独白 说起热门的B站相信很多喜欢玩动漫的,看最有创意的Up主的同学一定非常熟悉.我突发奇想学Python这么久了,为啥不用Python爬取B站中我关注的人,已经关注的人他们关注的人,看看全站里面热 ...
- python爬取国家男女比例_如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例?...
这个实现起来很简单,微信专门给python提供了一个接口包itchat,我们可以通过这个接口获取微信好友信息,继而统计好友数量和男女比例,下面我大概介绍一下实现过程及主要代码,实验环境win7+pyt ...
- 如何用python爬取公众号文章_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
- python爬取网页公开数据_如何用Python爬取网页数据
使用Python爬取网页数据的方法: 一.利用webbrowser.open()打开一个网站:>>> import webbrowser >>> webbrowse ...
- 编程python爬取网页数据教程_实例讲解Python爬取网页数据
一.利用webbrowser.open()打开一个网站: >>> import webbrowser >>> webbrowser.open('http://i.f ...
- python能爬取网站后台数据_如何利用Python爬取网站数据?
1.基本方法 其实用python爬取网页很简单,只有简单的几句话 这样就可以获得到页面的内容.接下来再用正则匹配去匹配所需要的内容就行了.但是,真正要做起来,就会有各种各样的细节问题. 2.登录 这是 ...
- python爬取网易云音乐_我用Python爬取了网易云音乐
原标题:我用Python爬取了网易云音乐 来源:别动我的猫尾巴 headers需要进行修改,headers设置不对会被屏蔽导致爬取不成功.一个headers用久了也会爬取不成功 代码如下: impor ...
- python爬取网站教学视频_零基础Python爬取网页文章和图片详细教学(内附源码、教学视频)...
Python爬虫,这个我相信对于很多人来说都不陌生! 今天小编给大家提供一份零基础Python爬取网页图片以及小说的代码并且详细的和大家讲解一下! 开发环境:版本Python3.6.2!(2版本会在2 ...
- python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
- python爬取知乎评论_从零开始写Python爬虫 --- 爬虫应用:IT之家热门段子(评论)爬取...
不知道这里有没有喜欢刷it之家的小伙伴,我反正每天早上醒来第一件事就是打开it之家,看看有没有新鲜的段子 逃~ 其实这次是要来抓取it之家的热门评论,因为数量较多(上万),所以我们这次采用MongoD ...
最新文章
- OpenCV Hough Line变换
- 【H5唤起微信“扫一扫”】舒工自定义微信H5唤起扫码Vue组件sg-scan.vue(扫码按钮大概是在底部),注意只是代码片段,不含微信鉴权业务流程
- 青少年电子信息智能创新大赛 赛项说明(Scratch编程创新挑战赛)
- 润乾V5部署url应用名为空applet无法打印解决方案
- SpringBoot RabbitMQ 延迟队列代码实现
- 修改CodeSmith中的SchemaExplorer.MySQLSchemaProvider
- C、C++中的转义符
- python 机器学习_使用Python启动机器学习
- 当同时安装Python2和Python3后,如何兼容并切换使用详解(比如pip使用)
- mysql使用bka_MySQL Batched Key Access (BKA)原理和设置使用方法举例
- xdebug 远程调试
- 神经网络前向引擎内存复用技术(基于caffe)
- MySQL删除主键的操作方法
- python之路day4_python之路day4
- std::string与MFC的CString的比较
- 地板之间出现缝隙如何处理?
- 网易邮箱异常信息说明
- 关于cesium1.92以上版本无法加载draco压缩模型问题
- php模拟登录强智教务,湖南强智科技教务系统python模拟登录并爬取成绩(财院)...
- Python-脾气暴躁
热门文章
- 系统没有安装vc9.注意是x86 32位_Windows 软件默认安装位置之谜
- 华硕z170a如何开启m2_跑得快也要站得稳,华硕灵珑II笔记本保护你的数据安全
- php如何对mysql加锁_PHP+MySQL高并发加锁事务处理问题解决方法
- java冒泡法排序实例_Java冒泡法排序实例
- mvc5控制器修改html,ASP.NET MVC Razor:如何在控制器动作中呈现Razor局部视图的HTML...
- u盘efi安装linux6.5,CentOS6.5安装的UEFI-GPT回退为MBR引导详解
- 基于JAVA+Swing+MYSQL的超市管理系统
- 基于JAVA+Servlet+JSP+MYSQL的毕业生就业管理系统
- 车站广播系统采用计算机,公共广播系统
- iptables随笔