ios安装python的步骤_如何利用 Python 爬虫实现给微信群发新闻早报?(详细)
点击上方“AirPython”,选择“加为星标”
第一时间关注 Python 技术干货!
1. 场景
经常有小伙伴在交流群问我,每天的早报新闻是怎么获取的?
其实,早期使用的方案,是利用爬虫获取到一些新闻网站的标题,然后做了一些简单的数据清洗,最后利用 itchat 发送到指定的社群中。
由于爬虫面对 网站改版的不稳定性及 itchat 不安全性,所以放弃了这种方案
后期更改了一种方案,通过修改爬虫方案,创建 API 服务,编写 App 去获取数据,然后手动发送到微信群
本篇文章将和大家详细聊聊具体的实现过程
2. 数据爬取
第 1 步,通过 Python 爬虫获取数据
获取方式有 2 种,分别是:已有的新闻早报网站、新闻网站的头条新闻
选择一种爬虫方式,就能很快地爬取到目标网站的数据
第 2 步,数据清洗,排序
将爬取到的数据先进行一次关键字筛选,然后按照点赞或者阅读数按照热点进行排序
第 3 步,参数化,去重
去掉数据中重复的新闻,然后将最后展示的数目参数化
# 按照点赞数目,降序排列news_sorted_pro = sorted(news, key=itemgetter('news_approve_num'), reverse=True)
result = []
for news_sorted_item in news_sorted_pro: result.append(news_sorted_item.get('title'))
# 去重result = sorted(set(result), key=result.index)
# 只取前12条数据result = result[:self.news_num] if len(result) >= self.news_num else result
需要注意的是,由于新闻网站会经常改版,建议爬取多个新闻网站,做好异常处理,做一个优先级,如果一个网站爬取数据失败,切换到下一个级别的网站爬取数据
3. 服务化
将数据服务化,即编写 API,目的是为了方便终端调用
如果使用 Python 编写 API,建议使用 FastAPI 或 Flask 框架,因为这两个框架开发 API 方便快捷,以 FastAPI 为例:
第 1 步,安装依赖
包含 FastAPI 框架及 hypercorn 依赖,hypercorn 是独立的 ASGI 服务器,方便 FastAPI 项目的部署
# FastAPI框架pip3 install fastapi
pip3 install hypercorn
第 2 步,编写 API
使用 FastAPI 很方便,不到 10 行代码就能编写一个接口服务
只需要实例化 FastAPI 对象,利用装饰器指定请求方法和路径即可,调用上面的爬虫方法即可。
from fastapi import FastAPI
# 实例化app = FastAPI()
# API,Get方式@app.get("/last_news")def get_last_news(): """ 最新的新闻 :return: """ news = get_news()
data = { 'code': 0, 'news': news }
# 封装 return data
如要想本地调试 API,可以通过 uvicorn 命令运行项目
# 运行项目uvicorn news:app --reload
然后访问下面的地址,查看返回的新闻数据
http://127.0.0.1:8000/last_news
第 3 步,生成依赖迁移文件
使用 pip freeze 命令将在本地生成依赖迁移文件
# 生成迁移文件pip freeze > requirements.txt
第 4 步,上传代码
将代码上传到代码托管平台,比如:码云、GitLab 等
第 5 步,服务器拉取代码
服务器中通过 git 拉取代码,并通过依赖文件一键安装所有依赖
# 安装依赖pip3 install -r requirements.txt
第 6 步,运行服务
使用 hypercorn 运行 FastAPI 项目,使进程一直在后台运行,并保存运行日志信息
# 后台运行# 保存日志,绑定端口号为:8000# nohup hypercorn news:app --bind 0.0.0.0:8000 > /news.log 2>&1 &
需要注意的是,项目绑定的端口号需要在防火墙和云服务器安全组开启
当然,如果使用 Java 编写 API,推荐使用 Spring Boot,可以快速开发一个 Restful API 服务
4. 编写 App
完成 API 服务之后,接下来就是在终端编写一款 App 去访问 API,拿到数据并展示出来
以编写一款 Android 应用为例
首先,我们在界面上放置一个文本显示框和一个按钮控件
然后,对按钮控件设置点击事件的监听
get_news_btn = findViewById(R.id.get_news_btn);
//监听事件get_news_btn.setOnClickListener(this);
@Overridepublic void onClick(View v){ switch (v.getId()) { case R.id.get_news_btn: news_et.setText("获取中。。。"); getNewsMet(); break; } }
接着,使用 Android 的网络请求框架 OkHttp 框架调用 API 获取数据
/**** 获取新闻*/private void getNewsMet(){ OkHttpClient okHttpClient = new OkHttpClient(); //构建请求信息:连接请求url 请求方法method 请求头部headers 请求体body 标签tag Request request = new Request.Builder().url(url).get().build();// Call call = okHttpClient.newCall(request);
okHttpClient.newCall(request).enqueue(new Callback() { @Override public void onFailure(Call call, IOException e){ Log.d("xag", "获取失败"); showResult(false, ""); }
@Override public void onResponse(Call call, final Response response) throws IOException{ Log.d("xag", "获取成功") parseJsonWithJsonObject(response); } });}
最后,将新闻数据显示在文本控件中,并复制到系统剪切板
private void copyToClip(String content){ //获取剪贴板管理器: ClipboardManager cm = (ClipboardManager) getSystemService(CLIPBOARD_SERVICE); // 创建普通字符型ClipData ClipData mClipData = ClipData.newPlainText("Label", content); // 将ClipData内容放到系统剪贴板里。 if (null != cm) { cm.setPrimaryClip(mClipData); }}
如果只有 iOS 设备,使用 Xcode 编写 iOS 应用,建议将 Xcode 升级到 11.0 以上
创建项目的时候,推荐使用 SwiftUI 构建 UI 界面,然后利用 CocoaPods 添加 Alamofire 网络请求依赖库,其他操作步骤和 Android 端类似,这里不展开说明
# Uncomment the next line to define a global platform for your projectsource 'https://github.com/CocoaPods/Specs.git'
platform :ios, '9.0'
use_frameworks!
target 'news_eve' do # Comment the next line if you don't want to use dynamic frameworks pod 'Alamofire' pod 'SwiftyJSON' pod 'HandyJSON' # Pods for news_eve
end
5. 最后
上面步骤只需要点击 App 中的按钮,早报新闻就复制到系统剪切板了,接着可以转发到多个微信群了
当然,最后一步也可以利用 SoloPi 或者无障碍,将内容利用自动化操作,一键转发出去
我已经将文中部分源码上传到后台,关注公众号后回复「 早报 」即可获得全部源码
如果你觉得文章还不错,请大家点赞分享下。你的肯定是我最大的鼓励和支持。
留言送书
今日赠书:《Web前端性能优化》PS:每周的中奖名单会在次周在技术交流群公布推荐阅读如何用 PyQt5 快速构建一个简单的 GUI 应用推荐几款优质 Chrome 摸鱼插件,带你畅快划水用 Python 分析微信群聊记录,是怎样一种体验?
ios安装python的步骤_如何利用 Python 爬虫实现给微信群发新闻早报?(详细)相关推荐
- python爬取新闻发送微信_如何利用 Python 爬虫实现给微信群发新闻早报?(详细)...
image 1. 场景 经常有小伙伴在交流群问我,每天的早报新闻是怎么获取的? image 其实,早期使用的方案,是利用爬虫获取到一些新闻网站的标题,然后做了一些简单的数据清洗,最后利用 itchat ...
- python爬取新闻发送微信_如何利用 Python 爬虫实现给微信群发新闻早报?
1. 场景 经常有小伙伴在交流群问我,每天的早报新闻是怎么获取的? 其实,早期使用的方案,是利用爬虫获取到一些新闻网站的标题,然后做了一些简单的数据清洗,最后利用 itchat 发送到指定的社群中. ...
- android新闻app_如何利用 Python 爬虫实现给微信群发新闻早报?
1. 场景 经常有小伙伴在交流群问我,每天的早报新闻是怎么获取的? 其实,早期使用的方案,是利用爬虫获取到一些新闻网站的标题,然后做了一些简单的数据清洗,最后利用 itchat 发送到指定的社群中. ...
- 干货:如何利用 Python 爬虫实现给微信群发新闻早报?
本期推送整理了初学者可能会用到的Python资料,含有书籍/视频/在线文档和编辑器/源 代码,关于Python的安装qun:850973621 1. 场景 经常有小伙伴在交流群问我,每天的早报新闻是怎 ...
- 如何利用 Python 爬虫实现给微信群发新闻早报?(详细)
1. 场景 经常有小伙伴在交流群问我,每天的早报新闻是怎么获取的? 其实,早期使用的方案,是利用爬虫获取到一些新闻网站的标题,然后做了一些简单的数据清洗,最后利用 itchat 发送到指定的社群中. ...
- python求加速度_如何利用Python 为自然语言处理加速度
自去年发布 Python 的指代消解包(coreference resolution package)之后,很多用户开始用它来构建许多应用程序,而这些应用与我们最初的对话应用完全不同. 利用 spaC ...
- 用python做头像_如何利用python制作微信好友头像照片墙?
这个不难,主要用到itchat和pillow这2个库,其中itchat用于获取微信好友头像照片,pillow用于拼接头像生成一个照片墙,下面我简单介绍一下实现过程,代码量不多,也很好理解,实验环境wi ...
- python画四角星_如何利用Python|对多角星的绘制
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云,作者:编程与算法之美. 1 前言 在初步学习python的过 ...
- 怎么用python找论文_如何利用Python绘制学术论文图表方法
论文中图表形式多样,常用的处理工具有excel.MATLAB以及Python等,excel自处理的方法有两个缺陷: 1.当数据较多时,容易出现excel"翻白眼"的现象: 2.需要 ...
最新文章
- 51nod 1298:圆与三角形(计算几何)
- java 调用父级方法_java子类调用父类的方法中包含子类重写的实例方法
- python按hash分组_Python操作redis系列以 哈希(Hash)命令详解(四)
- 慌!还不了解Java中的分支预测?!
- java实验原理和图例_图例解析JDK,JRE,JVM概念及使用
- 开发进阶:Dotnet Core多路径异步终止
- 2022将至,前端程序员们应该一起放个烟花庆祝一下,走起
- Redis Python
- php 自定义 $_SERVER
- 如何让Win7不再弹出升级Win10的提醒窗口
- 2021烟台市高考成绩查询,烟台2021高考成绩查询系统入口
- (转)财新特稿丨风口浪尖上,李笑来谈ICO
- android的popwindow控件,及控件设为圆角
- Android Studio 项目运行错误,弹出“Detected ADB对话框”
- C#:实现一个将字符串转换为整数的方法
- 领克02linux车机怎么升级,你们想看的领克02长测报告来了,一篇读懂02的车机系统...
- Supervisor使用简介
- ettercap 中间人攻击
- QT 读写CSV文件
- Centos 7 下joomla简体中文版安装