第一期：如何通过知晓云云函数快速实现图片爬虫

2024-04-23 01:48:58

作者：知晓云 - 小程序开发快人一步
来源：知晓课堂

本文会跟大家介绍，如何在本地使用知晓云云函数 API 与 cheerio 开发一个图片爬虫，并使用 webpack 与 mincloud 将代码打包并上传部署到知晓云。

技术栈：

代码打包工具：webpack@4.20.2
部署工具：mincloud@1.0.2
html 解析：cheerio@1.0.0-rc.2
其他：知晓云 Node SDK（云函数内置）

项目文件结构：

最终我们会使用以下两个命令来部署与测试

一、webpack 配置

由于使用的是 v4 的 webpack，所以只需要很少的配置就可以了。

二、package script 配置

添加 deploy 脚本，如下：

三、入口文件

云函数作为一个模块在沙箱环境中被调用执行，该模块需要暴露出一个 main 方法，模块代码结果如下：

我们的 webpack 入口文件需要暴露出一个函数（签名为：function (event, callback)），打包后就可以生成一个给个跟上面一致的模块文件（在 webpack.config.js 中已经定义了）。所以我们的入口文件主要结构如下：

四、爬虫

这里分为 4 个步骤：

抓取网页
解析页面，抓出所有 img 标签中的 src
将图片下载下来
将下载下来的图片上传到知晓云

使用知晓云 Node SDK 的 request 方法将网页下载下来（不能直接使用其他第三方 request 包）：

使用 cheerio 解析 html ，抓出所有的图片 url：

下载图片：

上传图片到知晓云：

完整代码如下：

五、部署并测试

跟 npm 一样，部署前需要先登录，请参照文档配置。

使用以下命令即可将云函数部署到知晓云。

npm run deploy

执行结果如下：

使用以下的命令来测试：

执行结果如下：

执行成功后即可在知晓云文件模块看到抓取到的图片

关注「知晓云」公众号，点击菜单栏「知晓云」-「知晓课堂」，获取更多开发教程。

第一期：如何通过知晓云云函数快速实现图片爬虫相关推荐

用云函数快速实现图片爬虫
本文会跟大家介绍,如何在本地使用知晓云云函数 API 与 cheerio 开发一个图片爬虫,并使用 webpack 与 mincloud 将代码打包并上传部署到知晓云. 技术栈: 代码打包工具:web ...
知晓云 php,用云函数快速实现图片爬虫
本文会跟大家介绍,如何在本地使用知晓云云函数 API 与 cheerio 开发一个图片爬虫,并使用 webpack 与 mincloud 将代码打包并上传部署到知晓云. 技术栈: 项目文件结构: 最终 ...
excel多列多行堆叠成多列一行_「Excel技巧」如何利用indirect函数快速将一列转为多行多列排版...
HI,大家好哈. 前几天我们有聊了如何将多行多列转一列的话题,今天就顺势来聊聊如何将一列转多行多列. 因为,一份表格,如果里面只有一列,不过有一百多行,甚至几百行, 这样子排版, 一方面,不够一目了然 ...
sorted（）函数快速实现字典输出
sorted()函数快速实现字典输出 s=input('x,y,z=') x,y,z=s.split(',')#序列解包 x,y,z=sorted([x,y,z])#序列解包 print(x,y,z) ...
利用 opencv 中的 cv.Canny 函数快速进行图像边缘检测
一. 算法原理: 可参考:https://www.cnblogs.com/wojianxin/p/12533526.html https://www.jianshu.com/p/ff4c1a6a68d ...
小福利，采用excel函数制作大屏可视化，用sumifs函数快速统计汇总数据，锁行锁列以及锁列不锁行
小福利,采用excel函数制作大屏可视化,用sumifs函数快速统计汇总数据,锁行锁列以及锁列不锁行源数据如下图所示第一步处理源数据的效果是下图其中根据年份变化,求总订单量.总销量.总销售额,只 ...
iOS中使用c函数快速获取一个目录所占的空间大小
在编写iOS应用时,我们都会大量把服务器的接口调用数据或者图片数据进行缓存,为了更好的使用体验,有时候我们也会把各种缓存的数据所占的空间大小告诉用户,提供给用户参考,并让用户可以手动清除缓存数据,就像 ...
find函数 c++语言,【C++】使用find函数快速定位元素
当有了STL,你还在用遍历的土方法定位元素吗? 今天就来介绍一下,如何使用algorithm库里的find函数快速定位数组或向量中的元素. 首先当然要包含头文件: #include 它的基本语法是这样 ...
glob php,php使用glob函数快速查询指定目录文件的方法
本文实例讲述了php使用glob函数快速查询指定目录文件的方法.分享给大家供大家参考.具体如下: php搜索当前目录所有文件,代码如下: $array = glob('*.*'); print_r($ ...

最新文章

热门文章