node抓取58同城信息_如何使用标准库和Node.js轻松抓取网站以获取信息

node抓取58同城信息

网络抓取工具是一种工具，可让我们选择网站的非结构化数据并将其转换为结构化数据库。那么，网络刮板将在哪里派上用场呢？我列出了我最喜欢的用例，以使您对启动自己的应用感到兴奋！

抓取房地产列表-企业正在使用网络抓取来收集已经列出的房地产
刮擦零售商或制造商网站上的产品/产品评论以显示在您的网站中，提供规格/价格比较
抓取新闻网站以应用自定义分析和管理（手动或自动），向受众提供针对性更强的新闻
收集电子邮件地址以产生潜在客户

您可以在此处阅读网络刮板的其他方便使用案例。

现在开始吧！作为一个简单的示例— 我们将抓取Hacker News的首页以获取链接的标题。

如果您还不熟悉 标准库 ，那您将大饱口福！ 标准库 是一个API开发和发布平台，可以使用浏览器内的API编辑器- 标准库上的 代码，帮助您在创纪录的时间内构建和发布 代码。

第一步：登录标准库中的代码

第一步是转到https://code.stdlib.com/并创建一个免费帐户。 Standard Library上的代码是由Standard Library的团队构建的在线API编辑器，这是一个可嵌入式开发环境，用于快速构建API，webhooks和工作流自动化任务。

在左下角单击（登录） 。如果您拥有标准库帐户，请单击“ 已注册”，然后使用您的标准库凭据登录。将会弹出一个模式，提示您声明名称空间（这是您的用户名）。输入您的电子邮件并选择一个密码。

创建帐户后，将出现另一个模块，其中列出了订阅计划。免费帐户是您入门所需的全部，但您可以在此处阅读有关标准库定价套件的更多信息。

单击“ 订阅+赚取积分”后，您应该会看到一条确认消息。

单击继续以返回到登录页面。

第二步：选择Web Scraper源代码

从源代码按钮中选择API 。标准库源代码旨在简化不同类型项目的创建。源代码为样板代码和目录设置等提供了默认值，因此您可以直接开发和实现更复杂的功能。

您应该看到已发布源代码的列表。向下滚动并选择@ nemo / web-scraper 。确保输入所需的API名称，然后点击确定（或按Enter）

然后，您将在以下位置看到端点的代码： functions/__main__.js

在右侧，您会注意到一个参数框。

在URL必需的参数类型中：

https://news.ycombinator.com/

在查询中输入：

[[".storylink", "text"]]

选择绿色的“ 运行 ”按钮。

在几秒钟内，您应该在Hacker News的首页上的标准库代码的“ 结果”部分下获得链接标题列表。您会注意到一个文档门户—将文档URL复制并粘贴到浏览器的新选项卡中，以查看标准库中的API信息。

如何运作