node-crawler

一个基于nodejs的网站采集服务器可部署在任何服务器上远程调用

DEMO

发送请求 run npm dev POST: /scan

{"url": "http://www.charlotterusse.com/shoes/shop-all-shoes?sz=30&start=0","model": [{"find":".product-tile","child":[{"name":"name","type":"","method":[{"find":".name-link","attr":""}]},{"name":"price","type":"","method":[{"find":".price-sales","attr":""}]},{"name":"image","type":"","method":[{"find":"img","attr":"src"}]},{"name":"url","type":"","method":[{"find":"a","attr":"href"}]}]}],"oid": "7e11c4cb-0456-e9a9-65d5-b64c86d12b94"
}

部署

推荐使用 forever https://github.com/foreverjs/forever

启动服务器

forever start server.js

程序下载地址：https://u16968133.pipipan.com/fs/16968133-241391394

基于nodejs爬虫程序下载相关推荐

谈谈nodejs爬虫程序利器——cheerio模块
cheerio是nodejs的抓取页面模块,为服务器特别定制的,快速.灵活.实施的jQuery核心实现.适合各种Web爬虫程序. 安装方法: npm install cheerio 特性: 相似的语法 ...
python爬虫程序下载_Python爬虫之多线程下载程序类电子书
近段时间,笔者发现一个神奇的网站:http://www.allitebooks.com/ ,该网站提供了大量免费的编程方面的电子书,是技术爱好者们的福音.其页面如下: ![](https://imag ...
基于nodejs爬虫
爬接口数据 var https = require('https'); https.get('https://api.readhub.cn/topic?lastCursor=76823&pag ...
基于NodeJs的爬虫
参考博客:手把手教你做爬虫-基于NodeJs 第一个nodejs爬虫:爬取豆瓣电影图片引入模块 1.node 必须安装 2.http模块.fs模块都是内置的包,不需要额外添加 cheerio包,re ...
手把手教你做爬虫---基于NodeJs
前言: 好久没更新博客了,内疚感十足,趁着北京今儿天气格外的蓝,我觉得我得干点什么,于是乎,卷起袖子,整理一下最近做爬虫的那些事儿. 目标:爬取北京大学软件与微电子学院的所有新闻,并将内容及图片存储到 ...
python爬虫下载-python爬虫之下载文件的方式总结以及程序实例
python爬虫之下载文件的方式以及下载实例目录第一种方法:urlretrieve方法下载第二种方法:request download 第三种方法:视频文件.大型文件下载实战演示第一种方法: ...
基于libUSB的USB设备固件更新程序(下载数据)（转）
源:基于libUSB的USB设备固件更新程序(下载数据) 本文紧接上一篇日志:基于libUSB-Win32的USB设备固件更新程序(前言),相关背景以及起因等,此处不再赘述,如感兴趣请移步. libU ...
python的spider程序下载_PHPspider爬虫10分钟快速教程（内附python教程分享）
说到做爬虫,大家都可能第一时间想到的是python,其实php也是可以用来写爬虫程序的.php一贯简洁.易用,亲测使用PHPspider框架10分钟就能写出一个简单的爬虫程序. 一.PHP环境安装和 ...
python 下载文件-python爬虫之下载文件的方式总结以及程序实例
python爬虫之下载文件的方式以及下载实例目录第一种方法:urlretrieve方法下载第二种方法:request download 第三种方法:视频文件.大型文件下载实战演示第一种方法: ...

基于nodejs爬虫程序下载

node-crawler

DEMO

部署

启动服务器

基于nodejs爬虫程序下载相关推荐

最新文章

热门文章