node.js 之爬虫

1. cheerio 与 request

request：模拟客户端行为，对页面进行请求
cheerio：对服务器端返回的页面进行解析；

var cheerio = require('cheerio');
var request = require('request');var startUrl = 'http://www.baidu.com'
request(startUrl, function(err, response) {if (err) {console.log(err);}var $ = cheerio.load(response.body);var title = $('title').text();console.log(title);
}

2. 认识 cheerio

获取 element 位置

通过 class 属性进行匹配：

var $=cheerio.load('<div class="container"></div>');
$('.container')

取其链接：<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>

$('a.downbtn').attr('href')

某一页面下的全部可链接：

var url =
var $ = cheerio.load(data);$("a.downbtn").each(function(i, e) {console.log($(e).attr("href"));});console.log("done");} else {console.log("error");}

node.js 之爬虫相关推荐

Node.js期中爬虫实验项目
Node.js期中爬虫实验项目期中作业要求基础概念引入前期准备工作安装node.js 安装数据库安装Navicat Premium 15 正则表达式学习网站课堂示例演示示例一(显示在终端 ...
node.js简单爬虫
这里假设你已经安装好node.js和npm,如果没有安装,请参阅其他教程安装. 配置首先是来配置package.json文件,这里使用express,request和cheerio. package ...
使用Node.js制作爬虫教程
应邀写一点使用Node.js爬点资料的实例,对于大家建站爬一些初始资料或者做分析研究的小伙伴们应该有些帮助. 目标分析目标地址:http://wcatproject.com/charSearch/ ...
利用node.js写爬虫爬取某相亲网站全部交友信息
点击查看爬取世纪佳缘相亲交友信息利用node.js,写了一个爬虫js.1个小时左右的时间,便爬取了2000多条交友信息,包括网名,年龄,图片,学历,工资等.当然,爬取的速度和网速有很大的关系,也和你 ...
[Node.js] 模块化 -- 爬虫
使用第三方模块 1.新建一个文件夹,文件夹的名字非中文,名字也不要和模块名字一样. 2.进到文件夹里面去,命令运行:npm init -y这个命令可以理解成是初始化 3.下载模块, 去npm官网搜索模 ...
【Node.js】爬虫--抓取新闻标题、图片、文字描述，支持QQ、iFeng
Sodino 文章目录 1. app.js 2. img-spider.js 3. img.gallery.js 4. ifengImgs.js 5. ifengPictures.js 6. qqIm ...
从零开始的Node.js新闻爬虫实验项目（四）东方财富网、网易新闻、Pixiv的爬取思路
这是计划的第3步有了前篇雪球网新闻的爬取代码,可以同样的爬取其他各类网站 1)东方财富网 1.一级页面在这里,选择信息较为集中,内容丰富的"右边部分"开始分析. 观察到每一条消 ...
node.js爬虫中关村在线电瓶车信息
背景最近打算买一辆电瓶车来上下班,但又不知道哪个好,网上是各说纷纭啊,于是就想着,干脆用node.js自己写一个小爬虫,来爬一下中关村在线里面电瓶车的信息吧. (以后完整代码请前往 www.yubo ...
Node.js -- 目录
[Node.js] node.js入门 [Node.js] ES6新语法 [ES6] 细化ES6 [Node.js] node.js模块化 [Node.js] 模块化 – fs文件读取模块 [Node ...

node.js 之爬虫

1. cheerio 与 request

2. 认识 cheerio

node.js 之爬虫相关推荐

最新文章

热门文章