node.js用get方式获取网页中的链接

2019独角兽企业重金招聘Python工程师标准>>>

get方式获取网页中的链接

var http = require('http');//定义函数
var getAHref = function(htmlstr){var reg = /<a.+?href=('|")?([^'"]+)('|")?(?:\s+|>)/gim;var arr = [];while(tem=reg.exec(htmlstr)){arr.push(tem[2]);}return arr;
}var qHref = "http://xxx";//设置被查询的目标网址var req = http.get(qHref, function(res) {var pageData = "";res.setEncoding('utf8');res.on('error', function (errget) {//出错处理});res.on('data', function (chunk) {pageData += chunk;});res.on('end', function(){//console.dir(pageData);var content = pageData;//获取到网页内容var hrefs=getAHref(content);//获取链接});});

转载自:http://www.9958.pw/post/nodejs_get_html_a

转载于:https://my.oschina.net/u/1179286/blog/651057

node.js用get方式获取网页中的链接相关推荐

java 获取js html_JS获取网页中HTML元素的几种方法
编写js程序的时候最常使用的就是获取网页中的html元素,并进行处理,我在网上发现了一篇获取html对象的几种方法进行整理的帖子,发上来大家一块学习~ getElementById getElemen ...
php如何获取图片地址,js如何直接获取网页中图片地址
这次给大家带来js如何直接获取网页中图片地址,js直接获取网页中图片地址的注意事项有哪些,下面就是实战案例,一起来看一下. 第一种方法:js通过正则实现/** * 获取html代码中图片地址 * @p ...
Android WebView获取网页中JavaScript弹框内容
Android WebView获取网页中JavaScript弹框内容网页中弹窗的js代码为 <script type="text/javascript" language= ...
python requests 动态加载_Python获取网页中动态加载的数据
Python获取网页中动态加载的数据 0.XHR 是什么? XHR是 XMLHttpRequest 对象.既Ajax功能实现所依赖的对象,在JQuery中的Ajax是对 XHR的封装. 1.查看异步加 ...
JAVA获取网页中的电影下载地址小程序
现在电影资源越来越少了,今天想看看吸血鬼日记,结果网上搜出的网址不支持迅雷批量下载,我一个一个点,很累.于是就看看网页源代码发现影片都以FTP开头,rmvb结尾.于是就写了个小程序能够获取网页中所有的 ...
如何批量获取网页中的下载链接
tips:下载 chrome json 正则表达式如何批量获取网页中的下载链接前言打开你要下载的网页二.获取网页的json数据 1.获取网页的源码 2.选取json 3.获取json字符串 4 ...
python读取图片分辨率_python获取网页中所有图片并筛选指定分辨率的方法
压测时,图片太少,想着下载网页中的图片,然后过滤指定分辨率,但网页中指定分辨率的图片太少了(见下) 后使用格式工厂转换图片 import urllib.request # 导入urllib模块 imp ...
js使用slice方法获取数组中某段元素
js使用slice方法获取数组中某段元素 slice() 方法可从已有的数组中返回选定的元素. 语法:arrayObj.slice(start, [end]) 参数: start:必需.规定从何处开始 ...
node.js 爬虫实现爬取网页图片并保存到本地
node.js 爬虫实现爬取网页图片并保存到本地没有废话直接看代码 /*** 请求网站数据* 将数据保存本地文件*/ //不同协议引用不同模块,http https const http = re ...

node.js用get方式获取网页中的链接

node.js用get方式获取网页中的链接相关推荐

最新文章

热门文章