superagent post php,node.js,superagent_superagent抓取内容后如何传值?,node.js,superagent - phpStudy...
superagent抓取内容后如何传值?
'use strict'
var superagent = require("superagent");
var cheerio = require('cheerio');
var express = require('express');
var app = express();
app.set('view engine', 'ejs');
var htmlContent = '';
app.get('/', function(req, res1) {
//htmlContent = '';
superagent
.get('http://www.oschina.net/')
.end(function(err, res) {
let $ = cheerio.load(res.text, {
decodeEntities: true
});
$('#IndustryNews .p1 a').each((id, element) => {
let reg = new RegExp("^\/news", "g");
let reg1 = new RegExp("^\/p", "g");
let address = $(element).attr('href');
if (reg.test($(element).attr('href')) || reg1.test($(element).attr('href'))) {
address = 'http://www.oschina.net' + $(element).attr('href');
}
htmlContent += '' + $(element).text() + '
';
});
res1.render('index', {
'htmlContent': htmlContent,
});
});
// res1.render('index', {
// 'htmlContent': htmlContent,
// });
});
app.listen(80, function() {
console.log('Example app listening on port 80!');
});
这段程序是获取 oschina.net 上部分左侧的新闻内容的,具体问题如下:
1.如果superagent写一个函数里,如何将htmlContent作为函数的返回值?
2.如果还像这么样写,回调函数的htmlContent如何赋值到外层的htmlContent?
3.能否将superagent赋值一个变量,然后进行处理?我试过但是赋值后的结果遍历都是一些方法?
小弟初学,多谢各位了
相关阅读:
如果构建ios应用
Python编码转换:\u5168\u7403\u7ecf\u5178IT\u6570\u7801\u6392\u884c\u699c
为什么$.ajax在.click里不执行呢?
一段c语言的压缩时间代码,没理解求解释下
Webpack中的file chunk module
社交网站,注册用户200万同时在线2万和注册用户千万并发10万,什么概念?
gulp-refresh插件不管用
选项卡的一个问题
Sublime Text 3 有哪个插件可以使ES6语法高亮
小白用户刚接触git ,请教下 msysGit 和 git 什么关系?
php-fpm里如何配置支持两个php.ini文件?
ie7 获取clientHeight&clientWidth总是0
Sublime Text3 SFTP插件 写入报permission denied 但是那个目录我配置了777的权限
sql group by order by sum语句的优化问题
wamp下phpmyadmin如何修改密码?
关于javascript中return function()的问题?
jquery bind事件的问题
这条语句怎么写啊
为什么拖拽会复位??
在Ubuntu 12.04LTS下编译遇到"cannot find -lgoto"错误。
superagent post php,node.js,superagent_superagent抓取内容后如何传值?,node.js,superagent - phpStudy...相关推荐
- Python爬虫:利用JS逆向抓取携程网景点评论区图片的下载链接
Python爬虫:利用JS逆向抓取携程网景点评论区图片的下载链接 1. 前言 2. 实现过程 3. 运行结果 1. 前言 文章内容可能存在版权问题,为此,小编不提供相关实现代码,只是从js逆向说一说到 ...
- python爬取小说出现乱码_详解Python解决抓取内容乱码问题(decode和encode解码)
一.乱码问题描述 经常在爬虫或者一些操作的时候,经常会出现中文乱码等问题,如下 原因是源网页编码和爬取下来后的编码格式不一致 二.利用encode与decode解决乱码问题 字符串在Python内部的 ...
- node抓取58同城信息_如何使用标准库和Node.js轻松抓取网站以获取信息
node抓取58同城信息 网络抓取工具是一种工具,可让我们选择网站的非结构化数据并将其转换为结构化数据库. 那么,网络刮板将在哪里派上用场呢? 我列出了我最喜欢的用例,以使您对启动自己的应用感到兴奋! ...
- node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地
node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地 使用模块request.fs,request模块在npm里平均月下载量超过3000W次,那是相当的牛逼. node版本 ...
- 防止email被抓取的两种方法(js和css)
现在很多无聊人士都用自己的spider在网上到处抓取email, 如果你的页面上写了自己的email,那么不多久就会收到很多垃圾邮件. 有很多方法可以避免被抓取,现在很多人都把@换成#,不过估计很多蜘 ...
- python可抓取数据包括什么_Python对JS型数据抓取有什么特别好的方法吗,pythonjs型抓取,想写一个爬虫,但是需要抓...
Python对JS型数据抓取有什么特别好的方法吗,pythonjs型抓取,想写一个爬虫,但是需要抓 想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓到呢? 最好是用pyt ...
- jsoup抓取html中的js,使用Jsoup,抓取整个网站(包括图片、js、css)
[实例简介] 经过测试,可以抓取一个完整的网站,包括网站的图片.css.js等.同时根据网站目录,在本地生成相同目录.使用Jsoup+Java.下载之后,可以直接运行. [实例截图] [核心代码] h ...
- Js实现抓取网址数据
描述: "http://www.163.com/index.html?user=xie&pass=123456&age=30&sex=man&interest ...
- 【小说网站 - 抓取登陆后的数据,cookie操作】
今天搞一个小说网站,搞到一些只能登陆后才能获得的信息,比如这个网站,搞到某个用户下的所有书架信息. 先登录 上面是一个表单,一般都是post了一些数据到某个地址,于是我们可以通过调试手段抓取其登录信息 ...
最新文章
- 如果特斯拉制造相机的梦想像激光雷达一样真正实现,它可能会帮助到更多同行...
- java蓝桥杯的题_Java蓝桥杯试题集——算法训练ALGO-116——最大的算式
- layui结合ajax实现下拉菜单联动效果
- linux内核的I2C子系统详解4——i2c-s3c2410.c文件中的adapter、algorithm
- 实验八 java多线程操作_20182310实验八实验报告
- 在线等差数列求和计算器
- 中小企业什么OA办公系统适用呢?
- enctype=multipart/form-data的表单无法获取表单中除了type=file以外的其他参数 commons-fileupload 获取除file外其他参数...
- 《那些年啊,那些事——一个程序员的奋斗史》——26
- 深入理解C语言(转载)
- java word_java输出word解决方案
- VS2010 用户自定义工具箱控件的制作方法
- UltraEdit(ue记事本)科学免费激活使用教程【你懂得,亲测有效】
- 明链、暗链、黑链分别是什么意思
- 《C陷阱与缺陷》 阅读总结
- 微型计算机8086工作原理,8086到80486微型计算机系统原理与接口
- html5时钟在图片上画指针,HTML5使用canvas元素绘制指针式动画时钟_网页代码站(www.webdm.cn)...
- Android SDK 目录和作用的分析详解
- 微信js 已经填写JS接口安全域名了,仍然报invalid url domain
- 简述python语言的主要功能和特点_计算机考试简答题
热门文章
- 关于Out of the box翻译【待整理】
- Go 编程模式:k8s Visitor 模式
- 旅美作家称莫言作品获诺贝尔文学奖货真价实-诺贝尔奖-莫言-诺贝尔文学奖
- LadonGo实现菜刀连接webshell一句话执行cmd代码
- foss测试_2018年FOSS十大法律发展
- 关于证书链的一点认知
- 关闭win10在文件上右键出现的 “共享“ 选项
- signed和unsigned关键字修饰的整形在内存中的存储
- 修改Linux SSH的端口与SELinux究竟是什么
- 仿糖护士曲线图写的一个CurveChartView