superagent抓取内容后如何传值?

'use strict'

var superagent = require("superagent");

var cheerio = require('cheerio');

var express = require('express');

var app = express();

app.set('view engine', 'ejs');

var htmlContent = '';

app.get('/', function(req, res1) {

//htmlContent = '';

superagent

.get('http://www.oschina.net/')

.end(function(err, res) {

let $ = cheerio.load(res.text, {

decodeEntities: true

});

$('#IndustryNews .p1 a').each((id, element) => {

let reg = new RegExp("^\/news", "g");

let reg1 = new RegExp("^\/p", "g");

let address = $(element).attr('href');

if (reg.test($(element).attr('href')) || reg1.test($(element).attr('href'))) {

address = 'http://www.oschina.net' + $(element).attr('href');

}

htmlContent += '' + $(element).text() + '
';

});

res1.render('index', {

'htmlContent': htmlContent,

});

});

// res1.render('index', {

// 'htmlContent': htmlContent,

// });

});

app.listen(80, function() {

console.log('Example app listening on port 80!');

});

这段程序是获取 oschina.net 上部分左侧的新闻内容的,具体问题如下:

1.如果superagent写一个函数里,如何将htmlContent作为函数的返回值?

2.如果还像这么样写,回调函数的htmlContent如何赋值到外层的htmlContent?

3.能否将superagent赋值一个变量,然后进行处理?我试过但是赋值后的结果遍历都是一些方法?

小弟初学,多谢各位了

相关阅读:

如果构建ios应用

Python编码转换:\u5168\u7403\u7ecf\u5178IT\u6570\u7801\u6392\u884c\u699c

为什么$.ajax在.click里不执行呢?

一段c语言的压缩时间代码,没理解求解释下

Webpack中的file chunk module

社交网站,注册用户200万同时在线2万和注册用户千万并发10万,什么概念?

gulp-refresh插件不管用

选项卡的一个问题

Sublime Text 3 有哪个插件可以使ES6语法高亮

小白用户刚接触git ,请教下 msysGit 和 git 什么关系?

php-fpm里如何配置支持两个php.ini文件?

ie7 获取clientHeight&clientWidth总是0

Sublime Text3 SFTP插件 写入报permission denied 但是那个目录我配置了777的权限

sql group by order by sum语句的优化问题

wamp下phpmyadmin如何修改密码?

关于javascript中return function()的问题?

jquery bind事件的问题

这条语句怎么写啊

为什么拖拽会复位??

在Ubuntu 12.04LTS下编译遇到"cannot find -lgoto"错误。

superagent post php,node.js,superagent_superagent抓取内容后如何传值?,node.js,superagent - phpStudy...相关推荐

  1. Python爬虫:利用JS逆向抓取携程网景点评论区图片的下载链接

    Python爬虫:利用JS逆向抓取携程网景点评论区图片的下载链接 1. 前言 2. 实现过程 3. 运行结果 1. 前言 文章内容可能存在版权问题,为此,小编不提供相关实现代码,只是从js逆向说一说到 ...

  2. python爬取小说出现乱码_详解Python解决抓取内容乱码问题(decode和encode解码)

    一.乱码问题描述 经常在爬虫或者一些操作的时候,经常会出现中文乱码等问题,如下 原因是源网页编码和爬取下来后的编码格式不一致 二.利用encode与decode解决乱码问题 字符串在Python内部的 ...

  3. node抓取58同城信息_如何使用标准库和Node.js轻松抓取网站以获取信息

    node抓取58同城信息 网络抓取工具是一种工具,可让我们选择网站的非结构化数据并将其转换为结构化数据库. 那么,网络刮板将在哪里派上用场呢? 我列出了我最喜欢的用例,以使您对启动自己的应用感到兴奋! ...

  4. node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地

    node.js抓取网络图片保存到本地,node.js抓取防盗链网络图片保存到本地 使用模块request.fs,request模块在npm里平均月下载量超过3000W次,那是相当的牛逼. node版本 ...

  5. 防止email被抓取的两种方法(js和css)

    现在很多无聊人士都用自己的spider在网上到处抓取email, 如果你的页面上写了自己的email,那么不多久就会收到很多垃圾邮件. 有很多方法可以避免被抓取,现在很多人都把@换成#,不过估计很多蜘 ...

  6. python可抓取数据包括什么_Python对JS型数据抓取有什么特别好的方法吗,pythonjs型抓取,想写一个爬虫,但是需要抓...

    Python对JS型数据抓取有什么特别好的方法吗,pythonjs型抓取,想写一个爬虫,但是需要抓 想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓到呢? 最好是用pyt ...

  7. jsoup抓取html中的js,使用Jsoup,抓取整个网站(包括图片、js、css)

    [实例简介] 经过测试,可以抓取一个完整的网站,包括网站的图片.css.js等.同时根据网站目录,在本地生成相同目录.使用Jsoup+Java.下载之后,可以直接运行. [实例截图] [核心代码] h ...

  8. Js实现抓取网址数据

    描述: "http://www.163.com/index.html?user=xie&pass=123456&age=30&sex=man&interest ...

  9. 【小说网站 - 抓取登陆后的数据,cookie操作】

    今天搞一个小说网站,搞到一些只能登陆后才能获得的信息,比如这个网站,搞到某个用户下的所有书架信息. 先登录 上面是一个表单,一般都是post了一些数据到某个地址,于是我们可以通过调试手段抓取其登录信息 ...

最新文章

  1. 如果特斯拉制造相机的梦想像激光雷达一样真正实现,它可能会帮助到更多同行...
  2. java蓝桥杯的题_Java蓝桥杯试题集——算法训练ALGO-116——最大的算式
  3. layui结合ajax实现下拉菜单联动效果
  4. linux内核的I2C子系统详解4——i2c-s3c2410.c文件中的adapter、algorithm
  5. 实验八 java多线程操作_20182310实验八实验报告
  6. 在线等差数列求和计算器
  7. 中小企业什么OA办公系统适用呢?
  8. enctype=multipart/form-data的表单无法获取表单中除了type=file以外的其他参数 commons-fileupload 获取除file外其他参数...
  9. 《那些年啊,那些事——一个程序员的奋斗史》——26
  10. 深入理解C语言(转载)
  11. java word_java输出word解决方案
  12. VS2010 用户自定义工具箱控件的制作方法
  13. UltraEdit(ue记事本)科学免费激活使用教程【你懂得,亲测有效】
  14. 明链、暗链、黑链分别是什么意思
  15. 《C陷阱与缺陷》 阅读总结
  16. 微型计算机8086工作原理,8086到80486微型计算机系统原理与接口
  17. html5时钟在图片上画指针,HTML5使用canvas元素绘制指针式动画时钟_网页代码站(www.webdm.cn)...
  18. Android SDK 目录和作用的分析详解
  19. 微信js 已经填写JS接口安全域名了,仍然报invalid url domain
  20. 简述python语言的主要功能和特点_计算机考试简答题

热门文章

  1. 关于Out of the box翻译【待整理】
  2. Go 编程模式:k8s Visitor 模式
  3. 旅美作家称莫言作品获诺贝尔文学奖货真价实-诺贝尔奖-莫言-诺贝尔文学奖
  4. LadonGo实现菜刀连接webshell一句话执行cmd代码
  5. foss测试_2018年FOSS十大法律发展
  6. 关于证书链的一点认知
  7. 关闭win10在文件上右键出现的 “共享“ 选项
  8. signed和unsigned关键字修饰的整形在内存中的存储
  9. 修改Linux SSH的端口与SELinux究竟是什么
  10. 仿糖护士曲线图写的一个CurveChartView