node爬取双马尾小姐姐图片
这两天回顾了一下node,顺便就玩玩爬取图片。主要涉及到的知识有。
- fs流式数据传输
- axios 请求数据
- request 请求数据
- cheerio 操作对应dom数据
在网上有使用node内置的http进行数据请求的,这也是可以的。为了方便我们使用这种方式。如想要来玩玩,可以直接git cloe即可
gitee地址:https://gitee.com/baske/node_spider_pic.git
前期准备
新建一个项目名为:project_01,输入命令在控制台,使其生成package.json文件:
npm init
在控制台输入npm install命令下载需要的模块,在本项目中需要的request和cheerio模块,将使用命令进行下载到本地:
npm install request axios cheerio -S
在根路径创建app.js文件,把代码复制进去即可。
完成后直接上代码
const request = require('request')
const axios = require('axios')
const cheerio = require('cheerio')
const fs = require('fs')//https://www.tupianzj.com/meinv/20160118/39238.htmlasync function spiker(){let href = []let src = await axios.get('https://www.tupianzj.com/meinv/20210104/223044.html')let $ = cheerio.load(src.data)$('.pages ul li a').each(function(){// console.log($(this).attr('href'))href.push($(this).attr('href'))// console.log($(this).attr('href'))})href.shift()href.shift()href.shift()// console.log(href)let pic_index = 0href.forEach(async (i) => {if(i){// console.log('https://www.tupianzj.com/meinv/20210104/223044.html' + i)let url = 'https://www.tupianzj.com/meinv/20210104/' + i// console.log(url)let pic_src = await getPic(url)request(pic_src).pipe(fs.createWriteStream('./img/'+ pic_index +'.jpg'))pic_index++}// let a = i.match(reg)// console.log(a)// console.log(pic)})// console.log(pic)async function getPic(url){let html = await axios.get(url)let $ = cheerio.load(html.data)let src = $('#bigpicimg').attr('src')return src// fs.writeFileSync('./pic.txt',src + '\r')}}
spiker()
在终端中使用node app.js即可。
node爬取双马尾小姐姐图片相关推荐
- 爬取偶像/私房小姐姐图片--爬虫基础篇
1.废话不多说,直接上源码,有注释,相信你们能看懂 """ objective:爬取任意偶像/单词的百度图片(eg:佟丽娅.清纯小姐姐.蔡徐坤) coding: UTF- ...
- python爬虫(八、爬取图片社的小姐姐图片并下载)
爬取网页 Ⅰ.先抓取下这个网页,套模板就好了\color{Red}Ⅰ.先抓取下这个网页,套模板就好了Ⅰ.先抓取下这个网页,套模板就好了 def ask(url):head = {"User- ...
- 美国网红python图片_爬取网红小姐姐图片(简单入门)
简单爬虫 安装第三方库 请求页面 解析网页 保存图片 安装第三方库 安装第三方请求库(requests) pip install requests 请求页面 请求成功了 存在特殊情况:请求失败 原因八 ...
- 第一个爬虫项目-爬取唯美小姐姐网站
爬取唯美小姐姐网站 链接: 源代码文件下载地址 展示 源代码 import requests import re import os import time# 伪装 用于可以伪装成浏览器. heade ...
- Python爬虫 | 爬取高质量小姐姐照片
Python爬虫 | 爬取高质量小姐姐照片 1.数据来源分析 2.获取author_id_list和img_id 3.制作detial 4.制作detial_list 5.数据保存 6.批量获取 7. ...
- python3APP爬虫--爬取王者荣耀小姐姐cosplay照片(附源码)
文章目录 一.絮叨 1.接上 2.启下 二.代码 三.查看数据 四.总结 一.絮叨 1.接上 自己挖的坑,自己填.上一篇python3APP爬虫–爬取王者荣耀英雄图片(附源码)爬取了王者荣耀英雄图片, ...
- python实战|爬取1000位小姐姐私房照制作照片墙,刷新你三观的颜值!
今天给大家介绍python如何爬取虎牙小姐姐并制作心形照片墙, 有兴趣的小伙伴们一起来看看吧! 点击进去 卧槽,这颜值..... i了i了 需求分析 我们的目标有5个,分别是小姐姐的 房间名称.封面照 ...
- 玩爬虫不就是为了多爬取几个小姐姐吗,几十行代码快速获取小姐姐视频?
又到了愉快的周末了,今天她不在家我们就来玩点骚操作,我们来玩点男人最喜欢干的事情,来爬取小姐姐视频,晚上就可以偷偷的乐了.喜欢的朋友可以来个一键三连. 一.分析页面 这次我么爬取的是一个六间房的一个网 ...
- 抖音那么大我想看美女,python一键爬取高颜值小姐姐
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 星安果.AirPython 目 标 场 景 相信大家平时刷抖音短视频 ...
最新文章
- 【PHPWord】页面添加图片水印
- FTP的主动传输模式(PORT Mode)及被动传输模式(Passive Mode)(PASV)(FTP客户端 client 服务端 server 通信原理)
- pandas.get_dummies
- PHP将数组存入数据库中的四种方式
- 对10个元素进行快速排序,在最好情况下,元素间的比较次数为( )次。
- 大工14春 计算机文化基础 在线测试,大工14春《计算机文化基础》在线测试I含答案.doc...
- 银行利率是5.45%,房贷是4.9%,有钱该提前还房贷还是存款?
- 微信小程序黑客马拉松即将开始,来做最酷的 Mini Program Creators!
- 认证授权方案之授权揭秘 (上篇)
- boost helloworlld
- Waymo研发经理:《自动驾驶感知前沿技术介绍》
- 二维声波方程的有限差分法数值模拟
- redis同步到磁盘
- 欧盟百万欧元悬赏开源软件漏洞惹争议,被评本末倒置
- 最新即时通讯聊天安卓APP源码+全开源/Uniapp内核
- SuperMap WebGL拖拽式画圆和画矩形
- 中国工商注册企业全信息数据
- 对缓存投毒的学习总结
- 无法打开内核设备“\\.\VMCIDev\VMX”: 操作成功完成。是否在安装 VMware Workstation 后重新引导? 模块“DevicePowerOn”启动失败。 未能启动虚拟机。
- 基于 java 的批量下载压缩包的实现
热门文章
- ICP备案和ICP许可证区别
- 如何关掉苹果iMac开机启动声音
- php 手机swf播放器,PHP实现使用优酷土豆视频地址获取swf播放器分享地址_PHP教程...
- 字体设计编辑软件Glyphs 2 for mac中文版v2.6.6(1350)
- iOS 代理(Delegate)
- 360 android 应用市场,360手机助手在安卓应用市场占大份额
- EXCEL+方方格子中的翻译工具+百度翻译=实现批量翻译
- Python中记录程序运行时间
- 前端Web工程师学习路线
- 循环结构--for循环