爬虫数据传入mysql_nodejs爬虫数据存入mysql

node爬虫主要用的是三个插件

request cheerio mysql

废话不多说直接上代码

const request=require("request")

const cheerio=require("cheerio")

const mysql=require('mysql')

var connection = mysql.createConnection({ //配置参数，然后添加你的数据库里面的表

host: 'localhost',

user: 'root',

password: 'root',

database: 'test'

})

connection.connect(); //连接

function show(item){

request('http://www.1905.com/vod/list/n_1_t_1/o1p'+item+'.html',function(err,res){

if(err){

console.log('请求出错');

}else{

var $ = cheerio.load(res.body, {decodeEntities: false});

$('.search-list>div').each(function(){

var newsTitle = $(this).find('p').text();

var news1Title = $(this).find('h3').text();

var code = $(this).find('i').text();

var newsTime= "";

var newsUrl= $(this).find('a').attr('href');

var addSql = "insert into blog(title,time,href,title2,codeNum) values (?,?,?,?,?)";

var addParmas = [newsTitle, newsTime,newsUrl,news1Title,code];

connection.query(addSql,addParmas,function(err,data){

if(err){

console.log("数据库连接错误");

}else{

item++;

show(item)

}

})

});

}

});

}

show(1)

前提是一定要先分析别人网站的页面结构，然后就是如果你没有esc的话，你打开本地的mysql，再test下建立一张blog的表即可

最后的效果是

就这........

对了，就是如果你没有取消mysql的限制的话，应该是只可以导入1000条数据的，如果你想取消限制的话，可以直接如下图点击取消即可

爬虫数据传入mysql_nodejs爬虫数据存入mysql相关推荐

python爬虫下载电影百度文档_写一个python 爬虫爬取百度电影并存入mysql中
目标是利用python爬取百度搜索的电影在类型地区年代各个标签下电影的名字评分和图片连接以及电影连接首先我们先在mysql中建表 create table liubo4( id in ...
使用python爬虫爬取法律条文，并存入MYSQL
一.代码展示 from urllib.request import urlopen from bs4 import BeautifulSoup import pymysqldef GetContent ...
yspider爬取数据导入mysql_爬虫实战四、PyCharm+Scrapy爬取数据并存入MySQL
一.创建爬虫项目注意:不能直接使用PyCharm创建Scrapy项目,所以需要在爬虫实战三.PyCharm搭建Scrapy开发调试环境的基础(PyCharm配置完Scrapy)之上,选中mySpid ...
mysql scrapy 重复数据_大数据python（scrapy）爬虫爬取招聘网站数据并存入mysql后分析...
基于Scrapy的爬虫爬取腾讯招聘网站岗位数据视频(见本头条号视频) 根据TIOBE语言排行榜更新的最新程序语言使用排行榜显示,python位居第三,同比增加2.39%,为什么会越来越火,越来越受欢迎 ...
python爬虫开发数据库设计入门经典_Python3实现的爬虫爬取数据并存入mysql数据库操作示例...
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作.分享给大家供大家参考,具体如下: 爬一个电脑客户端的订单.罗总推荐,抓包工具用的是HttpAnalyzerStdV7,与chr ...
scrapy爬虫数据存入mysql数据库
上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中,不过对数据的进一步使用显然放在数据库中更加方便,这里将数据存入mysql数据库以便以后利用. 运行环境: 1. ...
mysql 轨迹数据存储_python爬虫26 | 把数据爬取下来之后就存储到你的MySQL数据库...
小帅b说过在这几篇中会着重说说将爬取下来的数据进行存储上次我们说了一种 csv 的存储方式这次主要来说说怎么将爬取下来的数据保存到 MySQL 数据库接下来就是学习python的正确姿势真 ...
【微博爬虫教程实例】基于requests、mysql爬取大数据量博主关键字下博文及评论
[关键词:手把手教程.反爬.数据库.python爬虫.微博关键词爬虫.较大数据量.数据简单过滤] 本教程适合微博相关爬虫需求者阅读,完整实例源码将放置在文末github链接中. 该实例针对微博的反爬措 ...
python爬虫导入数据库_python爬虫爬下来的数据怎么导入到MySQL
展开全部下载mysql.connector库然后把爬虫2113爬到的数据5261通过mysql里面的insert语句查到数4102据库,当然也可以建表1653,一般我没用python建表是先建好 ...

爬虫数据传入mysql_nodejs爬虫数据存入mysql

爬虫数据传入mysql_nodejs爬虫数据存入mysql相关推荐

最新文章

热门文章