python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

从安装过程到可视化工具可查看数据信息，历时两天，昨天坐了一天的火车，今天早上才到的青岛–> 来放松心情。

前天说是要学习如何使用mongoDB的链接与安装。

到今天过去了将一天，不过还是在函兮的唠叨下慢慢的安装好了，确实来之不易，一脸懵逼

安装环境： wind10 还是盗版的磁盘分析：只有一个C盘，

步骤：
1 . 下载
http://www.mongodb.org/downloads

这里下载了对应的msi文件，貌似.zip文件没有了

2 我默认把mongoDB安装到c盘下的目录：C:\Program Files\MongoDB\Server\3.4\bin

3 一开始是没有进行mongdb dbpath 和dblog的配置项，所以会出现：

由于目标计算机积极拒绝，无法连接

上述问题主要是mongdb没有配置好的原因

4 mongodb 目录文件的配置
cd : C:\Program Files\MongoDB\Server\3.4\bin
到该bin下
输入：mongod.exe –dbpath=C:\data\db

这里的路径可以自由设置

5 再进行dblog的配置，
也是在bin目录下：mongod.exe –dbpath=C:\data\log\mongodb.log

6 检查一下配置是否正常
当然也是在bin下进行：mongo

配置成功的标志：

7最后再把mongoDB添加到Windows Service里面
同样也是cd到bin下：
输入：cd D:\mongodb\bin目录下，执行
mongod.exe –dbpath=C:\data\db –logpath=c:data\log\log.txt –install –serviceName “MongoDB”

进行查看：

启动，关闭服务：

关闭服务：net stop mongodb

这里用的可视化工具：对比了下：

MongoChef

觉着这个应该挺不错的，虽然现阶段我只会一个查看数据的操作：

以上就是mongodb的简单配置，在python3中代码可见的部分：

基础存储部分：

#encoding=utf8
import requests
import re
# 导入mongo 数据库
import pymongoimport json# 打开数据库连接，mongodb默认端口为27017
conn = pymongo.MongoClient(host='localhost',port=27017)
# 选择或创建数据库
toutiao = conn['toutiao']
# 选择或者创建数据集合
newsdata = toutiao['news']toutiaoUrl = 'http://www.toutiao.com/api/pc/focus/'
reqData = requests.get(toutiaoUrl).text
print(reqData)jsonData = json.loads(reqData)
newsData = jsonData['data']['pc_feed_focus']# 存储到数据库
for new in newsData:title = new['title']img_url = new['image_url']url = new['media_url']data = {'title':title,'img_url':img_url,'url':url}# 插入一行数据newsdata.insert_one(data)for i in newsdata.find():# 从数据库中读取出来print('i'+str(i))

以上的注释都清楚，以后用的mongodb更多功能再进行扩展。

这就是基本的mongodb数据存储，接下来要学习selenium 和 scraper进行数据爬取操作，加快脚步。

新博客地址：http://blog.csdn.net/xudailong_blog

python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化相关推荐

python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
python3 [爬虫入门实战]爬虫之scrapy安装与配置教程标签: python爬虫scrapy 2017-07-08 15:38 77人阅读评论(0) 收藏举报分类: python3爬虫 ...
测试linux mongodb数据库开启,安装配置MongoDB数据库
安装配置MongoDB数据库实验环境: 系统环境:rhel6 x64 selinux and iptables disabled 一.安装MongoDB [root@server1 ~]# ls m ...
python3 [爬虫入门实战]爬虫之scrapy爬取织梦者网站并存mongoDB
主要爬取了编程栏目里的其他编程里的36638条数据过程是自己一步一步的往下写的,有不懂的也是一边找笔记,一边百度,一边调试. 遗憾:没有进行多栏目数据的爬取,只爬了一个栏目的数据,希望有想法的有钻研 ...
怎么加载csv_python爬虫入门实战(四)！爬取动态加载的页面
今天的主题是爬取动态网页的经验分享,以cocos论坛为例子进行分享.(官方不会打我吧 ) 配置环境为什么选择cocos论坛呢?因为自己在浏览论坛时,发现标题内容会随着滚动条的位置而动态添加. 环境: ...
python爬虫动态加载_python爬虫入门实战(四)！爬取动态加载的页面！
今天的主题是爬取动态网页的经验分享,以cocos论坛为例子进行分享.(官方不会打我吧 ) 配置环境为什么选择cocos论坛呢?因为自己在浏览论坛时,发现标题内容会随着滚动条的位置而动态添加. 环境: ...
layui 如何动态加载局部页面_python爬虫入门实战(四)！爬取动态加载的页面！
今天的主题是爬取动态网页的经验分享,以cocos论坛为例子进行分享.(官方不会打我吧 ) 配置环境为什么选择cocos论坛呢?因为自己在浏览论坛时,发现标题内容会随着滚动条的位置而动态添加. 环境: ...
python爬虫入门实战---------一周天气预报爬取_Python爬虫入门实战--------一周天气预报爬取【转载】【没有分析...
Python爬虫入门实战--------一周天气预报爬取[转载][没有分析 Python爬虫入门实战--------一周天气预报爬取[转载][没有分析] 来源:https://blog.csdn.ne ...
爬虫入门实战第一站——梨视频视频爬取
爬虫入门实战第一站--梨视频视频爬取简介博主最近重新开始了解爬虫,想以文字方式记录自己学习和操作的过程.本篇文章主要是使用爬虫爬取梨视频网站中的视频并下载到本地,同时将视频简介和视频网站保存在ex ...
python xpath入门_python爬虫入门实战(三)！xpath 和 csv！
最近有小伙伴说正则表达式学不懂?那有什么替代方案呢?一起往下看吧! 在前两篇文章我们已经学了一些基本技巧.但是之前都是用正则表达式来解析内容的,可能有小伙伴对正则表达式不理解,于是乎,我找到一个相对好 ...

python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

从安装过程到可视化工具可查看数据信息，历时两天，昨天坐了一天的火车，今天早上才到的青岛–> 来放松心情。

由于目标计算机积极拒绝，无法连接

python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化相关推荐

最新文章

热门文章