爬虫关键信息获取与MongoDB数据库使用方法

MongoDB数据库安装与使用

安装过程

如文章MongoDB Community Download | MongoDB所讲，只需点开下载的网址会自动匹配当前主机的操作系统，在下载完压缩包后进行解压即可。下图为经过解压后的文件夹内容(在下载的选项中选择custom自定义安装，自行选择安装的路径,我安装在E盘E:\\MongoDB)

配置MongoDB过程

首先在MongoDB的data文件夹里面新建一个db文件夹和一个log文件夹

随后，在环境变量中加入mongo的bin文件夹，完成环境变量的配置。

在命令行中检验mongo环境是否配置完毕，在cmd中输入mongo

关闭与开启MongoDB的方法

命令关闭

use admin
db.shutdownServer()

非命令关闭

按快捷键win+R,搜索services.msc,找到mongoDB对应的进程将其关闭。

配置MongoDB Compass可视化工具

进入上面提到的下载网站之后，选择导航选项中的Tools选项，随后看到下方的compass折叠项，点开后下载压缩包即可。

解压之后对应的文件内容如下。

点开应用程序后的执行效果如图，如果选择连接本地库则直接选择连接即可，如果链接其他数据库则需要输入数据库地址与相关密码

连接成功后的示意图如下

爬虫代码分析

获取发送给后台的post信息(即爬虫的header)内容

进入要爬取的网页之后，需要点击快捷键ctrl+f12从而打开网页的信息，随后点击上方导航栏的网络从而在之后查看发送给服务器后台的信息。(p.s:此处需先将保留日志的选项勾选，并且选择查看Fetch/XHR的信息)

随后，点开任意一个信息，首先查看其中标头的内容，其中请求标头的内容即为爬虫中需要填写的header内容(其中最重要的是cookie信息，用于服务器辨别发出申请的用户的信息)

然后，查看当前信息的载荷的内容(在谷歌浏览器中，用此处表示发送给服务器的post信息)，这也是爬虫中给服务器发送的post信息。

爬虫关键信息获取与MongoDB数据库使用方法相关推荐

spring mysql mongdb_Spring Boot中使用MongoDB数据库的方法
MongoDB数据库简介简介 MongoDB是一个高性能,开源,无模式的,基于分布式文件存储的文档型数据库,由C++语言编写,其名称来源取自"humongous",是一种开源的文 ...
python读取sqlserver的数据_Python实现读取SQLServer数据并插入到MongoDB数据库的方法示例...
本文实例讲述了Python实现读取SQLServer数据并插入到MongoDB数据库的方法.分享给大家供大家参考,具体如下: # -*- coding: utf-8 -*- import pyodbc ...
python批量读取图片并批量保存_Python实现批量读取图片并存入mongodb数据库的方法示例...
本文实例讲述了Python实现批量读取图片并存入mongodb数据库的方法.分享给大家供大家参考,具体如下: 我的图片放在E:\image\中,然后使用python将图片读取然后,显示一张,存入取一张 ...
tp5连接mongo和mysql_tp5(thinkPHP5)操作mongoDB数据库的方法
本文实例讲述了tp5(thinkPHP5)操作mongoDB数据库的方法.分享给大家供大家参考,具体如下: 1.通过composer安装 composer require mongodb/mongod ...
monolog mysql_Laravel框架使用monolog_mysql实现将系统日志信息保存到mysql数据库的方法...
本文实例讲述了Laravel框架使用monolog_mysql实现将系统日志信息保存到mysql数据库的方法.分享给大家供大家参考,具体如下: Laravel中使用monolog_mysql将系统日志 ...
Kafka实战 - 06 Kafka消费者：从指定Topic拉取工单处置记录信息并存入MongoDB数据库
文章目录 1. 处置记录表 t_disposal_record 2. kafka 主题和消费者配置 3. 定义一个线程任务 KafkaTask 1. kafka Topic中的数据:KafkaDisp ...
Python 网络爬虫与信息获取（一）—— requests 库的网络爬虫
1. 安装与测试进入 cmd(以管理员权限),使用 pip 工具,pip install requests 进行安装: 基本用法: >> import requests >> ...
Python 网络爬虫与信息获取（二）—— 页面内容提取
1. 获取超链接 python获取指定网页上所有超链接的方法 links = re.findall(b'"((http|ftp)s?://.*?)"', html) links = ...
最简单的网络图片的爬取 --Pyhon网络爬虫与信息获取
1.本次要爬取的图片的url http://www.nxl123.cn/static/imgs/php.jpg 2.代码部分 import requestsimport osurl = "h ...

爬虫关键信息获取与MongoDB数据库使用方法

MongoDB数据库安装与使用

爬虫关键信息获取与MongoDB数据库使用方法相关推荐

最新文章

热门文章