python爬虫之数据存储(四):MySQL数据库
MySQL数据库操作
MySQL数据库安装:
- 下载地址:https://dev.mysql.com/downloads/windows/installer/5.7.0.html
- 如果提示没有.NET Framework框架。那么就在提示框中找到下载链接,下载一个就可以了。
- 如果提示没有Microsoft Virtual C++ x64(x86),那么百度或者谷歌这个软件安装即可。
Python连接MySQL数据库:
- pip install pymysql
- 连接代码:
db = pymysql.connect(host="127.0.0.1",port=3306,user="root",password="root",database="csdn_crawler",charset='utf8')
- host:以后在连接外网服务器的时候,就要改成外网服务器的ip地址。
- port:在外网一般会更换端口号,不会为3306,这是为了安全考虑。
- user:连接的用户,一般在生产环境中会单独分配一个账号给你,而不是使用root用户。
- password:这个用户的密码。
- database:要连接操作的数据库名。
- charset:设置为utf8这样就能操作中文了。
插入数据:
title = '444'
content = '555'
sql = "insert into article(id,title,content) values(null,%s,%s)"
cursor.execute(sql,(title,content))
语法是:
insert into [表名(字段)] values(字段对应的值)
如果值是动态变化的,那么可以使用%s
来先作为坑,后期在使用execute方法的时候,可以给一个元组把这些数据填进去。
查找数据:
sql = "select id,title from article where id>3"
cursor.execute(sql)
执行完sql
语句后,可以使用以下三个方法来提取数据:
- fetcheone:提取第一条数据。
- fetchall:提取select语句获取到的所有数据。
- fetchmany:提取指定条数的数据。
删除数据:
语法:
delete from [表名] [条件]
示例:
sql = "delete from article where id>3"
cursor.execute(sql)
更新数据:
语法:
update [表名] [更新操作] [条件]
示例:
sql = "update article set title='钢铁是怎样练成的' where id=3"
cursor.execute(sql)
ticle set title='钢铁是怎样练成的' where id=3"
cursor.execute(sql)
python爬虫之数据存储(四):MySQL数据库相关推荐
- 利用Python爬虫网站数据直接导入mysql数据库中
说明: 可能经常出现要爬取某个网站的数据,这时候需要利用爬虫技术来完成,这块主要使用Python来实现. 如何搭建Python环境我上节文章有详细描述:使用Python3.7实现爬虫技术,获取自己想要 ...
- 《Python网络爬虫——从入门到实践》第六章将数据存储至MySQL数据库的学习心得与总结(出错与纠正方法)
<Python网络爬虫--从入门到实践>第六章将数据存储至MySQL数据库的学习心得与总结(出错与纠正方法) 作为刚开始入门python的小白,对大数据,网络爬虫比较感兴趣.完全是自我修炼 ...
- 猫眼电影票房爬取到MySQL中_猫眼电影爬取(一):requests+正则,并将数据存储到mysql数据库...
前面讲了如何通过pymysql操作数据库,这次写一个爬虫来提取信息,并将数据存储到mysql数据库 1.爬取目标 爬取猫眼电影TOP100榜单 要提取的信息包括:电影排名.电影名称.上映时间.分数 2 ...
- python:使用selenium爬取51job(前程无忧)并将爬取数据存储到MySql数据库中的代码实例
自己捣鼓了几天写的代码,基本上把51job的岗位相关的数据都爬下来了,可以视要求自行增减,代码虽然有些简陋,不过我爬取的时候没报什么错.代码适合初学者学习使用,废话不多说,代码如下: from sel ...
- python正则实战爬虫demo+数据清洗+存储到mysql数据库=你还在等什么?
文章目录 项目目标 项目流程 任务步骤 步骤一:爬取四张数据表,并做适当的数据清洗 将网页源码保存到文件中 爬取第一张表 爬取第二张表 爬取第三张表 爬取第四张表 步骤二:通过继承优化代码+通过mys ...
- esp8266数据上传到mysql数据库_03-STM32+ESP8266+AIR202/302终端管理篇-把设备温湿度数据存储到MySQL数据库(Windows)...
前言 这一节把设备通过MQTT上报的数据写入MySQL数据库. 注:关于MySQL数据库的安装和基本使用请用户参考基础开源教程学习! 说明 此节代码使用的 IntelliJ IDEA 软件编写. 整个 ...
- Python爬虫_数据存储
文章目录 HTML正文抽取 多媒体文件抽取 Email提醒 HTML正文抽取 HTML正文存储主要分为两种格式:JSON和CSV 储存为JSON 需求:抽取小说标题.章节.章节名称和链接 首先使用Re ...
- Python 抓取数据存储到Mysql中
# -*- coding: utf-8 -*- import os,sys import requests import bs4 import pymysql#import MySQLdb#连接MYS ...
- python3数据存储—四个数据库(sqlite,mysql,redis,mongodb)
文章目录 前言 一.python3 操作sqlite,mysql,redis,mongodb 二.python 标准库 sqlite3模块 1.引入库 2.代码示例 三.python 三方库 pymy ...
- PYTHON——数据存储:MySQL数据库
Python3 MySQL 数据库连接 - PyMySQL 驱动 本文我们为大家介绍 Python3 使用 PyMySQL 连接数据库,并实现简单的增删改查. 什么是 PyMySQL? PyMySQL ...
最新文章
- 没解决这个7次方程问题,为何这三个数学家却很开心
- python微型web框架flask介绍
- php常用代码(一)
- 使用Apex进行混合精度训练
- Java8————Base64
- Android中ICS4.0Launcher中Fold的功能详解【androidICS4.0--Launcher系列三】
- OSPF在企业网络中的应用
- WordPress插件:WP-China-Yes解决国内访问官网慢的方法
- jsPDF介绍与兼容IE的补丁
- 电子版白底寸照如何制作
- 计算机屏幕截图如何保存,怎么在屏幕截图
- html制作动态3d图片,如何制作3D动态图片?
- 验证手机号码是否正确
- idv和vdi的优劣势_VDI与IDV真正的含义是什么?
- 1.1 机器人学之空间描述和变换
- 动手画混淆矩阵(Confusion Matrix)(含代码)
- 力扣K神图解算法数据结构解析04
- 安装了向日葵或TeamViewer导致系统亮度无法调节
- 2020基础会计继续教育网上考试答案
- 从产业链角度,来深度剖析智能家居