Python处理数据分析的优势,很多人都知道(可以实现更复杂、更灵活的操作,包括数据预处理、数据可视化输出等),但是加载到Python中的数据,只是临时存储在内存中的一张虚拟表(退出之后就会被释放掉了,直到下次有需要就得重新加载)。

Excel是具有数据的处理和存储功能,但处理能力不如Python,存储能力又不如SQL。要是能把 Python的数据分析能力与SQL的数据存储能力结合起来,那该有多好呀(可以提升自己搞数据的上限)!

因为我们一般习惯用开源(也就是免费)的,所以我用的是MySQL数据管理系统。

在我以为朋友大顺哥的远程指导下,今天上午,我终于如愿成功地实现用Python读取MySQL里面的数据了。感谢(以后有干货,大家应该多多一起分来,好实现共同进步,提高社会竞争力……)!

闲话少说,直接真刀实枪来相见。代码操作如下:

MySQL中的数据表:

先安装pymysql库。  # pip install pymysql

# 导入需要用到的相关库

import pandas as pd

import pymysql

from sqlalchemy import create_engine

# 创建连接

# root: 后面跟本机中MySQL的密码

# 第二个mysql(最后一个)就是本机中的数据库名称,因为我直接用的就是mysql

conn = create_engine("mysql+pymysql://root:密码@localhost:3306/mysql(数据库名称)")

# 选择mysql下的xs表

# 注:xs是所要读取的表名称,且不管表名称是因为还是中文字符,都不用另外添加双引号或单引号

sql = "select * from mysql.xs"

# 读取数据

df_sql = pd.read_sql(sql,conn)

# 打印输出

df_sql

完整代码:

# 导入需要用到的相关库

import pandas as pd

import pymysql

from sqlalchemy import create_engine

# 创建连接

# root: 后面跟本机中MySQL的密码

# 第二个mysql(最后一个)就是本机中的数据库名称,因为我直接用的就是mysql

conn = create_engine("mysql+pymysql://root:123456@localhost:3306/mysql")

# 选择mysql下的xs表

# 注:xs是所要读取的表名称,且不管表名称是因为还是中文字符,都不用另外添加双引号或单引号

sql = "select * from mysql.xs"

# sql = "select * from mysql.采购经营综合查询"

# 读取数据

df_sql = pd.read_sql(sql,conn)

# 打印输出

df_sql

其余以后可能需要用到的相关代码:

#放在后面,相当于当初电子表格

conn = create_engine("mysql+pymysql://root:123456@localhost:3306/mysql",encoding="utf-8")

df_sql.to_sql("hdhgfxhknsf",con=conn,if_exists="append",index=False)

df_hdyclhsf.to_sql("hdyclhsf",con=conn,if_exists="append",index=False)

注:先要在数据库里按照你要存储的格式把字段设置好

其余代码大杂烩:

import numpy as np

import scipy as sp

import pandas as pd

import pymysql

from sqlalchemy import create_engine

import matplotlib.pyplot as plt

%matplotlib inline

plt.rcParams["font.sans-serif"]="SimHei"

plt.rcParams["axes.unicode_minus"]=False

%config InlineBackend.figure_format = "svg"

from IPython.core.interactiveshell import InteractiveShell

InteractiveShell.ast_node_interactivity = "all"

import os

import datetime as dt

import time

import networkx as nx

import warnings

warnings.filterwarnings("ignore")

#pd.set_option("display.unicode.east_asian_width",True)#设置列名对齐

#pd.set_option("display.max_columns",None)#显示所有列

#pd.set_option("display.max_rows",None)#显示所有行

#pd.set_option("expand_frame_repr",False)#设置不换行

pd.set_option("display.float_format",lambda z: "%.2f" % z)#不采用科学计数法

os.chdir(r"E:\hczhd")

#单个话单

df_hb = pd.read_excel("20200617100838.xls")

其实要显示全部的行和列,我还是比较习惯用下面这两段代码:

#显示特定行数

pd.options.display.max_rows = 10000

#显示特定列数

pd.options.display.max_columns = 10000

文末感悟:

① 现在是信息互联共享的时代,有针对性地终生保持学习才不容易被职场淘汰(以后会更加地有底气和有更多的选择性);

② 网络上优秀的人才比比皆是,所以在平时可以少刷朋友圈和抖音,多认识一下网上优秀的朋友,广结善缘,互相帮助,才能更好更快地实现学习成长;

③ 用Python直接从MySQL中读取数据,感觉好像明显比从Excel中快(可能是MySQL在数据存储方面更加专业吧,而且不像Excel自带各种格式)

来源:oschina

链接:https://my.oschina.net/u/3750423/blog/4315037

python读取mysql中的数据_Python笔记:用Python读取MySQL中的数据相关推荐

  1. python合并word表格单元格_Python实战009:读取Word文档中的表格数据及表格合并问题解决...

    同事最近被安排整理资料,主要工作室将文档中的表格数据提取出来并整理层Excel表格供我们FII刀具商城进行资料维护.由于刀具的种类繁多且规格无数,所以要处理的数据量相当的庞大.人工核对整理既费时又费力 ...

  2. python抓取表格数据_Python如何实现从PDF文件中爬取表格数据(代码示例)

    本篇文章给大家带来的内容是关于Python如何实现从PDF文件中爬取表格数据(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 本文将展示一个稍微不一样点的爬虫. 以往我们的 ...

  3. python内置数字类型转换函数_Python学习 Day2-2 Python3的基本数据类型、数据内置类型转换函数...

    Python3的基本数据类型 Python 中的变量不需要声明.每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建. 在 Python 中,变量就是变量,它没有类型,我们所说的"类型& ...

  4. python 计量经济 35岁 工作_Python在计量经济与统计学中的应用

    Python for Econometrics and Statistics (Python在计量经济与统计学中的应用) [点击链接进入主页].这套笔记将重点介绍Python在计量经济学与统计分析中的 ...

  5. python中线程同步_Python线程同步在实际应用中功能体现

    在Python编程语言中,对于线程的操作是一个比较重要的应用技术.我们将会在这篇文章中为大家详细介绍一下这方面的相关基础内容,Python线程同步的应用方式.多个执行线程经常要共享数据,如果仅仅读取共 ...

  6. python编程大数据_Python编程基础 Python大数据数据分析高职 计算机 软件技

    内容介绍 本书采用以任务为导向的编写模式,全面地介绍了Python编程基础及其相关知识的应用,讲解了如何利用Python的知识解决部分实际问题.全书共7章,*1章介绍学习Python的准备工作,包括P ...

  7. python类的特殊方法汇总_Python笔记001-类的特殊方法

    Python笔记001-类的特殊方法 以下是我学习<流畅的Python>后的个人笔记,现在拿出来和大家共享,希望能帮到各位Python学习者. 首次发表于: 微信公众号:科技老丁哥,ID: ...

  8. python调用第三方接口获取数据_python调用接口,python接收post请求接口(附完整代码)...

    与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接 ...

  9. python怎样查看describe的结果_Python学习第126课--pandas拿到数据后的总体描述

    [每天几分钟,从零入门python编程的世界!] 当我们拿到一份数据的时候,可以让pandas告诉我们这一组数据到底是什么样子的,也就是说对数据进行一个总体的描述. 之前我们可以通过df.head() ...

最新文章

  1. 《Linux From Scratch》第二部分:准备构建 第三章:软件包与补丁- 3.1. 简介
  2. Opencv读取图片像素值
  3. SpringCloud(第 057 篇)CentOS7 安装 maven 编译工具
  4. react --- 复合组件,传递属性
  5. 【Qt】Qt之进程间通信(共享内存)【转】
  6. Objective-c的点符号(.)的奇怪之处
  7. 查看监控Heap size 和 JVM 垃圾回收情况
  8. Genomic characterization of metastatic breast cancers 转移性乳腺癌的基因组特征
  9. python的Singleton模式实现
  10. Tensorflow2.0.0版本和Keras2.4.3不兼容
  11. acdsee pro3 安装序列号
  12. MATLAB一元微积分实验
  13. quantization 顶会文章简介 2017
  14. 喜报|知道创宇ScanA入选华为云内容安全领域首家联营联运生态伙伴
  15. 《 Visual c++2013入门经典》(Ivor Horton,7th)2.15练习编程验证
  16. 基于单片机的纸牌24点游戏模拟器设计
  17. Kettle教程(三):Excel转换文本
  18. 如何通过纯javascript实现表单提交
  19. 硬件设计——外围电路(电源电路)
  20. 长丰县节能环保战新产业集聚发展基地第二批支持项目条件、类型

热门文章

  1. 人脸识别损失函数梳理与分析/相关方法整理
  2. 宇宙文明等级的划分标准
  3. 经常性无法访问某些国内网站的问题(by quqi99)
  4. 证件识别接口编写的JAVA调用示例
  5. 万般皆下品,唯有收租高
  6. 微人事(vhr)开源项目部署
  7. 【老生谈算法】matlab实现灰度图处理源码——灰度图处理
  8. 移动开发技术——近场通信
  9. U盘EFI分区删不掉怎么办
  10. 牛叔说电影-社会底层是怎样炼成的