python数据导入spss_Python/Excel/SPSS/SQL数据处理方法比较之1

前言

我知道这个标题很唬人，但容我解释两点：首先我是说【数据处理】，不是数据分析更不是数据挖掘，只涉及从获得数据到开始正式分析之前的准备工作，也称【数据清洗】；其次，这只是【比较】，只是比较粗浅的罗列而已，整理一下我最近俩月驳杂的学习内容。

首先介绍使用版本与工具：Python：Python 3.6.6（Anaconda custom）/Jupyter Notebook、pandas、numpy

Excel：Office 365（2016）

SPSS：Statistics 25

SQL：MySQL 8.0/Navicat Premium 12.1

然后提一下背景知识：列（Python/Excel）=字段（SQL）=变量（SPSS）

行（Python/Excel）=记录（SQL）=个案（SPSS）

OK,LET'S DANCE.

Python本地数据

这里说的是读取为pandas的数据框DataFrame格式。首先需要导入pandas和numpy：

import numpy as np

import pandas as pd

一般使用pandas读取表格型数据。如果是本地文件，如csv或xlsx，则常用两个函数：

df=pd.read_csv('路径')

df=pd.read_excel('路径')

这里的路径需要使用反斜杠\，但如果路径中出现中文则会报错，可以这样避开错误：

f=open('中文路径')

df=pd.read_csv(f)

csv文件可能会出现乱码，因此更加推荐使用xlsx格式的数据。读取后默认将第一行作为列名，也就是字段名。数据库数据

这里如运行在本地默认端口的MySQL数据库，其中有一个名叫xtest的数据库中有一个名叫xxx的表，就用如下方式导入到Python：

import pymysql

connect=pymysql.connect(host=‘127.0.0.1',user='root',passwd='密码',db='xtest')

df=pd.read_sql('select * from xxx',connect)

Excel本地数据

如果是csv文件或xlsx文件，直接打开即可。数据库数据及其他

可以使用如下做法：数据-获取外部数据。这里有可以导入Access数据库（自Access）和SQL Server数据库（自其它来源-来自SQL Server）数据，也可以导入文本和XML数据。

值得注意的是这里的自网站。可以通过这个选项打开一个有表格型数据的网站，导入到本地，可以说是快捷性爬虫了。

更多高级导入来自：自其它来源-来自Microsoft Query，这里不细说。

另外，外部数据如果更新后，Excel不用再次导入，直接使用数据-连接-全部刷新，即可刷新数据。

Excel真是最熟悉的陌生人，大多数人只用了大概百分之五的功能，这还不算VBA。

SPSS本地数据

当然可直接打开本地的sav文件。

如果是xlsx文件或者csv文件，可以使用如下做法：文件-导入数据-Excel（Csv数据）-选择文件确定-读取选项确定。这里读取选项一般默认第一行作为变量名，其余也是默认就好。数据库数据

SPSS连接数据库需要首先安装ODBC服务，对于MySQL需要从下载安装ODBC插件，

之后在SPSS中：文件-导入数据-数据库-新建查询-选择ODBC数据源-选择表，即可。

SQL本地数据

如果是本地的xlsx文件或者csv文件，推荐使用Navicat的导入向导来导入。

右键点击数据库下拉菜单中的表菜单（不是某个表）

-选择导入向导

-选择导入类型

-选择导入文件（以及导入文件中的某个表）

-导入选项（确定字段名行+确定第一个和最后一个数据行+日期格式，都默认就好）

-选择目标表（这里新文件一般是勾选新建表并命名目标表；如果是追加到某个表后，需要确保字段顺序和格式完全一致，否则会导入不完全）

-确定字段映射（这里可以指定主键）

-确定导入模式（追加或复制）

-开始，开始导入后可以观察已处理和已更新的数据，如果有错误可可以观察是哪里出错，这样比较稳健。数据库数据

当然这里主要是指从别的数据库导入到当前数据库中。

首先连接两个数据库x和y，如果要把y中的wen表导入到x中命名为new，则首先需要连接x库和y库，之后在x中新建以下SQL查询：

create table new as select * from y.wen;

以上就是至今我在四种工具中导入数据的经验。

最后，血泪吐槽：多使用xlsx，少用csv，益寿延年。

python数据导入spss_Python/Excel/SPSS/SQL数据处理方法比较之1 - 数据导入相关推荐

spss与python和sql区别_Python/Excel/SPSS/SQL数据处理方法比较之2 - 数据查看
继续这个系列.我们导入了数据,接下来做一下基本的查看. Python 我们的处理对象依然是DataFrame对象df. 首先使用head()函数(或tail()函数)查看最前(最后)的5条记录,获取粗 ...
python excel数据处理空格替换_Python/Excel/SPSS/SQL数据处理方法比较之5 - 空格清理...
我说的空格清理,是存在于字符串前后(以及中间)的空格. 做过数据清洗才知道空格有多么恶心(平静脸 Python 1.左右两侧空格如果不使用包,则对于一个字符串左右两边的空格,可以使用字符串函数str ...
php把路由放在数据库,PHP导入Excel到数据库的方法 PHP把数据库数据导出到方法
PHP导入Excel到数据库的方法 PHP把数据库数据导出到方法本文实例讲述了PHP将Excel导入数据库及数据库数据导出至Excel的方法.分享给大家供大家参考.具体实现方法如下: 一.导入导入 ...
python xlrd读取excel-使用Python xlrd模块读取Excel格式文件的方法
这是一篇关于如何使用Python xlrd模块读取Excel格式文件的方法的文章,下面的python代码中使用了xlrd模块的方法,这样就能够很方便的读取 excel 文件内容.同是这个xlrd模块 ...
php自定义表单怎么导入excel,织梦dedeCMS将自定义表单数据导入到excel文档实现方法...
这篇文章主要为大家详细介绍了织梦dedeCMS将自定义表单数据导入到excel文档实现方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,有需要的朋友可以收藏方便以后借鉴. 织梦的自定义表单适用起 ...
如何用Python执行常见的Excel和SQL任务
本教程的代码和数据可在 Github 资源库中找到.有关如何使用 Github 的更多信息,请参阅本指南. 数据从业者有许多工具可用于分割数据.有些人使用 Excel,有些人使用SQL,有些人使用P ...
如何用 Python 执行常见的 Excel 和 SQL 任务
作者:ROGER HUANG 本文翻译自:http://code-love.com/2017/04/30/excel-sql-python/ 来源:https://www.jianshu.com/p/ ...
Pandas数据处理方法（包括数据库数据和普通文件数据）
pandas是一个强大的分析结构化数据的工具集:它的使用基础是Numpy(提供高性能的矩阵运算):用于数据挖掘和数据分析,同时也提供数据清洗功能. Pandas中常见的数据结构有两种: Series ...
matlab 两列数据相乘,在EXCEL中，两列完全相同的数据，求和结果不一样？?单元格两列相乘的公式...
excel表格中怎样求和以及计算两列的乘积一.这可以用SUMPRODUCT函数来完成. 二.比如是要＝A1*B1 A2*B2 .....A100*B100,则这个公以简化成 =SUMPRODUCT ...
计算机表格行列,excel表格中行列数据切换-在excel中如何切换图表的行/列数据
Word表格中怎样进行行列互换 excel表格如何部分行列置换 Excel中实现行列互换的具体操作知如下: 1.打开excel. 2.选中表格,然后点击[复制]. 3.选择一个空白单元格. 4.点击[ ...

python数据导入spss_Python/Excel/SPSS/SQL数据处理方法比较之1 - 数据导入

python数据导入spss_Python/Excel/SPSS/SQL数据处理方法比较之1 - 数据导入相关推荐

最新文章

热门文章