目录

第一章 项目介绍

第二章 项目组织与项目计划

第三章 数据采集

3.1 数据采集目标

3.2 数据采集工具与方法

3.3 数据采集流程

3.4 数据采集保存

3.5 本章小结

第四章 数据预处理

4.1 数据预处理的目标

4.2 空值与重复值的处理

4.3 标点符号的处理

4.4 单位标准统一化

4.5 本章小结

第五章 数据分析与可视化

5.1 数据分析与可视化的目标

5.2 数据统计特征分析与可视化

5.3 数据分析与可视化

5.6 意见与建议

5.7 本章小结

第一章 项目介绍

项目名称：基于大数据背景下的全国各大城市地铁客流量分析

项目背景：

进入新世纪以来，我国城市的发展规模和人口流入量不断加快，相应的小汽车保有量也随之上升，城市交通拥堵的矛盾也更加突出。轨道交通由于其特殊的地下运行方式，不仅大大缓解了城市地面交通压力，而且对于促进生态保护有着突出的贡献。当前，我国的轨道交通业也迎来了高速发展时期，很多一线城市都已经开通了地铁，并且，地铁网络的覆盖面积越来越广泛，极大地方便了人民群众的出行。

城市交通运力的不足不仅在一定程度上阻碍了城市的可持续发展，同时也严重影响了广大群众的正常的生活与工作。当前，城市的人口流入数量仍在持续，每年近千万的新增城市人口数量，对城市的交通运输体系提出了巨大的挑战。很显然，轨道交通已经成为有效缓解城市交通压力的首选，轨道交通的投入和使用大大缓解了日益突出的交通矛盾，极大程度地方便了人们的出行。同时对于优化城市空间结构，带动区域经济发展，具有重要的促进作用。

项目简介：

在数据大爆发的时代,对数据进行有效的分析,以及研究其应用变得至关重要。 通过分析地铁站的客流量数据,用多样化的图形展示全国各大城市地铁站客流量信息,直观地看到不同线路上的客流情况。为大数据信息化时代提供了高效,准确,便捷的方法,能够更好满足大数据时代的要求,方便社会诸多人群的日常生活。

项目利用python中的numpy、pandas第三方库，实现了数据的快速处理，并对地铁客流量数据进行研究，利用pycharts第三方图形库用可视化的扇形图、直方图、分布图等多样化的图形展示本城市地铁站客流量信息，直观地查看不同线路上的客流情况。可以方便地铁乘客们选择合适的行程计划，节省更多的时间和精力;另一方面对于企业而言，可以让企业直观看到各大城市哪个时段、哪片区域人口流量大，便于企业做出针对性的商业计划;还可以让政府单位更直观准确地了解到轨道交通的实况，更好地完善城市服务。

项目工具与可视化实现方法：

本项目借助excel进行数据清洗和预处理；借助python的第三方库numpy,pandas处理地铁各时段,各路段的客流量数据;借助pycharts这个第三方图形库,将数据分析的结果以可视化的方式呈现出来,更加直观地对收集到数据的实际应用进行研究。

项目预期成果：

借助python分析数据应用研究。为大数据信息化时代提供了高效、准确、便捷的方法，能够更好满足大数据时代的要求，方便社会诸多人群的日常生活。同时随着国内对城市交通模型越来越重视，交通模型队伍的培养与壮大，城市规划的不断稳定，爬取全国各城市地铁客流量进行可视化分析以进一步实现客流预测的精度提升。

项目代码存放地址：

第二章 项目组织与项目计划

组长职责：制定项目计划，确定本次项目分析目标，参与项目实施过程，数据爬取以及项目答辩。

组员税美萍职责：PPT制作、数据整理收集和预处理、报告排版和整理

组员冯嘉乐职责：利用FinBI进行部分数据可视化，参与处理数据。

组员唐业俊职责：收集整理数据，负责部分数据可视化分析。

项目计划：[1]

第一阶段：数据采集

该阶段的的主要任务是：1，确定项目采集目标的数据源对象；2，确定项目分析目标和采集需要的字段名；3，确定数据采集的工具与方法；4，确定数据采集后数据的存储方式和存储介质。

第二阶段：数据预处理

该阶段的的主要任务是：1，将不完整的数据和重复的数据从数据集中去除；2，从数据集中剔除标点符号等数据；3，将日期、数量等从文本型转化为相应的数据类型；4，将数值的单位转化为统一的单位标准。

第三阶段：数据分析

该阶段的的主要任务是：1，通过数据统计，发掘数据的统计特征，如平均值、标准差等；2，通过多维度的数据分析，发掘数据之间的关联关系，维度包括种类、时间、地理等；3，通过多维度的数据分析，发掘特征值和目标值之间的关联关系，如Pearson相关系数矩阵分析、PCA主成分分析、线性回归分析等。

第四阶段：数据可视化

该阶段的的主要任务是：选取合适的图形，使用可视化大屏等数据交互手段展示数据分析过程及数据分析结果，通过文字+图形的方式提炼数据，讲好数据故事。

第五阶段：数据分析报告撰写

该阶段的的主要任务是：通过项目分析报告，展示数据分析项目各阶段的阶段性成果，总结项目经验与不足之处。

第三章 数据采集

3.1 数据采集目标

1.深度出行小程序

2.国家交通运输局

确定的项目采集目标数据字段：

图 3.1 数据采集目标字段截图

图 3.2数据采集目标字段截图

如图3.1，3.2所示，数据采集整理后的字段名在EXCEL中显示的数值（部分展示）

3.2 数据采集工具与方法

采集工具：Charles手机抓包工具，Python

采集方法：运用Charles链接电脑和手机，手机打开小程序以后，Charles会监视抓取获取http与https访问，然后按照之前学习的Python爬虫正常爬取就可以了。

3.3 数据采集流程

首先下载Charles,这里提供下载网站：Download a Free Trial of Charles • Charles Web Debugging Proxy (charlesproxy.com)

下载完成后，需要获取激活码，这里提供网址：Charles破解工具 (zzzmode.com)

在应用该软件前，需要获取认证书，这里安装过程略过，直接放安装成功的图片。

证书获取以后，检查证书状态，确保没有问题。

链接电脑和手机，确保电脑和手机最好是在同一个网段下。

链接完毕以后，手机打开小程序，Charles会自动抓取小程序的网页请求。

然后我们就可以打开请求页面，定位我们需要爬取的数据。

图 3.2 数据采集流程图

如图3.2所示，成功打开请求页面，获取我们需要爬取的数据。

3.4 数据采集保存

图 3.3 数据采集存储方式

如图3.3所示，我们将采集到的数据保存整理到了EXCEL文件当中，单独分列了8个sheet表，存放不同采集目标的数据。

3.5 本章小结

本章的数据采集部分，难度很大，涉及到很大课外的知识，利用第三方软件Charles爬取数据也是之前我们没有听说过和接触过的知识点，所有的爬取过程和软件的安装只有从零开始，一点点在网上寻找数据案例，并且在实际的运行和链接过程不断试错，出现了很多网上没有提及到的错误，都得到了我们的修改和不断的探索完成。数据爬取的最大难点就在于小程序设有加密，无法获取得到其URL链接，在攻克了这个难点以后，我们的数据爬取工作才算是正式开展，后续的爬取数据的存储和Excel的分表都是比较简单的工作，由于数据来源很干净，爬取的数据也很完整，没有出现乱码和数据丢失的情况。并且在数据爬取的时候，我们提前已经确定好我们所需要的字段，避免采集到其他对我们来说不需要的数据。

第四章 数据预处理

4.1 数据预处理的目标

①清洗噪声数据，去除重复数据以及异常数据，并进行数据校验和纠错；

②对数据进行归一化处理，以消除不同数据单位带来的影响，使得数据更具可比性；

③对数据进行缺失值填充或删除，以保证数据的完整性和准确性；

④对数据进行分段处理，以便后续分析和建模。

4.2 空值与重复值的处理

图4.1数据重复值查找删除

图4.2数据缺失值查找删除

import pandas as pd

import numpy as np

df_excel = pd.read_excel("C:/Users/税美萍/Documents/年日均客流.xlsx")

print('数据量行*列',df_excel.shape)

# # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存，无表头

print('数据集中存在重复观测的数量：\n',np.sum(df_excel.duplicated())) #F为不存在，T为存在，用sum显示重复的数量

print('删除行重复后的数据\n',df_excel.drop_duplicates(subset=None,keep='first',inplace=None))#excel文件中设定第一和第二行为重复行，结果删除了第二行保留第一行

###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

#### 代码中subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。

#####keep='first'表示保留第一次出现的重复行，是默认值。keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。

#####inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本

print('数据集列中是否存在缺失值：\n',df_excel.isnull().any())              #F为不存在，T为存在

print('每一行的缺失值个数：',df_excel.isnull().sum(axis=1))

print('每一列的缺失值个数：',df_excel.isnull().sum(axis=0))

##  df.isnull().sum(axis=0)每一列的缺失值个数

## df.isnull().any()则会判断哪些”列”存在缺失值

df=df_excel.dropna()

print(df_excel.dropna(thresh=5))

# #axis=0: 删除包含缺失值（NaN）的行

# #axis=1: 删除包含缺失值（NaN）的列

# # how=‘any’ :要有缺失值（NaN）出现删除

# # how=‘all’: 所有的值都缺失（NaN）才删除

# 还有一个thresh参数

# thresh=n，保留至少有 n 个非 NaN 数的行

######drop用法

print(df_excel.drop(['edu'],axis=1))#按照列删除edu这一列

print(df_excel.drop([0],axis=0))#按照行删除0这一行

4.3 标点符号的处理

import re

import openpyxl

def entity():

# 第一步：打开表格

table_src = openpyxl.load_workbook("D:\新建文件夹\地铁客流.xlsx")

# 第二步：选取表单

sheet_src = table_src['数据概览']

# 第一步：打开表格

table_tar = openpyxl.load_workbook("D:\新建文件夹\地铁客流.xlsx")

# 第二步：选取表单

sheet_tar = table_tar['数据概览']

i = 0

segs = []

for cases in list(sheet_src.rows):

i = i + 1

print(cases[1].value)

value = remove_special(cases[1].value)

if value in segs:

continue

segs.append(value)

append_data(sheet_tar, cases[0].value, value)

# 保存工作簿

table_tar.save(" 地铁客流.xlsx")

# 保存工作簿

table_src.save(' 地铁客流.xlsx')

# 关闭工作薄

table_src.close()

# 关闭工作薄

table_tar.close()

def append_data(sheet_sh, col1, col2):

nrows = sheet_sh.max_row  # 获得行数

print("nrows " + str(nrows))

ncolumns = sheet_sh.max_column  # 获得行数

print("ncolumns " + str(ncolumns))

sheet_sh.cell(nrows+1, 1, col1)  # 行，列，值 这里是从1开始计数的

sheet_sh.cell(nrows+1, 2, col2)

# 清除特殊字符

def remove_special(value):

sub_str = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])", "", value)

return sub_str

# 清除英文字符

def remove_eng(value):

sub_str = re.sub(r'[^\u4e00-\u9fa5]', '', value)

return sub_str

if __name__ == '__main__':

entity()

4.4 单位标准统一化

将读取的数据转换为适合分析的数据类型：

首先将字符串类型转换为数值类型，使用astype()函数进行强制类型转换；将时间类型字符串转换为datetime类型，使用to_datetime()方法进行转换。

4.5 本章小结

地铁客流量数据预处理是数据挖掘和分析的重要环节，直接影响后续建模的准确性和可靠性；

数据预处理需要基于数据的实际情况，分析出数据中的问题，采取合适的措施进行清洗、归一化、填充和分段等处理；

数据预处理需要运用多种工具和技术，包括数据清洗、数据转换、数据离散化、缺失值处理等方法，根据实际情况灵活应用。