由于业务需要，最近在研究大数据的处理，加上最开始学Python的时候还有点底子，今天来写一下如何进行数据处理。本篇使用到的数据是来自kaggle的链家北京房价开源数据集，下载地址会放在文章末尾。

不扯淡，开讲

import reimport timeimport pandas as pdimport numpy as npfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_test_splitlianjia_price = pd.read_csv("new.csv",                            encoding="gb2312",                            header=0,                            index_col=1)

先读取下载解压好的数据集，因为此csv文件没有使用万国码，所以需要特别指定文字编码。并且通过header指定第一行内容为列索引，通过index_col第二列内容为行索引。其中，第二列为id字段，且每个id不重复。

此时我们已经将数据读取完毕，理论上可以通过sklearn进行分析了，但是未经清洗的数据直接拿过去跑会报错，下面进入重头戏，如何清洗数据。

# 有几行数据串列了，此处进行一步搬迁，空出来的几列全都设为0for line in lianjia_price.index:    if lianjia_price.loc[line, "livingRoom"] == "#NAME?":        right_data = lianjia_price.loc[line, "drawingRoom":"ladderRatio"]        lianjia_price.loc[line, "floor":"subway"] = list(right_data)        lianjia_price.loc[line, "livingRoom":"bathRoom"] = (0, 0, 0, 0)

livingRoom字段中，有几行数据出现了串列，由于整体数据有三十几万，所以几十行出错的数据实际上并没有必要留下，但是既然被发现了就顺手拯救一下不是坏事。

从上图中发现livingRoom字段出错的数据是缺少了几列，于是我将这几列数据全部用0占位，原有的数据依次迁移到后面正确的位置。值得注意的是，pandas使用的切片是十分特殊的，别处使用类似

lianjia_price.loc[line, "livingRoom":"bathRoom"]

的切片Python是不认的，"livingRoom":"bathRoom"表示从前者开始到后者(包括)结束依次取中间所有列，如下图中所示。

观察下面数据

表示楼层的floor字段，除了包含楼层本身之外，还有汉字内容，这对分析并没有什么作用，所以只保留数字，其他内容剔除。

# 将楼层中的汉字剃除floor_numbers, match_floor_number = [], re.compile(r"\w\s(\d+)")for item in lianjia_price.index:    floor_number = match_floor_number.findall(lianjia_price.loc[item, "floor"])    if floor_number:        floor_numbers.extend(floor_number)    else:        floor_numbers.append(0)lianjia_price["floor"] = floor_numbers

此处通过正则实现过滤，原始数据中除了包含一个汉字，还有一个空格，对空格进行匹配是必要的。

lianjia_price["renovationCondition"].replace({    "钢混结构": 0,    "混合结构": 0},                                             inplace=True)

将表格内容中renovationCondition字段的脏数据替换成0

表格中包含的时间信息使用了自然语言格式，因为时间对房产价格而言是重要的影响因素，所以对tradeTime字段也进行处理，将其转化成时间戳

# 将交易时间改成时间戳def timestr_to_timeint(timestr):    time_obj = time.strptime(timestr, "%Y-%m-%d")    time_int = int(time.mktime(time_obj))    return time_intlianjia_price["tradeTime"] = lianjia_price["tradeTime"].apply(    timestr_to_timeint)

此处通过apply方法将自定义的时间转化为时间戳函数应用到每格数据中，并将结果替换进原始数据，结果如下。

# 将建设时间为“未知”的替换成0lianjia_price["constructionTime"].replace("未知", 0, inplace=True)lianjia_price.fillna(0, inplace=True)  # 将nan值替换为0

小区的建设时间中包含未知的内容，其他一些信息中包含的nan值一并替换为0。

# 此处数据中index会变成int类型，需要强行转换成str类型才能用lianjia_price.rename(index=str, inplace=True)

因为最开始设定的行索引是id，部分id是纯数字构成，所以这部份索引在pandas中就以int类型储存，但是后面的id是以BJ字母开头的字符串，所以必须将所有索引统一转换成字符串类型。

到此为止，数据清洗已经完成，下面部分是通过sklearn分析哪个因素对房价影响大，但是最终结论比较扯淡，所以就不要在意结论本身如何，本篇的价值主要在上面数据清洗的方法。后面的代码从别处搬来的比例较大。

# 将要分析的一列数据分离出去，同时剔除一部分可能的影响因素X = lianjia_price.drop(["price", "url"], axis=1)Y = lianjia_price["price"]# 由于数据较大，只取其中一部分数据做分析X_train, X_test, Y_train, Y_test = train_test_split(    X.loc["101084782030":"101092293053"],    Y.loc["101084782030":"101092293053"],    test_size=0.05,    random_state=0,    shuffle=True)

因为要分析价格信息，所以将价格信息单拉出去，同时因为url对分析而言没用，将每行url剔除。数据按列分好后，按照比例(test_size=0.05表示将95%的数据归到训练集中)分为训练集和测试集。X.loc["101084782030":"101092293053"]切片操作是因为三十几万数据太大了，从中取一部分进行分析。

# 训练模型clf = DecisionTreeClassifier(criterion="entropy",                             random_state=123,                             max_depth=8,                             min_samples_leaf=5)clf.fit(X_train, Y_train)# 特征贡献率columns = list(X_test.columns)importances = clf.feature_importances_indices = np.argsort(importances)[::-1]for i in indices:    print("{0} \t {1:.3f}".format(columns[i], importances[i]))

此处使用了DecisionTreeClassifier进行分析，最后按照每列数据的贡献率排名，结果如下

由结果可得，当前房价的最大影响因素是小区平均房价(废话)

最后，本文使用的csv数据下载地址：

Housing price in Beijing

Housing price of Beijing from 2011 to 2017, fetching from Lianjia.com

https://www.kaggle.com/ruiqurm/lianjia/data