本文主要使用Python对链家网广州二手房信息进行数据抓取，并从中提取二手房价格、面积、户型和二手房关注度等数据，然后对提取的数据进行相应的数据分析与及对二手房进行分群聚类。

数据获取

网页分析

网页源代码

由上图可知，我们需要的数据都在网页源代码中，所以不需要抓包对网页进行分析。

提取网页中的特定信息

伪装浏览器

#-*- coding:utf-8 -*-

import urllib.request

from bs4 import BeautifulSoup

import pandas as pd

def Disguise():

'''伪装浏览器访问'''

header = ('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36')

#@伪装浏览器

opener = urllib.request.build_opener()

opener.addheaders = [header]

#将伪装浏览器设为全局，这样在后续对网页的访问就可以直接使用urlopen

urllib.request.install_opener(opener)

获取网页的内容

def Get_page(url,num):

'''@获取网页内容'''

try:

#获取网页的内容，并使用BeautifulSoup解析以便后面的信息提取

page = urllib.request.urlopen(url).read()

soup = BeautifulSoup(page, 'lxml')

print('--------第%d页抓取成功--------'%num)

return soup

except urllib.request.URLError as e:

if hasattr(e,'code'):

print('错误原因：',e.code)

if hasattr(e,'reason'):

print('错误原因：',e.reason)

提取网页中的信息

这里我们使用python3中BeautifulSoup4模块对网页中的信息进行提取。由于要提取的信息都是以‘|‘或’‘/’相互连接在一起，所以提取的时候需要对信息进行相应的分割。

def Get_House_info(page):

'''@提取网页中的房子信息，并把信息以DataFrame的形式返回'''

item = {}

item['house_name'] = [i.get_text().strip().split('|')[0] for i in page.select('div[class="houseInfo"]')] # 房名

item['house_type'] = [i.get_text().strip().split('|')[1] for i in page.select('div[class="houseInfo"]')] #户型

item['house_area'] = [i.get_text().strip().split('|')[2] for i in page.select('div[class="houseInfo"]')] #面积

item['house_interest'] = [i.get_text().strip().split('/')[0] for i in page.select('div[class="followInfo"]')] #关注人数

item['house_see'] = [i.get_text().strip().split('/')[1] for i in page.select('div[class="followInfo"]')] #带看人数

item['house_issuedate'] = [i.get_text().strip().split('/')[2] for i in page.select('div[class="followInfo"]')] #发布时间

item['house_price'] = [i.get_text().strip() for i in page.select('div[class="totalPrice"] span')] #房价

item['house_unit_price'] = [i.get_text().strip() for i in page.select('div[class="unitPrice"] span')] #单位价格

return pd.DataFrame(item)

将各个模块进行组装，然后对二手房信息进行爬取

def main():

'''@主函数'''

filename = 'E:/py3_project/GZlian_jia_analysis/house_data.csv'

Disguise()

house_data = []

#二手房网页总共只有100页，这里可以使用一个for循环对网址进行更新

for pg in range(1,101):

lianjia_url = 'http://gz.lianjia.com/ershoufang/pg' + str(pg) +'/'

page = Get_page(lianjia_url,pg)

if len(page) > 0:

house_info = Get_House_info(page)

#把每一页提取到的信息都存在一个list里面

house_data.append(house_info)

#对list里的DataFrame进行纵向拼接

data = pd.concat(house_data, ignore_index = True)

#将信息保存到CSV文件中

data.to_csv(filename, encoding = 'gbk', index = False)

print('------写入完毕------')

if __name__ == '__main__':

main()

部分爬取的内容

数据分析

导入储存信息的文件

import pandas as pd

import os

import house_spider

import matplotlib.pyplot as plt

from sklearn.cluster import KMeans

def check_file(filename):

'''@检查文件是否存在，不存在则运行爬虫程序获得数据'''

if os.path.exists(filename):

print('------数据文件已存在------')

house_data = pd.read_csv(filename, encoding = 'gbk', sep = ',')

return house_data

else:

print('------文件不存在，运行爬虫程序对信息进行爬取------')

house_spider.main()

house_data = pd.read_csv(filename, encoding = 'gbk', sep= ',')

return house_data

查看数据集的基本信息

def data_info(data_set):

'''@查看数据集的基本信息'''

print('-----数据集基本信息-----')

data_set.info()

print('-----预览数据-----\n',data_set.head())

数据集基本信息

预览数据

有上述的部分数据可知，有一些需要的数据是包含在字符串中，所以需要对字符串进行切分。

将数据从字符串提取出来

def data_adj(area_data, str):

'''@将字符串转换成数字'''

if str in area_data :

return float(area_data[0 : area_data.find(str)])

else :

return None

对处理好的数据进行分析

def main():

'''主函数'''

filename = 'E:/py3_project/GZlian_jia_analysis/house_data.csv'

#查看数据文件是否存在

house_data = check_file(filename)

#查看数据基本信息

data_info(house_data)

#将数据从字符串提取出来

house_data['area_adj'] = house_data['house_area'].apply(data_adj,str = '平米')

house_data['interest_adj'] = house_data['house_interest'].apply(data_adj,str = '人')

#画图时显示中文和负号

plt.rcParams['font.sans-serif'] = ['SimHei']

plt.rcParams['axes.unicode_minus'] = False```

###户型和关注人数分析

```python

'''户型和关注人数分布'''

fig, ax1 = plt.subplots(1,1)

type_interest_group = house_data['interest_adj'].groupby(house_data['house_type']).agg([('户型', 'count'), ('关注人数', 'sum')])

#取户型>50的数据进行可视化

ti_sort = type_interest_group[type_interest_group['户型'] > 50].sort_values(by='户型')

ti_sort.plot(kind='barh', alpha=0.7, grid=True, ax=ax1)

plt.title('二手房户型和关注人数分布')

plt.ylabel('户型')

plt.show() ```


由上图可以知道，广州二手房户型都集中在3室2厅、2室1厅和2室2厅，而且它们的关注人数也是最多的。其中可以看到2室1厅虽然数量比3室2厅少，但是关注人数却比3室2厅多。

###二手房面积分析

```python

'''面积分布'''

fig,ax2 = plt.subplots(1,1)

area_level = [0, 50, 100, 150, 200, 250, 300, 500]

label_level = ['小于50', '50-100', '100-150', '150-200', '200-250', '250-300', '300-350']

area_cut = pd.cut(house_data['area_adj'], area_level, labels=label_level)

area_cut.value_counts().plot(kind='bar', rot=30, alpha=0.4, grid=True, fontsize='small', ax=ax2)

plt.title('二手房面积分布')

plt.xlabel('面积')

plt.legend(['数量'])

plt.show() ```


从二手房的面积分布可以知道，广州二手房面积在50平米-100平米的占比最大。

###聚类分析

对二手房价格、关注人数、面积进行Kmeans聚类

```'''聚类分析'''

print('-----开始聚类分析-----')

# 缺失值处理:直接将缺失值去掉

cluster_data = house_data[['interest_adj','area_adj','house_price']].dropna()

#将簇数设为3

K_model = KMeans(n_clusters=3)

alg = K_model.fit(cluster_data)

print('------聚类中心------')

center = pd.DataFrame(alg.cluster_centers_, columns=['关注人数','面积','房价'])

cluster_data['label'] = alg.labels_ print(center)

if __name__ == '__main__':

main()

聚类中心

聚类中心

从聚类中心的结果可知，可以将二手房从房价、关注人数、面积三方面分为3类，分别为

| 类别 | 关注人数 | 面积 |房价|

| : -------- | :-----: | :----: | :----: |

| 1 | 高 | 低 | 低|

| 2 | 中 | 中 | 中|

| 3 | 低 | 高 | 高|

由上述整理结果可以知道，广州二手房面积低(75平米)、房价低(155万)的房源关注人数最高。从侧面也可以推断广州二手房的房价水平大多集中在155万上下。

所以从营销和用户体验的角度来看，网站应该在广告和列表页的默认排序中应该给予总价155万，面积75属性的二手房源更高的权重。这个类别的房源可以吸引最多的用户关注。