1.数据获取

由于手机的价格以及评论数是需要经过javascript渲染的动态信息，单纯用requests模块是爬取不到的。解决方案是首先使用selenium的webbrowser模块使用本地Chrome浏览器爬取每一款手机在京东的内部id，价格，以及评论数。然后再根据爬取到的id找到每款手机的销售页面，爬取每款手机的关键参数。

由于爬虫需要调用浏览器，因此在线上环境中无法运行。爬虫的代码放在了'python'文件夹的parsing_code.ipynb文件中。

下面是第一步爬取手机id,价格，评论数的代码。其他chrome_driver需要自己根据浏览器版本进行下载，网上教程https://www.jb51.net/article/162903.htm

chrome_driver = 'C:/Users/darren/Desktop/python_exercise/bags/chromedriver.exe'

browser = webdriver.Chrome(executable_path= chrome_driver)

phone_list=[]

for i in range(23):

browser.get("https://list.jd.com/list.html?cat=9987,653,655&page={}".format(i+1))

wait = WebDriverWait(browser, 4)

page=html.fromstring(browser.page_source)

for each in page.xpath("//div[@class='gl-i-wrap j-sku-item']"):

print('.',end='')

phone_id=each.xpath("./@data-sku")[-1]

price=each.xpath(".//div[@class='p-price']/strong[1]/i/text()")[-1]

comments=each.xpath(".//a[@class='comment']/text()")[-1]

phone_list.append(list((phone_id,price,comments)))

browser.close()

to_save=pd.DataFrame(phone_list)

to_save.to_csv('../data/phone_list.csv')

然后第二步的爬取，因为原代码爬取RAM和ROM的已经不能用了，1000+手机只能爬取到几十个数据(京东修改成机身存储和运行内存)，所以自己新增了这两段爬取。同时前后的主摄像素也是相同的问题

list_temp=page.xpath("//dl[@class='clearfix'][./dt[text()='机身存储']]/dd/text()")

list_temp.insert(0,np.nan)

dic_temp['机身存储ROM']=list_temp[-1]

list_temp=page.xpath("//dl[@class='clearfix'][./dt[text()='运行内存']]/dd/text()")

list_temp.insert(0,np.nan)

dic_temp['运行内存RAM']=list_temp[-1]

list_temp=page.xpath("//dl[@class='clearfix'][./dt[text()='前摄的主摄像素']]/dd/text()")

list_temp.insert(0,np.nan)

dic_temp['front camera']=list_temp[-1]

list_temp=page.xpath("//dl[@class='clearfix'][./dt[text()='摄像头数量']]/dd/text()")

list_temp.insert(0,np.nan)

dic_temp['rear camera']=list_temp[-1]

list_temp=page.xpath("//dl[@class='clearfix'][./dt[text()='后摄的主摄像素']]/dd/text()")

list_temp.insert(0,np.nan)

dic_temp['rear camera specs']=list_temp[-1]

2.数据清洗

代码在'python'文件夹的data_clean.ipynb文件中。

获取到的数据包含1370行，23(21+2)列，每一行代表一款正在销售的手机，每一列包含关于手机的一项参数(比如价格，内存大小，像素，等等)。

获取到的数据大多为自然语言，非数值信息，对于分析十分不友好。所以数据分析的重点在于，找到实际上的缺失信息(如‘无’，‘参考官方数据’等都可认为是缺失数据NaN)，使用re模块解析自然语言，提取其中有用的数值信息。

自己根据新增的无意义数据，增加了一行replace

#将无意义的数据定义为nan

data=data.replace('其它存储',np.nan).replace('无前置摄像头',np.nan).replace('无后置摄像头',np.nan)

然后，因为之前提到原先的RAM，ROM爬取代码，只能爬取到几十个数据，所以自己新增2列数：‘机身存储ROM’，'运行内存RAM'，分别获得了637和579个数据。接着把‘RAM’和'‘ROM’缺失的值用新增的两列替换。

data['机身存储ROM']=data['机身存储ROM'].apply(clean_ROM)

data['运行内存RAM']=data['运行内存RAM'].apply(clean_RAM)

data['RAM'].fillna(data['运行内存RAM'], inplace=True)

data['ROM'].fillna(data['机身存储ROM'], inplace=True)

得到了

RAM 630 non-null float64

ROM 704 non-null float64

最后保存到csv，现在所有的数据都已经清洗完毕。进行下一步，数据分析

data.to_csv('../data/cleaned_data.csv')

3.数据分析

原作者使用python进行数据分析，但是笔者最近迷上用python进行数据预处理再用tableau进行分析。所以这里展示的是用tableau绘制的图。

3.1 主要手机厂商销售量对比

首先对主要手机厂商的销售量进行对比，用到扇形图。因为无法获得实际销售数量，这里使用商品评论数。可以发现根据京东数据，所有数据中销售量前7的是：苹果，华为，小米，Philips,Vivo,OPPO,诺基亚。本数据集包括从2015年到2019年9月之前上市的手机。

同时这里出乎意料的发现，Philips和诺基亚的手机销售额竟然还不低。后面根据两机的价格，发现这两种手机主要以功能机销售为主。

这里笔者又对比了2018年上市的各大厂商手机销售额。发现，苹果手机的销量大大减少。可见近几年国产手机的崛起之势。其中小米和华为的线上销售额增幅最大。

但是发现实际销售数据，VIVO,OPPO的销售量居第二第三。所以线下市场还是不容忽视的。

3.2 各大手机产商手机销售价格对比

发现和实际情况还是比较符合的。肾机一骑绝尘，三星出了爆炸门，加上zz公关后，基本上中国市场见不到了，所以只投放高端机在中国。第三就是华为了，中高端Mate，p系列，低端荣耀。总的来说，国内厂商除了华为，主要还是集中于中低端市场，价位在1000-3000不等。

3.3 价格,销售额和年月的关系

首先是价格,销售量和月份的关系。可以发现9月价格最高，销售量也最高，价格达到了5233.9元。结合实际情况的话，主要是因为苹果手机，华为mate集中在9月份上市。然后在3-5月也是有一波小高潮。这里的话，也是小米手机和华为P，荣耀系列发布的主要发布时间。

同时对主要几个厂商的手机销售价格逐年分析(做项目时9月新机还未发布)，这边的话主要得出结果是苹果手机保值率还是偏高。

3.4 主要厂商价格段对比

探究了各大产商的手机价格分布。目前高端机型还是以苹果为主，华为也占有一定的市场。Oppo，Vivo也有部分4000+的产品，但是销量都不怎么样，O,V线下也主要以中低端机型为主。小米主要还是中低端市场，可以看到有几款爆款，销量可以达到1500K。

3.5 价格影响因素

这里主要想探究一下手机价格主要受产品哪些因素的影响。所以用seaborn的hotmap绘制了热力图。(emm，绘制出来，上下都会出现图的缺失，如果有朋友知道原因，可以评论，感激不尽)

通过观察，可以得出价格受各大因素的影响主要为：front camera-0.69,RAM-0.55,month-0.44,ROM-0.38,resolution-0.38,screen size-0.13,battery-0.11,weight-(-0.1)。

4.总结

这是笔者第一次发文，主要也是想总结一下整个项目的过程，如果有不足之处，也请指教。原作者还对手机价格进行预测，但是比较简单，所以就不复现了。

目前还是在读研究生，本硕都是供应链方向(工业工程，物流),以后也想往供应链优化，需求预测，数据分析方向发展。如果有相同职业发展规划的朋友，可以互相探讨。~