在上一篇文章我们已经完成数据的采集，并将数据存储在mysql，现在我们来继续后面的数据分析工作，先放出项目流程：

0.主要流程

0.数据采集

0. 目标网址获取

1. 爬虫框架选用

注：了解这一步请登录https://www.jianshu.com/p/2b015d289083

或http://blog.csdn.net/weixin_41716128/article/details/79306923

1.数据处理

由于某种原因上一篇采集的960条记录不小心给我删除了--_--(而且没有备份)

因此我重新再采集了一次，并且这次只采集只有有追加评论的订单。如图：

对比一下抓取的数据与网页基本一致。

0. 数据存储

数据库是mysql5.7版本，配置与安装数据库这里就不介绍了，度娘很多教材呢！

1. 数据清洗

好了进入正题，我们开始整理数据。初步观察数据是比较完整的，没有什么缺失值。但是要专业分析sql代码还是需要敲下！如下：

select id from iphonex where 当天评论 is NULL or 追加评论 is NULL;

#选择评论为空的id

update iphonex set 当天评论=replace(当天评论,'此用户没有填写评论!','0');

#消除 ’此用户没有填写评论!’ 的字符值

update iphonex set 当天评论=replace(当天评论,',','，');

update iphonex set 追加评论=replace(追加评论,',','，');

#把英文的逗号改为中文格式，方便以后导出csv格式

update iphonex set 机身颜色=机型;

update iphonex set 存储容量=机型;

update iphonex set 机身颜色=replace(机身颜色,'网络类型:无需合约版;机身颜色:','');

update iphonex set 机身颜色=replace(机身颜色,';存储容量:256GB','');

update iphonex set 机身颜色=replace(机身颜色,';存储容量:64GB','');

update iphonex set 存储容量=replace(存储容量,'网络类型:无需合约版;机身颜色:银色;存储容量:','');

update iphonex set 存储容量=replace(存储容量,'网络类型:无需合约版;机身颜色:深空灰色;存储容量:','');

update iphonex set 存储容量=replace(存储容量,'GB','');#去除多余信息

这里需要注意的是先用图形工具MySQL-Front添加2个字段

update iphonex set 当天评论=replace(当天评论,',','，');

update iphonex set 追加评论=replace(追加评论,',','，');

注意一下这2条代码，原值与修改值分别英文和中文的逗号，将文件存为csv必须要注意的问题。(当然你也可以选择空格或者制表符，那么就要将多余空格和制表符替换掉)运行代码后，再修改存储容量的属性为int型

结果如图：

2. 数据初步分析

导出数据：

数据格式为csv，以英文逗号为分隔值。再用数据分析图形工具spss打开数据(当然你也可以选择excel)

如图：

spss配置与安装？请问度娘。

好了一切准备好了showtime！！！！！！

订单完成交易时间与计数关系图：

初步分析可以发现销量最高的2天为11月30 与12月16，这个比较符合现实规律销量最高的都在双11与双12之间(快递一般最迟7天？)。

机型与计数饼图：

机身颜色与计数图：

灰色比较受欢迎哦！！！

这个有点惊讶64和256差不多，但是感觉256多点呢有木有？

当天就追加评论的人数较多。评论可靠度算是一般般。因为很多人没有体验太多就评论了。

突然发现忽视了一个重要的问题----------价格。因为64GB和256GB的价格是不一样的，因此第一个图只能证明销量而无法表示销售金额。若要分析销售金额，需要再对数据进行一些处理。需要作变量替换即64GB=8388元，256GB=9688元再分析。(这里就不展开了！！)

好了初步分析做到这里了，当然其实还有许多隐藏的有用信息，要将这些挖掘出来需要大家不断积累经验了！！数据挖掘要放到下一篇文章做了！下面介绍下上篇文章爬虫提到的天猫securitymatrix技术

2.数据挖掘

0. 文本挖掘

1. 用户情感分析

1.难点说明

0.关于天猫securitymatrix技术

关于securitymatrix先上某博主对securitymatrix的介绍:

安全矩阵(Security Matrix)是专业从事信息安全产品与服务、应用数学技术与密码技术的技术与学术研究组织，聚集了一批优秀的专业人才，致力于数学技术、密码技术、信息安全技术研究和相关软件产品研发，在国内信息安全领域独树一帜。目前，安全矩阵以专业的安全服务为核心，开发出包括商用加密系统及其相关产品、反黄系统、多款安全WEB信息系统、个人反木马套装在内的多款产品，并在安全评估、内容安全、接入安全、Web安全、密码技术、软件保护技术等研究领域中取得多项科研技术成果。诚信、协作与创新是我们价值观中最重要的部份。在我们的研究、开发、服务过程中，在我们与客户及国内外信息安全研究团队学习、交流过程中，我们都坚持这些原则，并且坚信通过我们专业的产品与服务，能够为社会创造高价值。参考网址：http://www.smatrix.org/

一大堆概念？好像天书？这个与爬虫有什么关系？总结一下吧！天猫这个系统其实对爬虫有有一定限制(其他限制爬虫方式还有许多如js封装，登陆验证，验证码，封ip。。。。)，比如：重定向(是什么?度娘)。天猫相对于京东，爬取难度就高很多了。因此要更深入的爬取天猫还要做很多的突破！！！！所以希望大家能多交流分享经验！

换一个角度想想，其实我们快速且大量地(分布式)爬取天猫的数据时。对天猫是有一定影响的，天猫不但有可能泄漏了一些重要信息，而且会加大天猫服务器的负担的。(爬虫侵权的例子不少：eBay起诉Bidder's Edge)我们要遵守法规，适度爬虫呀！！！！！(对于我这个新手这好像是梦话哈哈哈哈)

最后引用Ryan Mitchell的话：时间就是一切，请限制你的爬虫，time.sleep(3)。

注：要获取标准的代码格式请访问：csdn微博

1.关于机器学习

好了写那么多赞赏或关注下吧