京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据（完整文件链接在文章最后）

1.简单说明

京东，淘宝，苏宁，亚马逊中国抓取数据，存储到database 并进行分析

2.抓取的DIC

 the_basic_info = {'search_keyword': self.keyword,  "使用的keyword"'last_crawling_timestamp': datetime.now(),    "当前抓取时间"'platform': 'JD',   "抓取平台"'product_name': product_name,    "产品名称"'seller_name': seller_name,   "商家名称"'sku_id': _data_pid,    "产品Id"'default_price': float(final_price),   "最终价格"'final_price': 0,'item_url': _http,  "商品网页地址"'comments_ave_score': float(score_avg),    "商品评分"'comments_count': comment_count,    "商品评论数量"'images': img,    "商品图片地址"'current_stock': location_list,   "商品存储地址"'search_rank': rank,    "在当前搜索索引下的排名"'search_order': order,   "当前索引（按销量，价格，热度等）"'seller_url': seller_url,   "商家网页地址"'comments_list': comment_list    "具体评论，支持抓取100条评论"}

一个例子：

Product_name 戴尔灵越游匣15PR-6748B 15.6英寸游戏笔记本电脑(i7-7700HQ 8G 128GSSD+1T GTX1050 4G独显 IPS)黑
last_crawling_timestamp 2017-12-28 20:20:09.684290
seller_name 戴尔京东自营旗舰店
sku_id 4824733
default_price 6599.0
item_url 【戴尔灵越游匣15PR-6748B】戴尔DELL灵越游匣15.6英寸游戏笔记本电脑(i7-7700HQ 8G 128GSSD+1T GTX1050 4G独显 IPS 散热快)黑【行情报价价格评测】-京东
comments_count 72000
comments_ave_score 5.0
images ['http://img13.360buyimg.com/n7/jfs/t12472/179/736139380/319777/f266f597/5a128bf6N079a87ba.jpg']
search_rank 1
seller_url 戴尔京东自营官方旗舰店 - 京东
comments_list [{'content_score': 5, 'content_time': '2017-12-05 18:54:31', 'content_title': None, 'content': '用了将近一个月了，说说体验如何。11月9号凌晨买的，当天下午就到了。包装精简，京东袋子里就是戴尔的盒子。电脑颜值高，A面类肤质，后面散热口非常帅。电脑不轻薄，因为做工的好的原因有点厚重，不过这样才有点游戏本的意思。宿舍里还有台暗影精灵2pro和R720，相比2pro键盘敲打起来挺有弹性，但是背光没有其他两台亮。个人感觉键盘触感最好的还是R720，而且按键大一些。说说R720和2PRO跟游匣无法比拟的，那就是低音炮，音质非常好，三个室友都夸赞羡慕游匣的音质。所以我的电脑也成了我们宿舍的音响。。。屏幕呢是ips45色域的。对于以前一直用的是TN屏的我感觉这电脑屏幕相当好了。再说说性能，其实性能是最不用说的，配置都摆在那里，鲁大师跑分将近一万八，1050ti能够应付大多数大型单机游戏了，吃鸡中画质可以流畅运行。运行大型游戏时风扇会全力运作，声音稍微有点响（散热好和噪音小不可兼得），我更注重散热所以风扇声大点无所谓，听着还挺带劲的。固态(不是nvme协议)和机械硬盘都比较差，开机十秒左右。总结下吧。优点:1.颜值高2.散热好3.做工精良4.配置低音炮缺点:1.低端ips屏2.略厚重3.硬盘差'}]

3.测试？

if __name__ == "__main__":j = JDMonitoringEngine()j.set_searching_url(_keyword="dell", _page_limit=1, _order=["sales"])url_list = j.url_listfor _index, url_dict in enumerate(url_list):logger.info("Sending {0}/{1} url dict to basic info extraction".format((_index + 1), len(url_list)))results = list(map(lambda x: j.get_basic_info(x), url_dict))

将jd_monitoring_engine main 方法里面的_keyword,_page_limit,_order
改成你想测试的例子。三个参数分别是关键字,搜索页数和搜索索引

链接：https://pan.baidu.com/s/1KWR5gGBZonPf1FF5U5WMeg
提取码：m5ix