亚马逊Movers Shakers榜单获取

今天还是亚马逊。突然发现亚马逊深挖还是有很多东西可以水的。
        movers and shakers 在英语语境里指的是有权势的人。
        但是在亚马逊商城中，这个榜单就是过去的24小时中销量最高的产品榜单，而且每小时更新。我称之为是亚马逊的销售势力排行。
        从这个排行榜中的数据，能分析什么商品时下最热门，甚至能找到一点点未来市场走向的蛛丝马迹。（我瞎编的）
虽然不是市场从业人员，但是把这些数据收集起来，做一个数据分析，还是有一点点必要的。

一、榜单分类获取

亚马逊的销售榜连接：/gp/movers-and-shakers/
首先进入网站，网站的左侧就是目前已知的所有分类了：

这些分类可以通过简单的get请求获取，直接上代码：

testUrl = "https://www.amazon.com/gp/movers-and-shakers"
headers = {"authority":"www.amazon.com","accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","user-agent":f"{UserAgent}",
}
res = requests.get(testUrl, headers=headers)
content = res.content.decode("utf-8")
sel = Selector(text=content)
nodes = sel.xpath("//div[@role='treeitem']")
for node in nodes:print(node.css("a::attr(href)").extract_first())

获取到链接之后，进行下一步的操作。

二、获取详细的排名信息

这里以电子产品的分区举例，打开网页，当你查看元素的时候你会发现：

好像有json数据来存储信息，来获取一下：

testUrl = "https://www.amazon.com/gp/movers-and-shakers/electronics/ref=zg_bsms_nav_0"
headers = {"authority":"www.amazon.com","accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","user-agent":f"{UserAgent}",
}
res = requests.get(testUrl, headers=headers, proxies=proxies,verify=False)
content = res.content.decode("utf-8")
sel = Selector(text=content)
nodes = sel.css(".p13n-desktop-grid::attr(data-client-recs-list)").extract_first()
nodes = eval(nodes)
for node in nodes:print(node)

如图所示：在这些json中，包含了各种的排名，还有商品的id，可以根据id获取商品信息并且结合rank排名来进行具体的商品热榜分析。

我这里使用的是ipidea的代理，因为亚马逊在国内还是无法正常访问的，好的代理能帮助你更好的获取数据，高质量低延迟，而且新用户可以白嫖哦！http://www.ipidea.net/?utm-source=csdn&utm-keyword=?wb

如果有时间的话，我会做一个数据分析的文章，敬请期待。