python 图片识别服装_Python爬取某东羽绒服数据,用可视化帮你挑选心仪的衣服...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
以下文章附带菜J学Python ,作者J哥
刚接触Python的新手、小白,可以复制下面的链接去免费观看Python的基础入门教学视频
https://v.douyu.com/author/y6AZ4jn9jwKW
前言
前就在上,广深的朋友估计还穿着短袖羡慕着北方的下雪气氛。结果就在上周,广深也迎来了降温,大家纷纷加入“降温群聊”。
为了帮助大家抵抗御严寒,我特地爬了下京东的羽绒服数据。为啥不是天猫呢,理由很简单,滑块验证有点麻烦。
数据获取
京东网站是一个ajax动态加载的网站,只能通过解析接口或使用硒自动化测试工具去爬取。关于动态网页爬虫,本公众号历史原创文章介绍过,感兴趣的朋友可以去了解一下。
本次数据获取采用硒,由于我的谷歌浏览器版本更新较快,导致原来的谷歌驱动程序中断。于是,我替换了浏览器自动更新,并下载了对应版本的驱动。
接着,利用硒在京东网搜索羽绒服,手机扫码登录,获得了羽绒服的商品名称,商品价格,店铺名称,评论人数等信息。
from selenium importwebdriverfrom selenium.webdriver.support importexpected_conditions as ECfrom selenium.webdriver.common.by importByfrom selenium.webdriver.support.ui importWebDriverWaitfrom lxml importetreeimportrandomimportjsonimportcsvimporttime
browser= webdriver.Chrome('/菜J学Python/京东/chromedriver')
wait=WebDriverWait(browser,50) #设置等待时间
url = 'https://www.jd.com/'data_list= [] #设置全局变量用来存储数据
keyword ="羽绒服"#关键词
defpage_click(page_number):try:#滑动到底部
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(random.randint(1, 3)) #随机延迟
button =wait.until(
EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_bottomPage > span.p-num > a.pn-next > em'))
)#翻页按钮
button.click()#点击按钮
wait.until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR,"#J_goodsList > ul > li:nth-child(30)"))
)#等到30个商品都加载出来
#滑到底部,加载出后30个商品
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
wait.until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR,"#J_goodsList > ul > li:nth-child(60)"))
)#等到60个商品都加载出来
wait.until(
EC.text_to_be_present_in_element((By.CSS_SELECTOR,"#J_bottomPage > span.p-num > a.curr"), str(page_number))
)#判断翻页成功,高亮的按钮数字与设置的页码一样
html = browser.page_source#获取网页信息
prase_html(html)#调用提取数据的函数
exceptTimeoutError:return page_click(page_number)
数据清洗
导入数据
importpandas as pdimportnumpy as np
df= pd.read_csv("/菜J学Python/京东/羽绒服.csv")
df.sample(10)
重命名列
df = df.rename(columns={'title':'商品名称','price':'商品价格','shop_name':'店铺名称','comment':'评论人数'})
查看数据信息
df.info()'''1.可能存在重复值
2.商店名称存在缺失值
3.评价人数需要清洗'''
RangeIndex:4950 entries, 0 to 4949Data columns (total4columns):#Column Non-Null Count Dtype
--- ------ -------------- -----0 商品名称4950 non-null object1 商品价格 4950 non-null float642 店铺名称 4949 non-null object3 评论人数 4950 non-null object
dtypes: float64(1), object(3)
memory usage:154.8+ KB
删除重复数据
df = df.drop_duplicates()
缺失值处理
df["店铺名称"] = df["店铺名称"].fillna("无名氏")
商品名称清洗
厚度
tmp=[]for i in df["商品名称"]:if"厚"ini:
tmp.append("厚款")elif"薄"ini:
tmp.append("薄款")else:
tmp.append("其他")
df['厚度'] = tmp
版型
for i in df["商品名称"]:if"修身"ini:
tmp.append("修身型")elif"宽松"ini:
tmp.append("宽松型")else:
tmp.append("其他")
df['版型'] = tmp
风格
tmp=[]for i in df["商品名称"]:if"韩"ini:
tmp.append("韩版")elif"商务"ini:
tmp.append("商务风")elif"休闲"ini:
tmp.append("休闲风")elif"简约"ini:
tmp.append("简约风")else:
tmp.append("其他")
df['风格'] = tmp
商品价格清洗
df["价格区间"] = pd.cut(df["商品价格"],[0, 100,300, 500, 700, 1000,1000000],labels=['100元以下','100元-300元','300元-500元','500元-700元','700元-1000元','1000元以上'],right=False)
评价人数清洗
importre
df['数字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['评论人数']] #提取数字
df['数字'] = df['数字'].astype('float') #转化数值型
df['单位'] = [''.join(re.findall(r'(万)', i)) for i in df['评论人数']] #提取单位(万)
df['单位'] = df['单位'].apply(lambda x:10000if x=='万'else1)
df['评论人数'] = df['数字'] * df['单位'] #计算评论人数
df['评论人数'] = df['评论人数'].astype("int")
df.drop(['数字', '单位'], axis=1, inplace=True)
店铺名称清洗
df["店铺类型"] = df["店铺名称"].str[-3:]
可视化
引入可视化相关库
importmatplotlib.pyplot as pltimportseaborn as sns%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei'] #设置加载的字体名
plt.rcParams['axes.unicode_minus'] = False#解决保存图像是负号'-'显示为方块的问题
importjiebaimportrefrom pyecharts.charts import *
from pyecharts importoptions as optsfrom pyecharts.globals importThemeTypeimportstylecloudfrom IPython.display import Image
描述性统计
相关性分析
商品价格分布直方图
sns.set_style('white')
fig,axes=plt.subplots(figsize=(15,8))
sns.distplot(df["商品价格"],color="salmon",bins=10)
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)
axes.set_title("商品价格分布直方图")
评论人数分布直方图
sns.set_style('white')
fig,axes=plt.subplots(figsize=(15,8))
sns.distplot(df["评论人数"],color="green",bins=10,rug=True)
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)
axes.set_title("评论人数分布直方图")
评论人数与商品价格的关系
fig,axes=plt.subplots(figsize=(15,8))
sns.regplot(x='评论人数',y='商品价格',data=df,color='orange',marker='*')
plt.xticks(fontsize=16)
plt.yticks(fontsize=16)
羽绒服价格分布
df2 = df["价格区间"].astype("str").value_counts()print(df2)
df2= df2.sort_values(ascending=False)
regions=df2.index.to_list()
values=df2.to_list()
c=(
Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add("", list(zip(regions,values)))
.set_global_opts(legend_opts= opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="羽绒服价格区间分布",subtitle="数据来源:腾讯视频\n制图:菜J学Python",pos_top="0.5%",pos_left = 'left'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=14))
)
c.render_notebook()
评论人数top10店铺
df5 = df.groupby('店铺名称')['评论人数'].mean()
df5= df5.sort_values(ascending=True)
df5= df5.tail(10)print(df5.index.to_list())print(df5.to_list())
c=(
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1100px",height="600px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="评论人数TOP10",subtitle="数据来源:京东 \t制图:J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
版型
df5 = df.groupby('版型')['商品价格'].mean()
df5= df5.sort_values(ascending=True)[:2]#df5 = df5.tail(10)
df5 = df5.round(2)print(df5.index.to_list())print(df5.to_list())
c=(
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="各版型羽绒服均价",subtitle="数据来源:中原地产 \t制图:J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
厚度
df5 = df.groupby('厚度')['商品价格'].mean()
df5= df5.sort_values(ascending=True)[:2]#df5 = df5.tail(10)
df5 = df5.round(2)print(df5.index.to_list())print(df5.to_list())
c=(
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="各厚度羽绒服均价",subtitle="数据来源:京东 \t制图:J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
风格
df5 = df.groupby('风格')['商品价格'].mean()
df5= df5.sort_values(ascending=True)[:4]#df5 = df5.tail(10)
df5 = df5.round(2)print(df5.index.to_list())print(df5.to_list())
c=(
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
.add_xaxis(df5.index.to_list())
.add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
.set_global_opts(title_opts=opts.TitleOpts(title="各风格羽绒服均价",subtitle="数据来源:京东 \t制图:J哥",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
#yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
羽绒服词云图
python 图片识别服装_Python爬取某东羽绒服数据,用可视化帮你挑选心仪的衣服...相关推荐
- python获取虎牙弹幕_python爬取虎牙弹幕礼物数据
python爬取虎牙弹幕礼物数据 查看官方文档 找到弹幕传输的方式 生成websocket对应的参数 第一步: 第二步: 调通websocket 建立链接 获取数据和保持心跳 附上完整代码 注: 查看 ...
- python历史净值分析_Python 爬取基金历史净值数据
# -*- coding: utf-8 -*- """ * DataSource : 天天基金网 (http://fund.eastmoney.com/161005.ht ...
- python 阴阳师 识别图像_Python爬取阴阳师式神全图鉴图片
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 基本环境配置 python 3.6 pycharm requests 目标网页 经过一些系列 ...
- python 图片识别服装_Python与服装图像1
1. 相机畸变原因 解析:径向畸变(进大远小):切向畸变(透镜与成像平面不平行). 2. 单反相机 解析:单反数码相机指的是单镜头反光数码相机,即Digital(数码).Single(单独).Lens ...
- python 图片识别服装_Python与服装图像3
1. cv2.imread参数 解析: (1)cv2.IMREAD_COLOR:读入一副彩色图像,图像的透明度会被忽略,这是默认参数. (2)cv2.IMREAD_GRAYSCALE:以灰度模式读入图 ...
- python爬斗鱼直播数据图片_Python爬取2000万直播数据——看20万游戏主播能否月入100万...
原标题:Python爬取2000万直播数据--看20万游戏主播能否月入100万 她那时候还太年轻,不知道命运赠送的礼物,早已暗中标好了价格. --茨威格 社会在发展,时代在进步.伴随着未曾停息的拥护声 ...
- python获取天气分析_Python爬取南京市往年天气预报,使用pyecharts进行分析
上一次分享了使用matplotlib对爬取的豆瓣书籍排行榜进行分析,但是发现python本身自带的这个绘图分析库还是有一些局限,绘图不够美观等,在网上搜索了一波,发现现在有很多的支持python的绘图 ...
- python唯美壁纸_Python爬取5K分辨率超清唯美壁纸
转载: 简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现 ...
- python爬取的信息条数比页面显示多_Python爬取分析北京二手房数据?数据结果真的太吓人了...
有个朋友联系我,想统计一下北京二手房的相关的数据,而自己用Excel统计工作量太过于繁杂,问我用Python该如何实现. 构造要访问的URL 这里,我试着抓取北京海淀区二手房的相关数据.首先,是观察一 ...
最新文章
- B+树与LSM树的区别与联系
- 举例说明层次分析的三大原则_一起来复习下陈印老师关于多选题做题思路的分析...
- 数学--数论--HDU1222 狼和兔子(最大公约数)
- div css网页设计源代码_HTML+CSS网页设计,企业网站服务项目布局样式
- SDCMS 1.1sp1的XSS漏洞的挖掘与利用
- 3号团队-团队任务5:项目总结会
- C语言字符串函数(strcpy,strlen,strcat,stsstr,strchr,strcmp,memcpy,memmove)
- 检查pandas是否存在一列或者多列
- JS UUID生成(唯一ID生成)
- 数据库基本操作和常用命令
- 数据库sql语句日期查询
- 计算机硬盘模式,硬盘三种模式的含义-电脑自学网
- Fuchsia Friday:一切皆实体
- VMware软件安装与完全卸载
- h264基础知识梳理
- Python3使用tomorrow异步
- Q平台Audio集成开发 高通Audio术语缩写
- 讲一个老王与客户、供应商的故事
- CISP考试大纲/范围
- 探索真实事物的虚拟再现——微软亚洲研究院SIGGRAPH Asia 2014精彩入选论文赏析