python爬虫当当网图书信息_利用python爬虫可视化分析当当网的图书数据！
导语
这周末就分享个小爬虫吧。利用Python爬取并简单地可视化分析当当网的图书数据。
img
开发工具
Python版本：3.6.4
相关模块：
requests模块；
bs4模块；
wordcloud模块；
jieba模块；
pillow模块；
pyecharts模块；
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
数据爬取
任务：
根据给定的关键字，爬取与该关键字相关的所有图书数据。
实现：
以关键字为python为例，我们要爬取的图书数据的网页页面是这样子的：
img
其中，网页的链接格式为：
http://search.dangdang.com/?key={keyword}&act=input&page_index={page_index}'
因此请求所有与关键词相关的链接：
img
然后利用BeautifulSoup分别解析返回的网页数据，提取我们自己需要的数据即可：
img
运行效果：
在cmd窗口运行"ddSpider.py"文件即可。
效果如下：
img
数据分析
好的，现在就简单地可视化分析一波我们爬取到的61页python相关的图书数据吧~
让我们先看看图书的价格分布吧：
img
有没有人想知道最贵的一本python相关的书的单价是多少呀？答案是：28390RMB
书名是：
Python in Computers Programming
QAQ买不起买不起。
再来看看图书的评分分布呗：
img
看来大多数python相关的图书都没人买过诶~大概是买不起吧T_T。
再来评论数量？
img
那么评论数量TOP6的图书有哪些呢？
img
老规矩，画两个词云作结吧，把所有python相关的图书的简介做成词云如何？
img
番外篇
这篇文章真的结束了吗？
这篇文章真的结束了吗？
这篇文章真的结束了吗？
难道没有人好奇我文章的封面怎么做的吗？
好吧，我写文章的时候没人看到，所以即使真的有人好奇也没法说？
其实很简单，就是下了961张python相关图书的图书封面，然后拼在一起了。
源代码如下：
img
效果如下：
img
python爬虫当当网图书信息_利用python爬虫可视化分析当当网的图书数据！相关推荐
- 下面哪个python库不能用于提取网页信息_利用python的webscraping库采集抓取爱帮网电话号码...
利用python的webscraping模块抓取爱帮网电话号码,本文采集该页面的标题和2个电话号码, 具体的python代码: # -*- coding: UTF-8 -*- ''' Created ...
- python网页信息_利用python处理网页信息
在前几周的grep/sed/awk实战中提到,"和CoreSite - Any2 California接入商建立网络BGP邻居关系.从peeringdb上找到了所有接入商的信息,但是转移信息 ...
- python批量录入学生信息_利用Python实现学生信息管理系统的完整实例
项目要求: 读完题目,首先我们要确定程序思路 我们要全部通过类去实现 也就是 我们要实现管理员.学生.讲师.课程.教师五个类 管理员类 class Administration(object): de ...
- python数据库操作批量sql执行_利用Python如何批量修改数据库执行Sql文件
利用Python如何批量修改数据库执行Sql文件 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: 利用Python如何批量修改数据库执行Sql文件.txt ] (友 ...
- python定时开关机的代码_利用Python实现Windows定时关机功能
是最初的几个爬虫,让我认识了Python这个新朋友,虽然才刚认识了几天,但感觉有种莫名的默契感.每当在别的地方找不到思路,总能在Python找到解决的办法.自动关机,在平时下载大文件,以及跑程序的时候 ...
- python爬取外文文献翻译_利用Python爬取翻译网站的翻译功能
现在我想分享一个利用Python技术,爬取一个翻译网站的翻译功能的小代码. 首先隆重介绍我们今天将要爬取的网站:http://fy.iciba.com/ 咱们用Python中的urllib模块的功能进 ...
- python如何爬取sci论文_利用python爬取并翻译GEO数据库
GEO数据库是NCBI创建并维护的基因表达数据库,始于2000年,收录了世界各国研究机构提交的高通量基因表达数据,现芯片集数据量高达12万以上.想要从这里面挖掘(bai piao)数据,发个sci提前 ...
- python 替换array中的值_利用Python提取视频中的字幕（文字识别）
我的CSDN博客id:qq_39783601,昵称是糖潮丽子~辣丽 从今天开始我会陆续将数据分析师相关的知识点分享在这里,包括Python.机器学习.数据库等等. 今天来分享一个Python小项目! ...
- python获取window共享目录列表_利用Python获取DICOM RTstructure勾画列表
在<利用Python打开DICOM CT文件>一文中,我们利用pydicom.dcmread()读取了CT图像.本文中我们将修改load_scan()函数来读取RTstructure文件并 ...
- python 16bit转8bit的工具_利用python读取YUV文件 转RGB 8bit/10bit通用
注:本文所指的YUV均为YUV420中的I420格式(最常见的一种),其他格式不能用以下的代码. 位深为8bit时,每个像素占用1字节,对应文件指针的fp.read(1): 位深为10bit时,每个像 ...
最新文章
- Python面试必知(四)
- [转]C++ 11 多线程--线程管理
- 《I'm a Mac：雄狮训练手册》——1.12 开机快捷键
- Nearest Interesting Number
- mac nginx apache mysql php 一键_Mac 下搭建 apache / nginx+php+mysql
- Anroid推送服务
- GO恶意样本实例分析
- [转]自定义序列化对象
- C#摄像头实现拍照功能的简单代码示例
- Java 基础(条件结构)
- SQLite允许向一个integer型字段中插入字符串
- 从.NET Core 3.1项目生成本地可执行文件
- [转]Java 通过JDBC连接Mysql数据库的方法和实例【图文说明】
- 学习Direct3D(五)应用程序入口
- 信号与系统（关于流程框图的一个简单问题记录）
- 关于网络营销基本理论的概述
- 百度AI文字识别需要注意的点
- Google Guava 实战之List篇
- （8）web安全|渗透测试|网络安全 常见的站点搭建类型分析，子域名爆破，旁注等，WAF防护分析及绕过，wafwoof工具的安装和使用
- 取出汉字的拼音首字母