Python爬虫入门之豆瓣短评爬取

采用工具pyCharm，python3，工具的安装在这就不多说了，之所以采用python3是因为python2只更新维护到2020年。

新建python项目
File-Settings-project interpreter，点右上角+号，安装requests，lxml，openpyxl，pandas四个包。
requests爬取豆瓣短评
lxml解析定位豆瓣短评
panda转换并保存豆瓣短评数据
openpyxl是读写excel文件所用到的包
在项目下新建一个python file，实例代码如下：
这里着重说一下，xpath路径如何获取，在网页中选中评论内容，右击-检查，自动跳到对应代码行，再在该代码行上右击-Copy-Copy XPath；粘贴出来你的代码好比如是：//[@id=“comments”]/ul[1]/li[1]/div[2]/p/span，这时你要结合你的前端基础知识和页面世界节点去分析，最后把xpath改成//[@class=“comment”]/p/span/text()
运行代码，在项目目录下生成comments.xlsx文件。大功告成！

Python爬虫入门之豆瓣短评爬取相关推荐

python爬虫入门练习：BeautifulSoup爬取猫眼电影TOP100排行榜，pandas保存本地excel文件
传送门:[python爬虫入门练习]正则表达式爬取猫眼电影TOP100排行榜,openpyxl保存本地excel文件对于上文使用的正则表达式匹配网页内容,的确是有些许麻烦,替换出现任何的差错都会导致 ...
python爬虫入门_3种方法爬取古诗文网站
目的: 爬取古诗文网的古诗词,获取详细信息,目标网站:https://www.gushiwen.org/default.aspx?page=1 1.根据网页分析可知下面包含了当前页面的所有信息,所以 ...
Python 爬虫“王者”：豆瓣海报爬取
我这里就以女神王祖贤的海报来作为例子. 翻页分析在豆瓣电影中搜索"王祖贤",进入王祖贤主页后,点击全部影人图片,进入到影人图片页面. 在该页面点击下一页,可以看到浏览器的 URL ...
Python爬虫入门教程06：爬取数据后的词云图制作
前言
Python爬虫入门教程31：爬取猫咪交易网站数据并作数据分析
前言
Python爬虫入门教程32：爬取boss直聘招聘数据并做可视化展示
前言
Python爬虫入门教程27：爬取某电商平台数据内容并做数据可视化
前言
Python爬虫入门教程30：爬取拉勾网招聘数据信息
前言
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...

Python爬虫入门之豆瓣短评爬取

Python爬虫入门之豆瓣短评爬取相关推荐

最新文章

热门文章