python编程-----利用爬虫获取自如房间信息（二）

2024-06-12 13:35:20

上次我们从页面中获得了房间基本信息，接下来只需要获得房间价格信息就可以了。

获取房间价格信息

再继续往下看，可以看到一个叫做priceDetail的标签，点开以后，我傻眼了。里面并没有房屋价格，而是一些我看不懂的东西。

我又仔细看了代码，发现它是由背景图片动态加载的。即在每次刷新网页后，背景图片都不一样。
如图，标红的地方就是加载的图片。如图，它们是这样的。

看来自如为了防止爬虫抓取它的房间价格信息，是使用图片来显示价格的。另外，自如将图片中的数字打乱顺序，使用偏移来表示出真正组成价格的数字。

事情没有那么简单呀～但是，我不会轻易放弃的！

图像识别

接下来的任务，要将图片识别成数字。在这里我使用了机器学习的知识，来识别这些数字。

首先，将排序后的图片拆分成单个的数字。
我们得到的图片是300x30的像素，因此，每个数字占用30x30的像素。在这里，我使用PIL库将图片拆分成10个子图，每个子图各包含一个数字。然后将数字转化成灰度图，如图所示。

由于每个数字的结构都是大不相同的，因此，在这里使用skimage库进行提取数字的骨架。
但是，在提取骨架时，我又遇到了麻烦ㄒ-ㄒ
提取骨架时需要将图像进行二值化处理，但是处理后的图像却如下图所示。

可以看出自如的工程师故意在随机区域内添加了噪声，以防止基于矩阵的图像识别。
这个问题要怎么办呢？我的一位朋友给我提出了解决方案。他提出的解决思路是，使用聚类进行二值化。在这里，我使用sklearn中的k-Means进行二值化，效果非常好。最终得到的骨架如所示：

使用骨架作为机器学习的输入。使用sklearn中的LR模型进行分类，最终，得到了很好的效果。

注令人惊喜的是，更改数字字体，如
，
也能准确识别数字。

完整代码：https://github.com/hibary2333

python编程-----利用爬虫获取自如房间信息（二）相关推荐

python编程-----利用爬虫获取自如房间信息（三）
在上次我们已经成功实现了图像识别,接下来只需要获得房间价格是怎么从图片中产生的就可以了. 在列表中查找无果后,我点开了房屋详情,并发现了如下的信息. 我发现在这里,由js发起的ajax 请求设置了图片 ...
python爬取自如房间信息(二)
主要是针对自如房价的爬取 .以下代码对房价图片进行处理,将里面的数字提取出来,然后用knn最近邻算法去对图片上的数据进行分类. import sys import cv2 import numpy a ...
python爬取自如房间信息(一)
使用python和selenium+Chrome Headless爬取自如房间信息,并将结果存储在MongoDB中.其中最麻烦的应该是每间房的价格,因为自如是用一张图片和offset来显示价格,所以不 ...
python爬虫获取天猫店铺信息（更新到2020年）
python爬虫获取天猫店铺信息爬取需求在天猫搜索一个关键词,然后抓取这个关键词下的相关店铺,由于taobao的反爬策略,只能爬取到第十页大概200个店铺的信息. 效果预览最终爬取的数据用exc ...
Python 使用 twitter API 获取twitter用户信息
Python 使用 twitter API 获取twitter用户信息 1. 概述 twitter作为国外极其大众化的社交平台,具有大量的海外用户,平台流动数据量极大,是国外人群生活数据的重要来源之一 ...
[Python黑帽] 一.获取Windows主机信息、注册表、U盘历史痕迹和回收站文件
最近开始学习网络安全和系统安全,接触到了很多新术语.新方法和新工具,作为一名初学者,感觉安全领域涉及的知识好广.好杂,但同时也非常有意思.这系列文章是作者学习安全过程中的总结和探索,我们一起去躺过那些 ...
Python：使用爬虫获取世界大学学术排名存储到 Excel 并作可视化输出
文章目录问题描述问题分析结果展示代码实现解法一:BeautifulSoup 解析 HTML 解法二:XPath 解析 HTML 问题描述从 http://www.zuihaodaxue.c ...
利用爬虫获取猫眼电影热门前100数据
利用爬虫获取猫眼电影热门前100数据实现方法 1:访问网站,获取页面源码 2:解析页面 ,得到想要的数据 3:循环爬取多个页面 4:把数据写入本地文件 ''' 需求:爬取猫眼电影前100的电影信息 ...
igs无法分配驱动器映射表_利用VBA获取驱动器的信息
大家好,我们今日讲解"VBA信息获取与处理"教程中第十七个专题"文件及文件夹信息的获取及操作"的第三节"利用VBA获取文件的信息和属性",这 ...

最新文章

热门文章