基于python和高德地图租房系统的设计与实现
资源下载地址：https://download.csdn.net/download/sheziqiong/85657272
资源下载地址：https://download.csdn.net/download/sheziqiong/85657272
任务要求
1、爬取深圳市龙华区在 58 同城上的租房信息（租房价格 2000-4000）
① 打开 58 同城，确定筛选条件
② 确定页数以及单页 xpath 提取规则
③ 确定每页 url 构成规则
完成以上分析步骤之后，就可以开始编写爬虫脚本：
① 找到反爬参数 headers
② 解析页面，找到参数 1——图片链接
③ 脚本编写完毕！但是 ip 访问次数受到限制
正常情况下只能获取到 1 页房源信息
直接提取 ip：
复制 ip 到 ip.txt 文件替换：
爬取过程很神奇，不知道什么问题：
估计是 ip 的问题，每次爬都会有这个，只是位置不一样
调动高德地图 API，展示房源
下面是 Pycharm 运行截图：
注意事项
① 平时不用的时候，不要爬，要不之前爬的 CSV 文件会被覆盖，演示的时候自己购买 ip 代理池，按照文档要求覆盖 ip.txt 文件内容即可
② 申请的高德 API 默认免费次数是 6000 次，注意使用次数，超过次数需要重新申请，否则报错
③ 目前测试 58 爬取没问题，在网页结构不变时，代码都有效
④ 缺少的 python 第三方模块包，自己下载按照（通过 pip 命令）
⑤ 文件夹中的 task1_爬取 ip 代理.py 别执行，因为爬下来的 ip 都是失效的
添加多进程，加快爬取速度：
终端运行：python -m http.server 3000 浏览器打开：http://0.0.0.0/
鼠标右键运行：task4_调用高德地图 API.html 导入"添加经纬度后 CSV 文件.csv"可以看到效果
ttp://0.0.0.0:3000/)
鼠标右键运行：task4_调用高德地图 API.html 导入"添加经纬度后 CSV 文件.csv"可以看到效果
资源下载地址：https://download.csdn.net/download/sheziqiong/85657272
资源下载地址：https://download.csdn.net/download/sheziqiong/85657272
基于python和高德地图租房系统的设计与实现相关推荐
- 基于Python的作业查重系统的设计和实现
<基于Python的作业查重系统的设计和实现>该项目采用技术Python的django框架.mysql数据库,项目含有源码.论文.PPT.配套开发软件.软件安装教程.项目发布教程.核心代码 ...
- 基于Python的学生在线选课系统的设计和实现
<基于Python的学生在线选课系统的设计和实现>该项目采用技术Python的django框架.mysql数据库 ,项目含有源码.论文.PPT.配套开发软件.软件安装教程.项目发布教程.核 ...
- python实现实时监控_基于 Python 的交换机实时监控系统的设计与实现
从高校校园网运维工作实际出发,论文提出了一种基于 Python 语言+SNMP协议的网络交换机监测系统设计思路与实现方法.整个系统系统采用B/S模式,基于轻量级的web开发框架web.py实现.后端采 ...
- 基于python的个人博客系统的设计开题报告_基于SSM的个人博客系统设计开题报告...
本 科 毕 业 设 计(论文)开 题 报 告 题 目:基于SSM的个人博客系统设计与实现 专题题目(若无专题则不填): 本课题来源及研究现状: 关于博客的未来:在创办了博客中国(blogchina) ...
- 基于python的火车票订票系统的设计与实现_火车票售票系统的设计与实现毕业论文.doc...
郑州轻工业学院 本科毕业设计(论文) 题 目: 火车票售票系统的设计与实现 . 学生姓名: . 院 (系): 计算机与通信工程学院 . 专业班级: 网络工程(物联网技术13-01) . 学 号: . ...
- 基于python的个人博客系统的设计开题报告_个人博客设计实现开题报告
现在的毕业设计的开题报告是很难写吗,以个人博客设计为课题的开题报告怎么写?看下文是yjbys小编搜集整理的关于开题报告的相关资料,希望对大家有所帮助! 1本课题所涉及的问题在国内(外)的研究现状综述: ...
- 基于python的火车票订票系统的设计与实现_Python实现12306火车票抢票系统
Python实现12306火车票抢票系统效果图如下所示: 具体代码如下所示: import urllib.request as request import http.cookiejar as coo ...
- 基于python的火车票订票系统的设计与实现_火车票订票系统的开发与设计
火车票订票系统的开发与设计 一.需求分析 1 ．功能需求 本程序共有六大功能供客户使用 添加车次信息 车次信息查询 预订车票 车票信息更新 系统推荐车次 信息保存查询 2 ．非 ...
- 基于python的个人博客系统的设计开题报告_基于JavaSSM框架的个人博客系统设计与实现开题报告...
1.本课题研究的意义: 研究目的: 从本质上讲,博客是一种表达个人思想.网络连接.内容,按时间排列顺序,并且不断更新的出版方式,是网络时代的个人文摘,它代表着新的生活.工作方式,更代表着新的学习方式. ...
最新文章
- 电脑如何格式化_分别手把手教你在Windows和mac上格式化磁盘
- VMM2012应用指南之4-向VMM中添加Hyper-V主机与应用服务器
- UI分层中使用PageFactory
- c++ 数组的输入遇到特定字符停止输入_滑动窗口思维--挑战“无重复字符的最长子串”
- java数列的个位数求和_java二位数组相加
- 攻击者视角对AntiSpam工作的分析
- 嵌入式算法19---国家商用密码SM算法
- 玉米社：竞价推广对话成本优化办法
- 关于tomcat项目中poi报错出现的问题
- OpenGl运行窗口出现纯白色
- WP免费主题，wordpress免费主题，WP建站主题
- ERD Online 4.0.5 在线数据库建模、元数据管理（免费、私有部署）
- (转载)FPGA工程师必上的论坛
- python读xml文件生成.h头文件_PYTHON读写xml文件的方法
- STL-priority_queue用法（重点: 升序，小根堆）
- SaaS常用指标及计算方法
- 电信联通上海分别启用181与185号段
- 多人实时音视频聊天架构探讨
- 轩辕剑在线(swdol)3D模型浏览器
- thinkphp开发的erp系统旗舰版，模块齐全，功能强大