python二手房课程设计_【Python】赶集网二手房爬虫 (可扩展)
[Python] 纯文本查看 复制代码import requests
import os
from bs4 import BeautifulSoup
class GanJi():
"""docstring for GanJi"""
def __init__(self):
super(GanJi, self).__init__()
def get(self,url):
user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'
headers = {'User-Agent':user_agent}
webData = requests.get(url + 'o1',headers=headers).text
soup = BeautifulSoup(webData,'lxml')
sum = soup.find('span',class_="num").text.replace("套","")
ave = int(sum) / 32
forNum = int(ave)
if forNum < ave:
forNum = forNum + 1
for x in range(forNum):
webData = requests.get(url + 'o' + str(x + 1),headers=headers).text
soup = BeautifulSoup(webData,'lxml')
find_list = soup.find('div',class_="f-main-list").find_all('div',class_="f-list-item ershoufang-list")
for dl in find_list:
print(dl.find('a',class_="js-title value title-font").text,end='|') # 名称
# 中间 5 个信息
tempDD = dl.find('dd',class_="dd-item size").find_all('span')
for tempSpan in tempDD:
if not tempSpan.text == '' :
print(tempSpan.text.replace("\n", ""),end='|')
print(dl.find('span',class_="area").text.replace(" ","").replace("\n",""),end='|') # 地址
print(dl.find('div',class_="price").text.replace(" ","").replace("\n",""),end='|') # 价钱
print(dl.find('div',class_="time").text.replace(" ","").replace("\n",""),end="|") # 平均
print("http://chaozhou.ganji.com" + dl['href'],end="|") # 地址
print(str(x + 1))
if __name__ == '__main__':
temp = GanJi()
temp.get("http://chaozhou.ganji.com/fang5/xiangqiao/")
python二手房课程设计_【Python】赶集网二手房爬虫 (可扩展)相关推荐
- python程序设计课程设计_《Python程序设计》教学大纲.doc
PAGE 理论课程教学大纲 <Python程序设计>教学大纲 课程编号: 总 学 时:64(其中,讲课:32:实验:32) 学 分:3 实践教学:0周 修读专业:地理信息系统.应用化学 大 ...
- python人工智能课程设计_中小学课程设计:以计算思维培养为核心的人工智能课程设计与实践...
面对国际日趋紧张的科技竞争,发展新一代人工智能已成为各国的重要国家战略.人工智能人才的梯队建设是我国发展人工智能技术和推动产业应用的重要基础. 01存在问题 近年来教育部和各省市教育主管部门发布了一系 ...
- python程序设计课程设计_《Python程序设计》课程教学大纲
< python 程序设计>课程教学大纲 课程代码: 060132002 课程英文名称: Python Program Design 课程总学时: 32 讲课: 32 实验: 0 上机: ...
- python操作系统课程设计_操作系统课程设计.pdf
计算机科学与通信工程学院 操作系统课程设计报告 题目:linux系统下实现PV 操作 班级: 软件工程1401 姓名: 吴帅帅 学号: 3140608020 指导老师: 牛德姣 2016 年12 月2 ...
- python数据挖掘课程设计,利用Python进行机器学习和数据挖掘概述
利用Python数据挖掘和机器学习的概述 前言: 本文主要描述了使用Python进行数据挖掘业务的优势并介绍了相关的数据处理工具包pandas和机器学习算法库scikit-learn. 为什么使用py ...
- 马哥python数据分析课程设计_搭建python数据分析平台
基本结构 其实没什么高深的东西,无非是常用的那一套: pandas, numpy, matplotlib- 但是为了更方便使用,加持了 jupyter notebook(即以前的ipython not ...
- python 通讯录课程设计_如何用Python设计一个通讯录类?
直接上代码:一共三个文件 CommunicateClass.py # @File : CommunicateClass.py class Communicate(): ""&quo ...
- Python数据处理课程设计-房屋价格预测
注:可能有些图片未能成功上传,可在文档处进行下载 链接:Python数据处理课程设计-房屋价格预测-机器学习文档类资源-CSDN下载 课程设计报告 课程名称 Python数据处理课程设计 项目名称 房 ...
- 期末课程设计——基于Python+MySQL数据库的学生管理系统(附源代码)
一. 设计题目 二. 开发环境 三. 设计思想 四. 系统结构 五. 系统使用说明与数据测试: 1. 启动Mysql数据库 ...
最新文章
- MySQL 学习资料汇总
- MySQL优化经验-值得细细品读
- 传染病控制(洛谷 1041 WA 90)
- Javascript 限制文本字节数
- efcore根据多个条件更新_EF Core 基础知识
- JAVA两个视图层_MVC - 管理帐户 . 一个视图有两个局部视图和两个模型
- python做线性回归统计推断提取参数_概率分析方法与推断统计(来自我写的python书)...
- .Net 转战 Android 4.4 日常笔记(1)--工具及环境搭建
- MOne︱基于词包的无监督多主题得分 练习题
- c语言经典面试题 洗牌,网易游戏面试题:如何设计一个公平的洗牌算法
- mailx配置TSL发送邮件
- 使用CityBuilder搭建智慧城市3D可视化模型
- vivo平台sdk php说明书,vivo
- 每日英语:China Bridge Collapse Raises Infrastructure Concerns
- 详解单片机中的关键字:sfr sbit
- Android之设备加密
- SATA-AHCI规范学习
- 路径与轨迹、路径规划与轨迹规划、路径跟踪与轨迹跟踪
- Android TabLayout设置选中状态标题字体大小,粗细
- 微信开通检测平台应如何选择?
热门文章
- Puppy Linux 8.0 发布,代号 BionicPup
- PAT1127 如何根据后序遍历中序遍历建树?
- 洛谷 P1865 A % B Problem[筛素数/前缀和思想/区间质数个数]
- 为什么会有jsessionid,这个东东有什么用呢?
- ExpandableListView getChildView 不执行,不显示子列表
- wordpress 后台,登录,注册开启https的重写规则
- VMware vSphere
- 网站DDOS***防护实战老男孩经验心得分享
- UVA 10304 Optimal Binary Search Tree
- 320. Generalized Abbreviation-- back tracking and bit manipulation(待续)