python100day - day24 - DataAnalysis

1.selenium设置代理

from selenium import webdriver
from selenium.webdriver import ChromeOptions
import requestsdef get_ip():url = 'http://piping.mogumiao.com/proxy/api/get_ip_bs?appKey=6226c130427f487385ad7b5235bc603c&count=5&expiryDate=0&format=2&newLine=3'response = requests.get(url)if response.status_code == 200:if response.text[0] == '{':print('获取ip失败')else:return [x for x in response.text.split('\n') if x]else:print('请求失败')ips = get_ip()
if ips:# 添加代理options = ChromeOptions()options.add_argument(f'--proxy-server=http://{ips[0]}')b = webdriver.Chrome(options=options)b.get('https://cd.fang.anjuke.com/')print(b.page_source)
else:print('获取ip失败')

2.bs4的使用

import requests
from bs4 import BeautifulSoup# 1.html页面解析的方法
"""
1）正则表达式   -   出神入化的正则；不懂前端（re）
2）通过css选择器选中标签    -   熟悉css选择器；熟悉jQuery(bs4,pyQuery)
3）通过xPath获取标签  -  熟悉html结构和标签(lxml)
"""# 准备数据
def get_data():with open('files/安居客.html', encoding='utf-8') as f:return f.read()# 2.bs4的使用
# 1)根据网页内容创建解析器对象
# BeautifulSoup(网页内容, 解析器类型)
# 网页内容  - html格式的字符串；一般是通过requests或者selenium去页面数据
soup = BeautifulSoup(get_data(), 'lxml')
print(type(soup))# 2)根据css选择器获取标签
"""
bs对象.select(css选择器)  -  获取选择器选中的所有标签
bs对象.select_one(css选择器)  -  获取选择器选中的第一个标签
"""
houses_name_els = soup.select('.items-name')
print(houses_name_els)houses_details = soup.select('.favor-pos')# 3)获取标签内容和属性
# a.标签内容
# 标签对象.string
# 标签对象.get_text()
# 标签对象.contentsfor item in houses_name_els:print(item.string)   # None# print(item.get_text())   # 新盘多弗成都奥特莱斯# print(item.contents)   # [<span>新盘</span>, '多弗成都奥特莱斯']# b.标签属性值
# 标签对象.attrs[属性名]
# print(houses_details)
for x in houses_details:print(x.attrs['href'])# 练习：获取价格和图片
print('=============================')
prices = soup.select('.price')
for x in prices:print(x.get_text())imgs = soup.select('.pic>img')
for x in imgs:print(x.attrs['src'])print('=====================================')
# 4)根据内容获取标签
# a.find_all(attrs={属性1:属性值1,属性2:属性值2,...})   -   获取指定属性是指定值的所有标签
# 获取height属性是135的标签
result = soup.find_all(attrs={'height': '135'})
print(result)# 获取class属性是c1并且type属性是password的标签
result = soup.find_all(attrs={'class': 'c1', 'type': 'password'})
print(result)

3.bs4的应用

from bs4 import BeautifulSoupdef get_data():with open('files/安居客.html', encoding='utf-8') as f:return f.read()def analysis_data(data):soup = BeautifulSoup(data, 'lxml')# 获取所有楼盘对应的divhouse_boxs = soup.select('.list-results .item-mod')all_house = []for h_div in house_boxs:print('=====================================')name_tag = h_div.select_one('.items-name')price_tag = h_div.select_one('.price')pic_tag = h_div.select_one('.pic>img')house = {'name': name_tag.get_text() if name_tag else None,'price': price_tag.get_text() if price_tag else None,'pic_url': pic_tag.attrs['src'] if pic_tag else None}all_house.append(house)print(all_house)if __name__ == '__main__':analysis_data(get_data())

4.pyQuery的使用

from pyquery import PyQuerydef get_data():with open('files/安居客.html', encoding='utf-8') as f:return f.read()# 1.创建PyQuery对象
# PyQuery(html格式的字符串)
# doc指向html标签
doc = PyQuery(get_data())# 2.获取标签
# PyQuery对象(css选择器)  - 选中css选择器选中的标签，返回PyQuery对象
names = doc('.items-name')# 3.获取标签内容
# PyQuery对象.text()
# 直接操作pyQuery对象会直接作用于这个对应中所有的标签
print(names.text())# 遍历PyQuery对象得到的是这个容器中的每个标签
for x in names:# x - 标签# PyQuery(x) - 标签对应的jQuery对象print(x, PyQuery(x).text())# 4.获取标签属性
# 1)value属性
# PyQuery对象.val()
print(doc('#i1').val())
# print(doc('#i1').attr('value'))# 2)普通属性
# PyQuery对象.attr(属性名)
result = doc('.pic>img')
for x in result:print(PyQuery(x).attr('src'))

5.pyQuery的应用

from pyquery import PyQuerydef get_data():with open('files/安居客.html', encoding='utf-8') as f:return f.read()def analysis_data(data):doc = PyQuery(data)all_house_tag = doc('.key-list.imglazyload>.item-mod')for x in all_house_tag:pq_x = PyQuery(x)name = pq_x('.items-name').text()area = pq_x('.building-area').text()price = pq_x('.price').text()title = pq_x('.group-mark.soj').text()house = {'name': name,'area': area,'price': price,'title': title}print(house)if __name__ == '__main__':analysis_data(get_data())

6.爬详情页

import requests
from tools import get_ip
import time
from pyquery import PyQuerydef get_data():"""获取首页楼盘列表的数据"""while True:ips = get_ip()if not ips:time.sleep(1)continueurl = 'https://cd.fang.anjuke.com/'proxy = {'http': ips[0],'https': ips[1]}response = requests.get(url, proxies=proxy)if response.status_code == 200:analysis_data(response.text)returnelse:print('请求失败!', response)time.sleep(1)continuedef analysis_data(data):"""解析首页数据，拿到每个楼盘详情页的地址"""print('解析数据!')doc = PyQuery(data)a_tags = doc('.item-mod>.pic')for a in a_tags:url = PyQuery(a).attr('href')get_detail_page(url)def get_detail_page(url):"""获取详情页数据"""while True:ips = get_ip()if not ips:continueproxy = {'http': ips[0],'https': ips[1]}response = requests.get(url, proxies=proxy)if response.status_code == 200:print('================================================')print(response.text)returnelse:print('请求失败!', response)if __name__ == '__main__':get_data()

python100day - day24 - DataAnalysis相关推荐

Java基础day24
Java基础day24 Java基础day24-类加载器&反射&模块化 1.类加载器 1.1类加载 1.2类加载器 1.2.1类加载器的作用 1.2.2JVM的类加载机制 1.2.3J ...
day24 01 初识继承
day24 01 初识继承面向对象的三大特性:继承,多态,封装一.继承的概念继承:是一种创建新类的方式,新建的类可以继承一个或者多个父类,父类又可称基类或超类,新建的类称为派生类或者子类 cla ...
python tk combobox设置值为空_Python编程从入门到实践日记Day24
Python编程从入门到实践日记Day24 第6章用户输入和while循环(五) 1. 使用while循环来处理列表和字典(二) - 删除包含特定值的所有列表元素在之前我们学过可以使用函数remo ...
传智刘意 2015年Java基础视频-深入浅出精华版笔记 day24~day26(2016年4月26日13:11:30)
day24 1.多线程(JDK5之后的Lock锁的概述和使用) Lock: void lock(): 获取锁. void unlock():释放锁. ...
English Learning - L2 语音作业打卡辅音舌齿龈音 [t] [d] Day24 2023.3.16 周四
English Learning - L2 语音作业打卡辅音舌齿龈音 [t] [d] Day24 2023.3.16 周四
Day24（ObjectString,MyThread,Properties,ThreadDaemon,ThreadJoin,ThreadPriority,ThreadSleepThreadStop）
一.ObjectStringDemo package com.shujia.lhw.day24;import java.io.FileOutputStream; import java.io.Obje ...
python100day day22 -Requests
python100day day22 -Requests和Selenium import requests # requests: 是python用来发送http请求的一个第三方库一.Request ...
English Learning - Day24 作业打卡 2022.12.30 周五
English Learning - Day24 作业打卡 2022.12.20 周五引言 1. 我永远都会支持你.(不用 support) 2. 这个电影把我感动哭了. 3. 我觉得他将来会成为冠 ...
python100day - 07day-集合、字符串和字符
python100day - 07day-集合.字符串和字符集合 1.什么是集合(set): 1)集合是容器型类型,将{}作为容器的标志,里面多个元素用逗号隔开:{元素1, 元素2, 元素3, -} ...

python100day - day24 - DataAnalysis

python100day - day24 - DataAnalysis

1.selenium设置代理

2.bs4的使用

3.bs4的应用

4.pyQuery的使用

5.pyQuery的应用

6.爬详情页

python100day - day24 - DataAnalysis相关推荐

最新文章

热门文章