利用python爬取飞猪信息

import requests

from bs4 import BeautifulSoup

# 爬取飞猪IP免费代理

class SpiderApp:

# 初始化属性

def __init__(self):

# 地址、头部、请求对象、解析对象

self.url = "https://www.feizhuip.com/?source=baidu&keyword=feizhuIP"

self.head = {"user-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36"}

self.req = requests

self.bs = BeautifulSoup

# 存储page1中的路径和标题

self.href_list = []

# 响应对象

self.response = ""

# 请求第一级页面：获取二级页面的路径和标题

def sendReqPage1(self):

# 1 发起请求

self.response = self.req.get(url=self.url,headers=self.head)

# 2 查看状态

print("code-",self.response.status_code)

# 3 解析数据解析器：html5lib需要安装

soup = self.bs(self.response.text,"html.parser")

title = soup.title.string

print("标题",title)

# 4 通过标签条件查询标签

# find_all div len=3 [index=2] select "p.list span.date"

span

原文链接:https://blog.csdn.net/chen_zan_yu_/article/details/106683049

利用python爬取飞猪信息_飞猪爬虫项目相关推荐

利用python爬取知乎评论_一个简单的python爬虫,爬取知乎
一个简单的python爬虫,爬取知乎主要实现爬取一个收藏夹里所有问题答案下的图片文字信息暂未收录,可自行实现,比图片更简单具体代码里有详细注释,请自行阅读项目源码: 1 # -*- c ...
python爬取本地天气信息_用Python写一个爬取中国天气网的终端版天气预报爬虫
导语前几篇文章介绍了爬取静态网站的主要方法.今天写一个小项目实践一下.本项目可以在终端窗口查询全国3400多个区县的当日天气信息和近七天天气信息. 实现效果 [Python爬虫]写一个爬取中国天气网 ...
python 爬取企业注册信息_读书笔记（十）——python简单爬取企查查网企业信息，并以excel格式存储...
今天这个小爬虫是应朋友,帮忙写的一个简单的爬虫,目的是爬取企查查这个网站的企业信息. 编程最终要的就是搭建编程环境,这里我们的编程环境是: python3.6 BeautifulSoup模块 lxml ...
python爬取网上租房信息_用python爬取租房网站信息的代码
自己在刚学习python时写的,中途遇到很多问题,查了很多资料,下面就是我爬取租房信息的代码: 链家的房租网站两个导入的包 1.requests 用来过去网页内容 2.BeautifulSoup i ...
利用Python爬取杭州租房信息，发现月薪没有8K还是不要租房了吧
前言小编的一个好朋友跑去杭州工作了,跟我吐槽杭州的租房太贵了,房租正在成为摧垮年轻人的"第一根稻草",在杭州打拼的你,所在的城区房租涨了吗?你是否还能潇洒地说出 "买不 ...
利用python爬取股票实时信息
注:本次实验使用python3.7以及pycharm完成网络爬虫所为爬虫就是建立一个与某个网站的连接通过该连接获取输入流,读取网站内容.实质上就是一个socket的输入输出操作,根据http状态 ...
python爬取电脑本地数据_利用python爬取丁香医生上新型肺炎数据，并下载到本地，附带经纬度信息...
原标题:利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息新型肺炎肆虐全国,可以预知,最近一两年地理学中会有一部分论文研究新型肺炎的空间分布及与其他指标的关联分析.获取其患病人 ...
python爬取boss直聘招聘信息_年底啦，利用Python爬取Boss直聘的招聘信息，为明年跳槽做准备...
原标题:年底啦,利用Python爬取Boss直聘的招聘信息,为明年跳槽做准备前言为什么都说程序员的薪资高,但是刚开始入职的你,薪资并不是自己想象中的那样,首先是你的工作经验不足,其次就是需要不断的 ...
python 怎么爬桌软件数据_如何利用Python爬取并分析红岭创投的数据？
第一步:爬取数据通过 selenium + Firefox 的无头模式将需要的数据爬取出来,代码实现不在赘述,详细步骤可查看我的上一篇图文(如何利用Python爬取网易新闻), 由于 seleniu ...
python 翻译库本地库_利用python爬取并翻译GEO数据库
原标题:利用python爬取并翻译GEO数据库 GEO数据库是NCBI创建并维护的基因表达数据库,始于2000年,收录了世界各国研究机构提交的高通量基因表达数据,现芯片集数据量高达12万以上.想要从这 ...

利用python爬取飞猪信息_飞猪爬虫项目

利用python爬取飞猪信息_飞猪爬虫项目相关推荐

最新文章

热门文章