python爬虫旅游景点

今天的目标是各地旅游景点

废话不多说，直接开始

由于本次爬取后的数据保存到Excel，所以要提前安装相关库，这里我用的是pip

win+R cmd到命令行输入以下内容(要确保python环境正常)

pip install Workbook

pip install openpyxl

接下来就可以开始代码操作了

# -- coding: utf-8 --
import requests
from lxml import html
from openpyxl import Workbook#创建Excel
wb=Workbook()
ws=wb.active#获取数据
url='https://place.qyer.com/china/citylist-0-0-1/'def getpage(url):#请求头，模拟浏览器登录headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'} #访问链接，获取HTMLr = requests.get(url, headers=headers)retext = r.text# 解析数据ht = html.fromstring(retext)#使用xpath获取city = ht.xpath('/html/body/div[5]/div/div[1]/ul/li')for i in city:name = i.xpath('./h3/a/text()')[0]beento = i.xpath('./p[@class="beento"]/text()')[0]list = i.xpath('./p[@class="pois"]/a/text()')list2 = ''# for j in list:#     list2=list2+','+j.strip()# print(name,beento,list2[1:])list = [place.strip() for place in list]list2 = ','.join(list)datalist = [name, beento, list2]ws.append(datalist)for i in range(1,10):url='https://place.qyer.com/china/citylist-0-0-{}/'.format(i)getpage(url)#Excel保存
fileanme="D:\Python\Project\test4" #路径可以自己设置，我这里是python源文件同级目录
wb.save("旅游景点.xlsx")

运行代码

python爬虫旅游景点相关推荐

基于Python的旅游景点的数据采集与分析的研究
在旅游景点不断扩张,本基于Python的旅游景点的数据采集与分析系统按照软件开发方法进行研究,对系统先进行需求分析,确定系统必须做什么,进而进行系统设计,设计出满足需求的新系统,最后才是系统功能实现以 ...
Python 获取旅游景点信息及评论并作词云、数据可视化
正所谓:有朋自远方来,不亦乐乎?有朋友来找我们玩,是一件很快乐的事情,那么我们要尽地主之谊,好好带朋友去玩耍!那么问题来了,什么时候去哪里玩最好呢,哪里玩的地方最多呢? 今天将手把手教你使用线程池爬取 ...
基于Python热门旅游景点数据分析系统设计与实现
博主介绍: ✌全网粉丝30W+,csdn特邀作者.博客专家.CSDN新星计划导师.java优质创作者,博客之星.掘金/华为云/阿里云/InfoQ等平台优质作者.专注于Java技术领域和毕业项目实战 ✌
python爬虫--租房信息
对小猪住房网站的信息爬取一.准备二.爬取的内容明细三.这里直接写代码四.输出结果一.准备谷歌浏览器打开 http://bj.xiaozhu.com/fangzi/37609773603.h ...
python Django基于物品协同过滤旅游景点推荐论坛系统
python Django基于物品协同过滤旅游景点推荐论坛系统 Python Django基于物品推荐协同过滤旅游景点推荐论坛系统 python Django旅游景点论坛 Python Django旅 ...
python爬虫--招聘信息
对职友集招聘网站的爬虫一.对职友集的python爬虫代码如下: 输出结果: headers错误信息处理一.对职友集的python爬虫由于网页更新标签,现在(20190605)更新代码,可以正常 ...
[Python爬虫] Selenium获取百度百科旅游景点的InfoBox消息盒
前面我讲述过如何通过BeautifulSoup获取维基百科的消息盒,同样可以通过Spider获取网站内容,最近学习了Selenium+Phantomjs后,准备利用它们获取百度百科的旅游景点消息盒(I ...
python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...
爬虫系列: 当我们出去旅游时,会看这个地方有哪些旅游景点,景点价格.开放时间.用户的评论等. 本文基于Python网络爬虫技术,以hao123旅游网为例,获取旅游景点信息. 1.项目目标获取网站的景 ...
【爬虫实战项目】Python爬虫批量旅游景点信息数据并保存本地（附源码）
前言今天给大家介绍的是Python爬虫批量下载旅游景点信息数据,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样 ...

python爬虫旅游景点

python爬虫旅游景点相关推荐

最新文章

热门文章