简单的python爬虫爬取国内机场的三字代码

收到某某某小师妹求助，写一个简单的爬虫把某个网站的国内机场以及对应的三字代码爬取下来，网上搜了一下爬虫入门的资料就开始写了。

屁话少说，上代码，注释都写好了，应该好理解。

#!/usr/bin/python#引入漂亮汤
from bs4 import BeautifulSoup
#引入requests包，用来发送http请求
import requests
#引入xlwt包，用来写入excel文件
import xlwt
#引入xl包，用来读取excel文件
import xlrddef getList(url):#伪装成浏览器，嘿嘿headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER'}#get从网页获取信息res = requests.get(url,headers=headers)#使用bs解析html文件，并且指定编码为gb18030（因为第四个页面竟然不是utf-8编码的，所以这里需要指定一下编码，这位前端工程师请长点心吧）soup = BeautifulSoup(res.content,'html.parser', from_encoding="gb18030")#使用选择器来获取需要的数据tds = soup.select('.border>.tdbg>td:nth-child(1),.border>.tdbg>td:nth-child(2)')#打印一下获取到的数据，瞄一眼有木有问题for item in tds:print(item.get_text().strip())#一股脑将数据丢给调用的函数自己处理吧return tdsdef main():#创建excel工作表file_printer = xlwt.Workbook()#添加sheetwork_sheet = file_printer.add_sheet('Sheet1');#需要爬取4个url的内容urls = [ 'http://www.6qt.net/index.asp?Field=Country&keyword=%D6%D0%B9%FA','http://www.6qt.net/index.asp?Field=Country&keyword=%D6%D0%B9%FA&MaxPerPage=50&page=2','http://www.6qt.net/index.asp?Field=Country&keyword=%D6%D0%B9%FA&MaxPerPage=50&page=3','http://www.6qt.net/index.asp?Field=Country&keyword=%D6%D0%B9%FA&MaxPerPage=50&page=4']#准备写入excel表格，当前的行数和列数置为0row = 0;col = 0;#爬取所有的url指向的html文件   for url in urls:#解析每个html文件，抽取需要的城市+三字代码并且返回lst = getList(url)#将每个页面爬取出来的数据写入excel文件for item in lst:if col >= 2:row+=1;col = 0;else:work_sheet.write(row, col, item.get_text().strip())
#               print(row, col, item.get_text().strip())col+=1;#保存文件file_printer.save('/Users/muxue/Documents/a.xls')if __name__ == '__main__':main()

简单的python爬虫爬取国内机场的三字代码相关推荐

利用python爬取知乎评论_一个简单的python爬虫,爬取知乎
一个简单的python爬虫,爬取知乎主要实现爬取一个收藏夹里所有问题答案下的图片文字信息暂未收录,可自行实现,比图片更简单具体代码里有详细注释,请自行阅读项目源码: 1 # -*- c ...
python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
把url地址复制到粘贴板上_写个简单的python爬虫爬取堆糖上漂亮的小姐姐
简单的爬虫入门实战最近刚学了python的爬虫,刚好可以用来爬取漂亮的图片作为壁纸,网上美图网站有很多,比如:花瓣,堆糖.它们请求图片数据的方式差不多类似,都是通过用户不断下滑加载新的图片,这种请求 ...
简单的python爬虫--爬取Taobao淘女郎信息
最近在学Python的爬虫,顺便就练习了一下爬取淘宝上的淘女郎信息:手法简单,由于淘宝网站本上做了很多的防爬措施,应此效果不太好! 爬虫的入口:https://mm.taobao.com/json/r ...
简单使用Python爬虫爬取淘宝网页商品信息
最近在学习爬虫,本人还是入门级的小白,自己跟着老师写了一些代码,算是自己的总结,还有一些心得,跟大家分享一下,如果不当,还请各位前辈斧正. 这是代码: # 导入库 import requests im ...
基于python的百度贴吧爬虫系统_简单的Python爬虫爬取坦克世界贴吧
自己的笔记放在这里入门试水首先安装python库,要装两个 bs4 和html5lib,Windows下到CMD里面用pip装 pip install html5lib pip install b ...
python爬图代码实例_Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
简单python爬虫爬取游戏wiki立绘
简单python爬虫爬取游戏wiki立绘玩二次元手游是感叹美少女立绘真好看啊,可惜就是抽不到,于是看到b站wiki上有角色立绘,就写了个爬虫准备将立绘趴下来欣赏(舔). 本人爬虫的技术只算是初学,代 ...
python 爬虫爬取疫情数据，爬虫思路和技术你全都有哈（二）
上一章: python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一.爬虫思路及代码) 第三步:数据清洗清洗数据很简单,就是数据太乱的话,就得花些时间,所以一定要有一个好的方法,才能避免在清洗数据 ...

简单的python爬虫爬取国内机场的三字代码

简单的python爬虫爬取国内机场的三字代码相关推荐

最新文章

热门文章