1 #!/user/bin env python

2 #author:Simple-Sir

3 #time:2019/7/25 21:16

4 #爬取中国天气网数据

5

6 importrequests,html5lib7 from bs4 importBeautifulSoup8 from pyecharts.charts import Bar #官方已取消 pyecharts.Bar 方式导入

9 from pyecharts importoptions10 from pyecharts.globals importThemeType11 from datetime importdatetime12

13 WEARTHER_DATE =[] #城市天气数据列表

14

15 defurlText(url):16 '''

17 获取网页HTML代码，并解析成文本格式18 :param url: 网页url地址19 :return: 解析之后的html文本20 '''

21 headers ={22 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

23 }24 respons = requests.get(url, headers=headers) #获取网页信息

25 text = respons.content.decode('utf-8') #解析网页

26 returntext27

28 defgetDiv(url,area):29 '''

30 获取需要的html标签：城市、最高温度31 :param url:32 :param area: 区域：全国、全省(四川) 0:全国、其他任意值：全市33 :return:34 '''

35 text =urlText(url)36 #soup = BeautifulSoup(text,'lxml') # 港澳台html中table标签解析错误

37 soup = BeautifulSoup(text, 'html5lib') #html5lib 容错性比lxml高

38 conMidtab = soup.find_all('div',class_="conMidtab")[1] #获取“明天”的天气

39 if area == '四川':40 #获取四川所有城市天气

41 trs = conMidtab.find_all('tr')[2:]42 for tr intrs:43 tds = tr.find_all('td')44 city_td =tds[0]45 city = list(city_td.stripped_strings)[0] #区县

46 temp_td = tds[-5] #倒数第5个td标签

47 temp = list(temp_td.stripped_strings)[0] #最高温度

48 print('正在获取 {} 的最高气温:{}'.format(city, temp))49 WEARTHER_DATE.append({'城市': city, '最高温度': int(temp)})50 else:51 #获取全国城市天气

52 tables = conMidtab.find_all('table')53 for t intables:54 trs = t.find_all('tr')[2:]55 for index, tr inenumerate(trs):56 tds = tr.find_all('td')57 if index ==0:58 city_td = tds[1] #city_td = tds[-8] # 港澳台格式错误

59 else:60 city_td =tds[0]61 city = list(city_td.stripped_strings)[0] #区县

62 temp_td = tds[-5] #倒数第5个td标签

63 temp = list(temp_td.stripped_strings)[0] #最高温度

64 print('正在获取 {} 的最高气温:{}'.format(city,temp))65 WEARTHER_DATE.append({'城市': city, '最高温度': int(temp)})66

67

68 #可视化数据，对城市温度排名

69 #def getRownum(data):

70 #max_temp = data['最高温度'] # 把列表里的每一项当作参数传进来,再获取“最高温度”这一项的值

71 #return max_temp

72 #WEARTHER_DATE.sort(key=getRownum) # 功能和它一样：WEARTHER_DATE.sort(key=lambda data:data['最高温度'])

73

74 defmain():75 city_list =['hb','db','hd','hz','hn','xb','xn','gat','sichuan']76 getcity = input('您要获取“全国”还是“四川”的最高温度排名？\n')77 if getcity=='四川':78 url = 'http://www.weather.com.cn/textFC/{}.shtml'.format(city_list[-1])79 getDiv(url,getcity)80 else:81 for cl in city_list[:-1]:82 url = 'http://www.weather.com.cn/textFC/{}.shtml'.format(cl)83 getDiv(url,getcity)84 print('正在对天气温度进行排序处理...')85 WEARTHER_DATE.sort(key=lambda data: int(data['最高温度'])) #对列表中的字典数据排序,温度从低到高

86 WEARTHER_DATE.reverse() #把对列表反转，温度从高到低

87 rownum = WEARTHER_DATE[:10] #获取最高温度排名前十的城市

88 print('正在绘制图表...')89 #分别获取城市、温度列表

90 #原始方法：

91 #citys=[]

92 #temps=[]

93 #for i in rownum:

94 #citys.append(i['城市'])

95 #temps.append(i['最高温度'])

96

97 #高端方法：

98 citys = list(map(lambda x: x['城市'], rownum)) #使用map分离出城市

99 temps = list(map(lambda x: x['最高温度'], rownum)) #使用map分离出最高温度

100 #通过使用pyecharts的Bar可视化数据，附官方中文API地址：https://pyecharts.org/#/

101 bar = Bar(init_opts = options.InitOpts(theme=ThemeType.DARK)) #对表格添加主题

102 bar.add_xaxis(citys)103 bar.add_yaxis('',temps)104 tim = datetime.now().strftime('%Y-%m-%d')105 bar.set_global_opts(title_opts={'text':'中国天气网 {} 城市明日最高温度排名前十({})'.format(getcity,tim)})106 bar.render('中国天气网城市最高温度排名.html')107 print('图表绘制已完成，结果已写入文件，请查看。')108 if __name__ == '__main__':109 main()