爬取墨迹天气信息用于实际生产（为了展示稍有修改）

# -*- coding: UTF-8 -*-
# @Time :2021/2/8 9:41
# @Author :Liuzheng
# @Email :1540234613@qq.comimport pymysql
import requests
import json
import  datetime
# from fake_useragent import UserAgent
requests.DEFAULT_RETRIES = 100#增加重试连接次数
s = requests.session()
s.keep_alive = False#关闭多余连接
requests.packages.urllib3.disable_warnings()
from lxml import etree
from sqlalchemy import create_engine
import pandas as pddef get_data():# 访问详情界面# headers2 = {#     "Cookie": "JSESSIONID=13pdj2jnl5is0; JSESSIONID=4r2rv0b4ns8qj; com.topsec.sysTheme=default; com.topsec.sid=33fc1ead-68f1-11eb-8d23-890e153d9326/2887458053/525600/1644203073348/zhihui2020/0/1218972907; com.topsec.licence.report=true; com.topsec.tsm.userName=zhihui2020; com.topsec.tsm.operations=/portal/-/; com.topsec.tsm.adminRole=false; com.topsec.tsm.name=%25E6%2599%25BA%25E6%2585%25A7%25E5%259F%258E%25E5%25B8%2582; department=; com.topsec.portal.loginTime=1612667073396"# }session2 = requests.session()res2 = session2.get("https://tianqi.moji.com/", verify=False)# print(res2.text)html_xml = etree.HTML(res2.text)# print(html_xml)#获取天气信息tqzk=html_xml.xpath("//div[@class='forecast clearfix']/ul[@class='days clearfix'][1]/li[2]/text()")[1].strip()wd=html_xml.xpath("//div[@class='forecast clearfix']/ul[@class='days clearfix'][1]/li[3]/text()")[0].strip()f=html_xml.xpath("//div[@class='forecast clearfix']/ul[@class='days clearfix'][1]/li[4]/em/text()")[0].strip()j=html_xml.xpath("//div[@class='forecast clearfix']/ul[@class='days clearfix'][1]/li[4]/b/text()")[0].strip()print(tqzk,wd,f,j)# 增加一列日期数据now = datetime.datetime.now()rq = now.strftime("%Y-%m-%d %H:%M:%S")# print(gjtj)# conn = pymysql.connect('*', '*', '*', '*', 3306)# cur = conn.cursor()# print('数据库连接成功!')## sql = """insert into wq_tqyb(tqzk,wd,f,j,rq) values (%s,%s,%s,%s,%s) """# cur.execute(sql, (tqzk,wd,f,j,rq))## conn.commit()# cur.close()get_data()

python 爬取墨迹天气预报（超简单！该代码用于实际生产）相关推荐

python使用Cookie登录网页爬取信息（超简单）
python使用Cookie登录网页爬取信息(超简单) 因为工作原因,需要爬取一个医疗行业的网站的信息,而且目标网站还要登录才给你展现完整的页面,所以有了本文-- 看了好多爬取需要登录的博客,过程不表 ...
smtp在线发送邮件_基于树莓派3B，利用爬虫、SMTP和发送邮件amp;amp;(爬取墨迹天气预报信息)...
转载请注明: 利用爬虫.SMTP和树莓派3B发送邮件&续集&(爬取墨迹天气预报信息) - 永怀一颗学徒的心 - 博客园www.cnblogs.com ZXPXBB:基于树莓派3B,利 ...
用python爬取《龙珠·超次元乱战》漫画并转化成pdf阅读
目录用python爬取<龙珠·超次元乱战>漫画并转化成pdf阅读需求描述问题分析源码获取源码查看图片下载 pdf生成注意事项运行结果用python爬取<龙珠·超次 ...
python爬取网页天气预报
python爬取网页天气预报 python版本:3.5 用到的模块: urllib xpinyin bs4.BeautifulSoup 目标:输入城市的中文名,得到该城市的天气首先,选择一个天气预报 ...
python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
php取qq空间说说id,Python爬取qq空间说说的实例代码
具体代码如下所示: #coding:utf-8 #!/usr/bin/python3 from selenium import webdriver import time import re impo ...
python爬去新浪微博_Python 超简单爬取新浪微博数据 (高级版)
新浪微博的数据可是非常有价值的,你可以拿来数据分析.拿来做网站.甚至是*.不过很多人由于技术限制,想要使用的时候只能使用复制粘贴这样的笨方法.没关系,现在就教大家如何批量爬取微博的数据,大大加快数据迁 ...
【爬虫】Python爬取电商平台评论完整代码
利用Ajax爬取淘宝评论,这里完整的补充一下,包括数据存储. 对于Ajax参数的分析,Python爬取平台评论,这篇文章分析过了这里不再重复了. 主要是完善一下代码. import time impo ...
python 知乎美女_知乎大神教你用Python爬取网站美女图，附代码！
都知道Python的抓取功能强大,可以帮我们从海量的数据中爬取所需要的进行分析.下面,就给大家分享知乎大神怎么用Python爬取高颜值美女! 1.数据源知乎话题『美女』下所有问题中回答所出现的图片 ...

python 爬取墨迹天气预报（超简单！该代码用于实际生产）

爬取墨迹天气信息用于实际生产（为了展示稍有修改）

python 爬取墨迹天气预报（超简单！该代码用于实际生产）相关推荐

最新文章

热门文章