python- 机器人抓取谷歌地图数据

# encoding=utf-8
import timefrom GoogleData1 import  getGG
import pymysql# 打开数据库连接 我用的是mysql
# 下边是数据库连接的代码,你可以换成你自己的
# host:就是你的数据库IP地址
db = pymysql.connect(host='',port=3306,user='wt',password='123456',db='wt-dev',charset='utf8')# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()# 使用 execute()  方法执行 SQL 查询try:cursor.execute("SELECT name,id,parent_id from  T_gis_destination_comp_jxd_map where GGMap_translate is  null  ")
except Exception as e:print(e)# 使用 fetchone() 方法获取单条数据.
data = cursor.fetchall()
#循环data 拿数据
for row in data:GGname = ''name = row[0]id = row[1]parentID = row[2]GGname = GGname+name+","cursor.execute("SELECT name,parent_id from  T_gis_destination_comp_jxd where destination_id =%s ", (parentID))#cursor.fetchone()  fetchone方法可以获取单条数据value = cursor.fetchone()GGname = GGname + value[0] + ","print(GGname)#getGG()这个方法是我自己定义的 用机器人把数据自动输入到页面并且放回值 代码 在下边valueName=getGG(GGname)#入库cursor.execute("update T_gis_destination_comp_jxd_map set GGMap_translate=%s where id=%s", (valueName, id))print("Database version : %s " % valueName)#提交db.commit()
# 关闭数据库连接
db.close()# if __name__ == '__main__':
#  name="Montreal Area"
#  value=GoogleData1.getGG(name)
#  print(value)

-------------------------------------------------------------------------------------------------

# encoding=utf-8from selenium import webdriver
import timefrom selenium.common.exceptions import NoSuchElementException
#我用的是Google浏览器,加载格式 百度搜一下就可以
driver = webdriver.Chrome('D:/chromedriver/chromedriver.exe')def getGG( name ):#implicitly_wait隐式等待时间最长等待10秒driver.implicitly_wait(10)driver.get("https://www.google.com/maps")time.sleep(3)
# 获取输入框的内容driver.find_element_by_id("searchboxinput").send_keys(name)value = driver.find_element_by_id("searchboxinput").get_attribute("value")#print(value)driver.find_element_by_id("searchbox-searchbutton").click()try:valueName = driver.find_element_by_xpath("//*[@id='pane']/div/div[1]/div/div/div[1]/div[3]/div[1]/h1").get_attribute('textContent')except NoSuchElementException as e:return "no"return valueName#print(valueName)# url = driver.current_url# print(url)  # 打印当前的url
# 获取浏览器名称#print(driver.name)if __name__ == '__main__':getGG()

python- 机器人抓取谷歌地图数据相关推荐

python爬虫抓取动态网页数据_python网络爬虫抓取ajax动态网页数据：以抓取KFC门店地址为例...
一,尝试用BeautifulSoup抓取先打开KFC网站门店列表页面:http://www.kfc.com.cn/kfccda/storelist/index.aspx 可以看到门店列表如下图: 打 ...
[Python] python + selenium 抓取京东商品数据（商品名称，售价，店铺，分类，订单信息，好评率，评论等）
目录一.环境二.简介三.京东网页分析 1.获取商品信息入口--商品列表链接获取 2.获取商品信息入口--商品详情链接获取 3.商品详情获取 4.商品评论获取四.代码实现五.运行结果六.结语 ...
python抓取百度地图数据_Python 百度地图爬虫 - 搜索数据采集
class Hot_City_Coordinates(): """获取热门城市""" def __init__(self): self.he ...
微信好友大揭秘，使用Python抓取朋友圈数据，通过人脸识别全面分析好友，一起看透你的“朋友圈”...
微信:一个提供即时通讯服务的应用程序,更是一种生活方式,超过数十亿的使用者,越来越多的人选择使用它来沟通交流. 不知从何时起,我们的生活离不开微信,每天睁开眼的第一件事就是打开微信,关注着朋友圈里好友 ...
谷歌X最新开源任务驱动的类级别机器人抓取CaTGrasp！
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨bowen 来源丨计算机视觉life 大家好,今天给大家介绍谷歌X最新开源任务驱动的类级别机器人 ...
用python通过selenium自动化测试抓取天猫店铺数据
用python通过selenium自动化测试抓取天猫店铺数据运行的环境在win10,软件用的是vscode.大家平常在抓取天猫店铺的时候登陆后会需要验证,我的方法是通过谷歌插件跳过天猫的登陆. 首先 ...
python爬取地图地址_用Python抓取百度地图里的店名，地址和联系方式
原标题:用Python抓取百度地图里的店名,地址和联系方式每日干货好文分享丨请点击+关注欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区. 对商业智能BI.大数 ...
python爬取大众点评评论_python爬虫抓取数据小试Python——爬虫抓取大众点评上的数据 - 电脑常识 - 服务器之家...
python爬虫抓取数据小试Python--爬虫抓取大众点评上的数据发布时间:2017-04-07
Python中使用PhantomJS抓取Javascript网页数据
有些网页不是静态加载的,而是通过javascirpt函数动态加载网页,比如下面这个网页,表格中的看涨合约和看跌合约的数据都是通过javascirpt函数从后台加载.仅仅使用beautifulsoup并 ...
手把手教你入侵网站修改数据_手把手教你使用Python抓取QQ音乐数据（第四弹）...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...

python- 机器人抓取谷歌地图数据

python- 机器人抓取谷歌地图数据相关推荐

最新文章

热门文章