Python selenium爬虫抓取船舶网站数据（动态页面）

很早之前就开始学习爬虫了，一直想学习爬取动态页面，正巧工作中需要用到一个船舶信息的网站，每次都是手动查询太麻烦了，昨天下午研究了一下午，总算搞透彻了，基本步骤如下：
1、启动浏览器
2、打开网页
3、模拟输入，模拟点击
4、稍等一会（很重要）
5、获取网页数据
6、清洗数据

代码分两部分，一部分保存为函数（Chrome_shipxy.py），另一部分作为程序调用函数，这样方便扩展多进程使用。

from selenium.webdriver.common.keys import Keys
from selenium import webdriver
import timedef func01(html): #拆分字符串line='';html2=[];bj=0;for j in range(0,len(html)):if bj==0 and html[j:j+1]=='<':line=line+html[j:j+1];bj=1;continueif html[j:j+1]!='<':line=line+html[j:j+1];continueif bj==1 and html[j:j+1]=='<':html2.append(line);line='';line=line+html[j:j+1];bj=1;html2.append(line);line='';return html2def func02(html2): #筛选需要信息sxzd=['si_mmsiFlag','si_shipType','si_shipStatus','si_length','si_beam','si_lat','si_lng','si_lastTime']; #国籍，类型，状态，船长，船宽，纬度，经度，最后时间wb1=[];wb2=[];for i in sxzd:bj=0;for j in html2:if i in j:wb1.append(j);bj=1;if bj==0:wb1.append('>无信息');for j in wb1:for i in range(0,len(j)):if j[i:i+1]=='>':wb2.append(j[i+1:len(j)])return wb2def func03(ship_name,wait_time): #主函数obj = webdriver.Chrome()obj.set_page_load_timeout(10)try:obj.get('http://www.shipxy.com/')obj.set_page_load_timeout(20)obj.find_element_by_id('txtKey').clear()   #用于清除输入框的内容,相当于clear()obj.find_element_by_id('txtKey').send_keys(ship_name)   #在输入框内输入Helloobj.find_element_by_id('butnQuery').send_keys(Keys.ENTER) #通过定位按钮，通过enter（回车）代替clicktime.sleep(wait_time) #让子弹飞一会儿（很重要）html = obj.page_sourcetime.sleep(2)html2=func01(html)html3=func02(html2)html3.insert(0,ship_name)except Exception as e:html3=['未获取到信息','无信息'];#print(e);finally:obj.close()obj.quit()return html3

import Chrome_shipxyif __name__=='__main__':ship_name=['SHINANO MARU','SEROJA LIMA','宝鑫通','桂翔1','嘉远3','建功308','顺恩','西马11','鑫源盛','兴达888','兴宁20','豫信货12262','忠泰'];for j in ship_name:html3=Chrome_shipxy.func03(j,5)if '无信息' in html3[1]:for i in range(6,31,2):html3=Chrome_shipxy.func03(j,i)if '无信息' not in html3[1]:breakprint(html3)

Python selenium爬虫抓取船舶网站数据（动态页面）相关推荐

python小爬虫—抓取pixabay网站的图片资源
这是一个免费下载图片的网站https://pixabay.com 这个网站有很多免费下载的图片我比较喜欢,一张一张下载我也懒得戳鼠标,所以我先搜索到我喜欢的图片分类,然后发现在doc里面的html文件 ...
用python通过selenium自动化测试抓取天猫店铺数据
用python通过selenium自动化测试抓取天猫店铺数据运行的环境在win10,软件用的是vscode.大家平常在抓取天猫店铺的时候登陆后会需要验证,我的方法是通过谷歌插件跳过天猫的登陆. 首先 ...
用爬虫抓取美联储演讲数据并分析金融政策
用python抓取美联储数据近日,笔者选择了一个任务,用爬虫抓取美联储演讲数据,并分析相关金融政策. 首先必须做的,是抓取数据. 打开美联储的网站Federal Reserve Board - Ho ...
python展示全部好友_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
python爬虫微信朋友圈怎么发文字_如何利用Python网络爬虫抓取微信朋友圈的动态（上）...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
抓取国外网站数据合法吗？法律分析
在互联网时代,数据是一种非常珍贵的资源,而获取数据的方式也越来越多样化.抓取(爬虫)国外网站数据是一种获取数据的常见方式.然而,抓取国外网站数据是否合法呢?这是一个备受争议的话题.本文将从法律.道德. ...
python爬虫好友聊天记录_利用Python网络爬虫抓取微信好友的签名及其可视化展示...
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
python抓取微信朋友圈动态_2018最全如何利用Python网络爬虫抓取微信朋友圈的动态...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
python爬虫能爬取微信密码吗_如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例...
今天我们继续focus on微信,不过这次给大家带来的是利用Python网络爬虫抓取微信好友总数量和微信好友男女性别的分布情况.代码实现蛮简单的,具体的教程如下. 相信大家都知道,直接通过网页抓取微信 ...
2018最全如何利用Python网络爬虫抓取微信朋友圈的动态
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...

Python selenium爬虫抓取船舶网站数据（动态页面）

Python selenium爬虫抓取船舶网站数据（动态页面）相关推荐

最新文章

热门文章