python+selenium的一个小蜘蛛

用selenium玩的是精准打击.
这是爬取指定汉字的笔顺拼音声音的小爬虫。速度慢，但是指向很灵活。只需要调整 yourtxt.txt 里面的
文件内容即可。

#coding:utf-8
from urllib.request import urlretrievefrom selenium import webdriver
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from time import sleep
import readdress = 'https://hanyu.baidu.com/'
shz = ' '
url = ' 'op = webdriver.FirefoxOptions()
op.add_argument("--headless")   #等效于 ———— op.set_headless()
op.add_argument("--disable-gpu")    #禁用GPU加速
driver = webdriver.Firefox(firefox_options = op)
driver.get(address)
ele = WebDriverWait(driver,10,0.2).until(ec.title_contains('百度汉语'))def getvalue(shz):try:#ele = WebDriverWait(driver,10,0.2).until(ec.title_contains('百度汉语'))trg = driver.find_element_by_id('kw')trg.clear()trg.send_keys(shz)trg = driver.find_element_by_id('su')trg.click()print(shz)except:print('程序出现错误，请调试解决后运行')exit()quit()try:trg = driver.find_element_by_id('pc--body')trg = driver.find_element_by_xpath(r'//*[@id="data-container"]/div[1]/div[1]/a')trg.click()print('有夹层')except:print('无夹层')finally:ele = WebDriverWait(driver,10).until(ec.visibility_of(driver.find_element(by=By.ID,value='pc-word-body')))trg = driver.find_element_by_xpath(r'//*[@id="word_bishun"]')       #抓取字符动画url = trg.get_attribute('src')urlretrieve(url,'./image/'+ shz + '.gif')                           #保存为以字符为名字的gif动图print(url)trg = driver.find_element_by_xpath(r'//*[@id="pinyin"]/span/a')     #抓取读音url= trg.get_attribute('url')urlretrieve(url,'./mp3/'+ shz + '.mp3')                             #保存为以字符为名字的mp3格式print(url)pinyin = driver.find_element_by_xpath(r'//*[@id="pinyin"]/span/b').textprint(pinyin)driver.back()with open('pinyi.txt','a+',encoding = ('UTF-8-sig')) as f:f.writelines(shz + ',' + pinyin + '\n')ele = WebDriverWait(driver,10,0.2).until(ec.title_contains('百度汉语'))print('抓取成功')#   main()：
txt = []
with open('yourtxt.txt','r',encoding = ('UTF-8-sig')) as f:txt = f.readlines()for i in range(len(txt)):try:print(i + 1)d = txt[i][-2]getvalue(d)except Exception as e:print(e)driver.close()
driver.quit()

python+selenium的一个小蜘蛛相关推荐

用python selenium实现一个简单的考试系统的自动做题
xuefa考试,很实用的东西,不需要废话,直接上代码: # encoding:utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') f ...
四、使用python+selenium搭建一个ppt翻译小程序（将ppt中的中文翻译为英文）
一.前言本翻译小程序功能为将ppt中的中文翻译称为英文.项目文件结构如下: 1.newppt:转换成英文之后所存的ppt: 2.oldppt:需要转换的ppt: 3.chromedriver:需要自 ...
python selenium自动化框架_一文讲透！实现一个Python+Selenium的自动化测试框架如此简单！...
首先你得知道什么是Selenium? Selenium是一个基于浏览器的自动化测试工具,它提供了一种跨平台.跨浏览器的端到端的web自动化解决方案.Selenium主要包括三部分:Selenium I ...
Python selenium —— 将你的自动化脚本打包成一个exe
写好了Python selenium脚本,到其他机器上运行,还得要在其他机器上也装一套Python的环境,尤其在你用了一些第三方库的时候,甚至还要顾及操作系统是32位还是64位,是不是很坑,如果能打成 ...
Python:Selenium和PhantomJS
Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上, ...
Python+selenium+firefox模拟登录微博并爬取数据（1
1:环境python3.5,最新 firefox,selenium-3.14.0. 本来准备用无界面的,但是感觉效果不好看出来所以先用有界面的浏览器来做.分几次来慢慢写.这节先配置好环境. 2:安装: ...
python selenium p_Python爬虫(二十一)_Selenium与PhantomJS
本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据,更多内容请参考:Python学习指南 Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试 ...
mac 搭建python+selenium+chromedriver环境
mac 搭建python+selenium+chromedriver环境有关配置默认python3,请查看:https://blog.csdn.net/qq_35098526/article/det ...
Python+Selenium自动化
2019独角兽企业重金招聘Python工程师标准>>> 1,什么是selenium selenium是一个开源的自动化测试框架,主要适用WEB测试,可以支持多种语言(Java, C# ...

python+selenium的一个小蜘蛛

python+selenium的一个小蜘蛛相关推荐

最新文章

热门文章