学习selenium，实现什么值得买自动登录并签到

最初想分析数据包，用requests加上登录状态的cookies发送请求来实现张大妈的自动签到功能，但怎么也抓不到签到的这个数据包，可能是写进js里了吧，将来再慢慢分析。
正好想学selenium，于是就学用selenium来实现。

环境

win7 + python3.6 + selenium + Chrome
selenium稍许有些大，国内使用官方源速度慢经常失败，建议使用国内镜像

python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

除了要安装Chrome，还需对照Chrome版本号下载相应版本的chromedriver
下载地址：http://chromedriver.storage.googleapis.com/index.html
版本号对照：https://sites.google.com/a/chromium.org/chromedriver/downloads

下载解压后得到chromedriver.exe文件，复制到windows环境变量的path包含的目录内，一般放在python安装目录里的scripts目录。（放置的目录必须包含在path内，否则无法找到运行该driver）

基础功能实现

对于浏览网页的最基本操作，不外乎打开浏览器、打开网站、找到需要的链接按钮等控件、对控件进行如点击拖拽等操作、输入文字，将这些动作与代码对照起来就更容易理解了

手动操作	程序操作	代码
打开浏览器	初始化浏览器	`browser = webdriver.Chrome()`
打开网站	浏览器加载网站	`browser.get('http://www.smzdm.com')`
找到按钮	定位按钮	`button = browser.find_element_by_class_name('按钮的class')`
点击按钮	模拟点击按钮	`button.click()`
找到输入框	定位输入框	`input = browser.find_element_by_id('输入框的id')`
输入文字	将文字发送至输入框	`input.send_keys('######')`

其中定位方法可根据需要选择class、id、css选择器等等：

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

以上这些是选择单个元素，若存在多个符合条件的也只选择第一个元素，若要选择所有符合条件的元素，应使用复数单词elements，如find_elements_by_id，这样得到的是一个列表，列表里每个元素就是符合条件的元素。

实现代码

from selenium import webdriver# 初始化浏览器
browser = webdriver.Chrome()# 加载张大妈首页
browser.get('http://www.smzdm.com')# 定位登录按钮，并模拟点击
button_login = browser.find_element_by_class_name('J_login_trigger')
button_login.click()# 点击登录按钮后，在页面生成一个包含登录框的iframe，切换至该iframe
browser.switch_to_frame('J_login_iframe')# 定位用户名和密码输入框，并键入用户名密码
username = browser.find_element_by_id('username')
password = browser.find_element_by_id('password')
username.send_keys('######')
password.send_keys('******')# 定位登录按钮，模拟点击进行登录
button_submit = browser.find_element_by_id('login_submit')
button_submit.click()# 隐式等待10s，若规定时间内后续节点未加载出来则抛出异常
browser.implicitly_wait(10)# 定位签到按钮，模拟点击完成签到
sign_button = browser.find_element_by_class_name('J_punch')
sign_button.click()# 退出浏览器
browser.quit()

注意两个地方：

点击登录后，会弹出一个登录框，这个登录框及其内部的元素通过find_element方法是无法找到的，因为这些内容都放在了一个iframe里，需要使用switch_to_frame切换到登录框所在的这个iframe
输入用户名和密码并点击登录后，页面内容会根据服务器返回的登录结果发生改变，这过程需要一定时间，而程序会继续执行去获取下一个元素，但这个元素在此时还没产生出来而产生异常，因此需要在程序获取下个元素前执行implicitly_wait()进行等待，参数为需等待的时间，若在等待时间内下个元素产生了则继续执行，若过了等待时间下个元素还未产生，则抛出异常。

继续优化

使用cookies免登录

可以调用get_cookies()将登录成功后的cookies保存下来，等下次打开网站的时候，再调用add_cookie()方法将保存的cookies写入浏览器中，这样就变成了已登录状态，无需再进行登录操作了
保存cookies

# 保存cookies
import json
with open('cookies.txt', 'w') as file:cookies = browser.get_cookies()# 将cookies编码成json格式并直接写入文件json.dump(cookies, file)

这段代码最好放在程序最后浏览器退出之前，因为在登录后立即读取的cookies很可能还是未更新的未登录状态cookies，因此在浏览器退出前再读取并保存cookies，确保保存的是已登录状态的cookies。
另外get_cookies()得到的是一个list列表，元素为单引号的字典格式，使用json.dump()可以将其格式化为双引号的标准json格式并直接写入文件。若将list列表强制转为str并存入文件中，将来读取文件为str后转回list就比较困难了，有个技巧使用eval()来进行转换。

有了登录状态的cookies后，原程序可以如下简化

from selenium import webdriver
import jsonbrowser = webdriver.Chrome()
browser.get('http://www.smzdm.com')# 读取cookies，并格式化为json
with open('cookies.txt', 'r') as file:cookies = json.load(file)# 先清空原cookies，确保不受其他内容影响
browser.delete_all_cookies()# 逐条写入每项cookie内容
for cookie in cookies:browser.add_cookie(cookie)# 刷新浏览器，使写入的cookies生效
browser.refresh()# 签到操作
button = browser.find_element_by_class_name('J_punch')
button.click()browser.quit()

注意：json.load()从文件取出的是list列表，每个元素是一个字典，而add_cookie()只接受字典类型，因此需要遍历列表将每个字典里的cookies内容添加至浏览器。

不加载图片，加快速度
打开网站的时候速度会比较慢，因为张大妈里图片实在太多，而我们的操作根本不需要加载这些图片，因此可以将浏览器设置为不加载图片模式

# 设置chrome选项为不加载图像
chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)# 根据chrome选项驱动开启浏览器
browser = webdriver.Chrome(chrome_options=chrome_options)
# 加载网页
browser.get('http://www.smzdm.com')

使用cookies免登陆签到，加载图片需要57秒，不加载图片仅需16秒即可完成。

晕死，刚写完最后一句话收到张大妈冻结账号的短信…