selenium 初体验

selenium自动获取百度搜索结果

源码：

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()

try:

browser.get('https://www.baidu.com')

input = browser.find_element_by_id('kw')

input.send_keys('Python爬虫')

input.send_keys(Keys.ENTER)

wait = WebDriverWait(browser, 10)

wait.until(EC.presence_of_all_elements_located((By.ID, 'content_left')))

print(browser.current_url)

print(browser.get_cookies())

print(browser.page_source)

finally:

browser.close()

自动调用浏览器

与此同时，终端会将获取到的结果都打印出来

声明浏览器

selenium支持多个浏览器，声明浏览器的方式如下：

源码：

from selenium import webdriver

browser = webdriver.Chrome() # 声明 chrome

browser = webdriver.Firefox() # 声明 Firefox

访问页面

源码：

from selenium import webdriver

browser = webdriver.Chrome() # 声明浏览器

browser.get('https://www.baidu.com') # 访问网页

print(browser.page_source) # 将源码打印到终端

browser.close() # 关闭浏览器

运行脚本，会看到程序自动打开浏览器访问百度，并将源码输出到了终端

查找节点

获取知乎的搜索框节点

搜索框

源码

源码：

from selenium import webdriver

browser = webdriver.Chrome() # 声明浏览器

browser.get('https://www.zhihu.com') # 访问网页

search_input = browser.find_element_by_id('Popover1-toggle') # 查找节点

print(search_input)

browser.close() # 关闭浏览器

结果

☁ crawler python3 test_selenium.py

通过pycharm，进入browser.find_element_by_id源码，可看到还有多种方式能获取节点

节点查找方法

多节点查找

多节点

源码：

from selenium import webdriver

browser = webdriver.Chrome() # 声明浏览器

browser.get('http://36kr.com/') # 访问网页

lis = browser.find_elements_by_class_name('radius') # 根据类名查找节点

print(lis)

browser.close() # 关闭浏览器

执行结果

节点交互

需求：打开百度首页，在搜索框输入“三体“，然后清空搜索框，再输入“球状闪电”，最后点击搜索按钮

相当于模拟用户的真实操作

百度搜索框

源码：

from selenium import webdriver

import time

browser = webdriver.Chrome() # 声明浏览器

browser.get('https://www.baidu.com') # 访问网页

search_input = browser.find_element_by_id('kw') # 获取搜索框

search_input.send_keys('三体') # 将文字填充到搜索框

time.sleep(2)

search_input.clear() # 清空搜索框

search_input.send_keys('球状闪电')

submit = browser.find_element_by_id('su') # 获取提交按钮

submit.click() # 点击提交按钮

time.sleep(2)

browser.close() # 关闭浏览器

节点交互

更多的节点交互请查看官方文档