#!/usr/bin/env python
# -*- coding:utf8 -*-
from selenium import webdriver  # 导入selenium模块来操作浏览器软件
import timebrowser = webdriver.Firefox(executable_path='H:/py/16/adc/adc/Firefox/geckodriver.exe')
browser.get('https://www.tmall.com/?spm=a220o.1000855.a2226mz.1.5c90c3484bZCx6')# 模拟用户操作
browser.find_element_by_xpath('//input[@id="mq"]').clear()                 # 通过xpath表达式找到输入框，clear()清空输入框里的内容
browser.find_element_by_xpath('//input[@id="mq"]').send_keys('连衣裙')     # 通过xpath表达式找到输入框，send_keys()将内容写入输入框
browser.find_element_by_xpath('//button[@type="submit"]').click()          # 通过xpath表达式找到搜索按钮,click()点击事件time.sleep(3)   # 等待3秒
browser.get_screenshot_as_file('H:/py/17/img/123.jpg')  # 将网页截图，保存到此目录neir = browser.page_source   # 获取网页内容
print(neir)browser.close()     # 关闭浏览器

#!/usr/bin/env python
# -*- coding:utf8 -*-
from selenium import webdriver  # 导入selenium模块来操作浏览器软件
import time
from scrapy.selector import Selectorbrowser = webdriver.Firefox(executable_path='H:/py/16/adc/adc/Firefox/geckodriver.exe')
browser.get('https://www.tmall.com/?spm=a220o.1000855.a2226mz.1.5c90c3484bZCx6')# 模拟用户操作
browser.find_element_by_xpath('//input[@id="mq"]').clear()                 # 通过xpath表达式找到输入框，clear()清空输入框里的内容
browser.find_element_by_xpath('//input[@id="mq"]').send_keys('连衣裙')     # 通过xpath表达式找到输入框，send_keys()将内容写入输入框
browser.find_element_by_xpath('//button[@type="submit"]').click()          # 通过xpath表达式找到搜索按钮,click()点击事件time.sleep(3)   # 等待3秒
browser.get_screenshot_as_file('H:/py/17/img/123.jpg')  # 将网页截图，保存到此目录neir = browser.page_source   # 获取网页内容
# print(neir)
gl_neir = Selector(text=neir)
dedao = gl_neir.css('title::text').extract()
print(dedao)browser.close()     # 关闭浏览器

#!/usr/bin/env python
# -*- coding:utf8 -*-
from selenium import webdriver  # 导入selenium模块来操作浏览器软件
import time
from scrapy.selector import Selectorbrowser = webdriver.Firefox(executable_path='H:/py/16/adc/adc/Firefox/geckodriver.exe')
browser.get('https://www.oschina.net/blog')time.sleep(3)       # 等待3秒
for i in range(3):  # 滚动3次滚动条js = 'window.scrollTo(0,document.body.scrollHeight); var lenofpage=document.body.scrollHeight; return lenofpage'browser.execute_script(js)  # 执行js语言滚动滚动条time.sleep(3)neir = browser.page_source   # 获取网页内容
# print(neir)
gl_neir = Selector(text=neir)
dedao = gl_neir.css('title::text').extract()
print(dedao)# browser.close()     # 关闭浏览器

#!/usr/bin/env python
# -*- coding:utf8 -*-
from selenium import webdriver  # 导入selenium模块来操作浏览器软件
from scrapy.selector import Selector#设置请求网页不加载图片，提高请求效率
chrome_options = webdriver.ChromeOptions()                          #创建谷歌浏览器设置对象
prefs = {"profile.managed_default_content_settings.images": 2}      #设置谷歌浏览器不加载图片
chrome_options.add_experimental_option('prefs', prefs)              #将不加载图片添加到浏览器browser = webdriver.Chrome(executable_path='H:/py/16/adc/adc/Firefox/chromedriver.exe', chrome_options=chrome_options)
# browser.set_page_load_timeout(40) #设置页面最长加载时间为40s
browser.get('https://www.taobao.com/')neir = browser.page_source   # 获取网页内容
# print(neir)
gl_neir = Selector(text=neir)
dedao = gl_neir.css('title::text').extract()
print(dedao)# browser.close()     # 关闭浏览器