Python3-爬虫~selenium\phantomjs\爬取XX网页电影过程中向下滚动网页问题

from selenium import webdriver
import os,timedriver=webdriver.PhantomJS()driver.get('https://movie.douban.com/typerank?type_name=%E5%89%A7%E6%83%85&type=11&interval_id=100:90&action=')
time.sleep(10)
driver.save_screenshot('douban/movie1.png')#滚动条滚动
js='document.body.scrollTop=10000'
time.sleep(3)
driver.execute_script(js)
time.sleep(10)
driver.save_screenshot('douban/movie2.png')content=driver.page_sourcewith open('douban/movie.html','w',encoding='utf-8') as f:f.write(content)driver.quit()

/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/apple/PycharmProjects/stage4/spider/2018_3_14/04scroll.py

Process finished with exit code 0

Python3-爬虫~selenium\phantomjs\爬取XX网页电影过程中向下滚动网页问题相关推荐

python3爬虫selenium+chrom爬取今日头条热点新闻保存到数据库
本人是菜鸟一枚,学了python爬虫有一段时间了,想找个网站练练手,网上搜索今日头条是动态加载的页面,用requests库,需要破as:A175DBDFDEC7024 cp: 5BFE87208254 ...
python3爬虫 selenium+pyquery爬取人才网简历实战
不废话,直接贴代码,各位看官要是觉得可以的话,麻烦点个赞~ import requests, pymysql,pyquery,time from bs4 import BeautifulSoup fr ...
python+selenium+phantomJS爬取国家地表水水质自动监测实时数据发布系统——动态网页爬虫
一.关于phantomjs 1.介绍 PhantomJS是一个为自动化而生的利器,它本质上是一个基于webkit内核的无界面浏览器,并可使用JavaScript或CoffeeScript进行编程.由于 ...
python爬取bilibili数据_python基础教程之selenium+phantomjs爬取bilibili
selenium+phantomjs爬取bilibili 首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载下载完之后解压到 ...
python3爬虫之多线程爬取英雄联盟所有皮肤图片
python3爬虫之多线程爬取英雄联盟所有皮肤图片线程不要太高,容易出错,大约用时1分钟左右. import requests import json import os import thread ...
[python爬虫] Selenium定向爬取PubMed生物医学摘要信息
本文主要是自己的在线代码笔记.在生物医学本体Ontology构建过程中,我使用Selenium定向爬取生物医学PubMed数据库的内容. PubMed是一个免费的搜寻引擎,提供生物医学 ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
python3爬虫模拟登录爬取教务系统成绩单(获取cookie操作）
前言今天来写写爬取教务系统的爬虫,此次的爬虫目的是爬取教务系统里面的成绩单,涉及到的库依旧是selenium,re,beautifulsoup,Options,今天多了个csv库用来处理爬取的数据, ...
selenium+ Phantomjs爬取动态网页
对于动态加载,Selenium+Phantomjs的强大打开网页查看网页源码(注意不是检查元素)会发现要爬取的信息并不在源码里面.Selenium+Phantomjs的强大一方面就在于能将完整的源码抓 ...
用scrapy+selenium + phantomjs 爬取vip网页,保存为json格式,写入到mysql数据库,下载图片(二)
接上一编 weipin.py文件的代码 : # -*- coding: utf-8 -*- import scrapy from weipinhui.items import WeipinhuiIte ...

Python3-爬虫~selenium\phantomjs\爬取XX网页电影过程中向下滚动网页问题

Python3-爬虫~selenium\phantomjs\爬取XX网页电影过程中向下滚动网页问题相关推荐

最新文章

热门文章