python3爬虫模拟登录_python3爬虫——模拟登录丁香园并提取信息

上一篇：模拟登录QQ邮箱

ps:在进行模拟登录时，输入账号密码后，会弹出验证码，目前还没有解决模拟验证，所以本教程需要进行人工验证。

代码：

from selenium import webdriver

import time

from lxml import etree

#模拟登陆丁香园网站

browser = webdriver.Firefox()

browser.get('https://auth.dxy.cn/accounts/login?service=http://www.dxy.cn/bbs/thread/626626')

time.sleep(1)

browser.find_element_by_xpath('//*[@paneid="j_loginTab2"]').click()

time.sleep(5)

browser.find_element_by_name('username').send_keys('丁香园网站账号')

time.sleep(6)

browser.find_element_by_name('password').send_keys('丁香园网站密码')

time.sleep(3)

browser.find_element_by_xpath('//button[@class= "button"]').click()

time.sleep(18)

#得到所需得到的信息

url = browser.current_url #得到当前网址

browser.get(url)

html = browser.page_source #得到页面的html

tree = etree.HTML(html)

xpath_auth="//div[@class= 'auth']/a/text()"

xpath_level ="//div[@class='user-level-area']"

xpath_score_vote_dingdang="//div[@class='num']/a/text()"

xpath_contect="//td[@class= 'postbody']"

re_auth = tree.xpath(xpath_auth)

re_content = tree.xpath(xpath_contect)

re_three =tree.xpath(xpath_score_vote_dingdang)

re_level=tree.xpath(xpath_level)

#将提取到的信息打印出来

i =1

for auth,content,level in zip(re_auth,re_content,re_level):

print('作者:'+auth,' 级别：'+level.xpath('string(.)'),' 内容：'+content.xpath('string(.)').strip(),end=' ')

print('积分：'+re_three[i],' 得票：'+re_three[i+1],' 丁当：'+re_three[i+2]+'\n')

i = i+1```

python3爬虫模拟登录_python3爬虫——模拟登录丁香园并提取信息相关推荐

python3爬虫——模拟登录丁香园并提取信息
上一篇:模拟登录QQ邮箱 ps:在进行模拟登录时,输入账号密码后,会弹出验证码,目前还没有解决模拟验证,所以本教程需要进行人工验证. 代码: from selenium import webdrive ...
Python爬虫笔记（3）- 爬取丁香园留言
Python爬虫笔记(3)- 爬取丁香园留言爬取丁香园留言:主要用到了模拟登录爬取丁香园留言:主要用到了模拟登录 import requests, json, re, random,time fr ...
python3爬虫知乎_Python3 爬虫实例（四） -- 登录知乎
序有些网站需要用户登录,利用python实现知乎网站的模拟登录.用Cookies记录登录信息, 然后就可以抓取登录之后才能看到的信息. 知乎登录首页浏览器行为">第一.使用Fidd ...
python3爬虫及数据分析_Python3爬虫及可视化数据分析系列图文教程——大纲目录...
本文首发于:Python3爬虫及可视化数据分析系列图文教程--大纲目录 - Python量化投资www.lizenghai.com 写在最前最近更新:2019-03-28 本教程所有源码见文尾. ...
python3模拟登录_Python3.4模拟登陆例子
import urllib.request import urllib.parse import http.cookiejar #post的内容 values={ 'logon.x':'linke', ...
python3 selenium安装教程_Python3爬虫利器之Selenium的安装
Selenium是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击.下拉等操作.对于一些JavaScript渲染的页面来说,这种抓取方式非常有效.下面我们来看看Selenium的安装 ...
python3爬虫下载音乐_python3爬虫：下载网易云音乐排行榜
"' 遇到python不懂的问题,可以加Python学习交流群:1004391443一起学习交流,群文件还有零基础入门的学习资料 "' import requests import ...
python爬虫实验总结_python3爬虫总结(共4篇).docx
python3爬虫总结(共4篇) 学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛中自动登录自动发贴的脚本,写过自动收邮件的脚本,写过简单的 ...
python requests登录_python3使用requests登录人人影视网站.py
1.[代码]python3使用requests登录人人影视网站.py """ python3使用requests登录人人影视网站.py 2016年5月11日 07:33: ...

python3爬虫模拟登录_python3爬虫——模拟登录丁香园并提取信息

python3爬虫模拟登录_python3爬虫——模拟登录丁香园并提取信息相关推荐

最新文章

热门文章