登录并爬取评论和用户内容

学习目标

4.1 实战大项目

实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容。
丁香园论坛：http://www.dxy.cn/bbs/thread/626626#626626 。
参考资料：https://blog.csdn.net/naonao77/article/details/88316754 (Task7的参考资料，任务结束之后再发出来)

1、打开丁香园登录地址是二维码，无法输入账号密码登录

2、用了个简单的方法

使用selenium点击返回电脑登录，进入账号密码登录页面

3、后面就一样的方式去登陆，再获取内容，附代码

from selenium import webdriver
import time
from lxml import etree
import requestsdef login():browser = webdriver.Chrome()browser.get('https://auth.dxy.cn/accounts/login')#点击返回电脑登录browser.find_element_by_xpath('/html/body/div[2]/div[2]/div[1]/a[2]').click()#使用账号密码登录username = browser.find_element_by_name('username')username.send_keys('*******')password = browser.find_element_by_name('password')password.send_keys('********')browser.find_element_by_xpath('//*[@id="user"]/div[1]/div[3]/button').click()time.sleep(5)cookie = browser.get_cookies()cookie_dict = {i['name']:i['value'] for i in cookie}return cookie_dictdef get_content():cookies = login()url = 'http://www.dxy.cn/bbs/thread/626626#626626'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}response = requests.get(url=url,headers=headers,cookies=cookies)html = etree.HTML(response.text)contents = html.xpath('//td[@class="postbody"]')#element类型列表users = html.xpath('//div[@class="auth"]')for i in range(0,len(contents)):content1 = contents[i].xpath('string(.)').strip()user1 = users[i].xpath('string(.)')print(user1+':'+content1)print('='*100)result = user1+':'+content1file_content = open('testing.txt','w',encoding="utf-8")file_content.write(result+"\n")file_content.write('*'*80 +"\n")file_content.close()if __name__ == '__main__':get_content()

登录并爬取评论和用户内容相关推荐

python爬虫豆瓣评论实验报告_用python实现豆瓣短评通用爬虫(登录、爬取、可视化分析)...
原创技术公众号:bigsai 前言在本人上的一门课中,老师对每个小组有个任务要求,介绍和完成一个小模块.工具知识的使用.然而我所在的组刚好遇到的是python爬虫的小课题. 心想这不是很简单嘛,搞啥 ...
python爬取新浪微博内容_python新浪微博爬虫，爬取微博和用户信息 (含源码及示例)...
[实例简介] 这是新浪微博爬虫,采用python+selenium实现. 免费资源,希望对你有所帮助,虽然是傻瓜式爬虫,但是至少能运行.同时rar中包括源码及爬取的示例. 参考我的文章: http:/ ...
爬虫篇——selenium（webdriver）进行用户登录并爬取数据)
爬虫篇--selenium(webdriver)进行用户登录并爬取数据摘要 (一)创建browser对象 (二)用户登录 (三)数据爬取摘要本文主要介绍了如何通过selenium使用Chorme ...
写了一个Windows服务，通过C#模拟网站用户登录并爬取BUG列表查询有没有新的BUG，并提醒我...
写了一个Windows服务,通过C#模拟网站用户登录并爬取BUG列表查询有没有新的BUG,并提醒我 1.HttpUtil工具类,用于模拟用户登录以及爬取网页: using System; using ...
爬取京东商城用户评论(福利)
我们常常看到一些有关充气娃娃的表情包和图片或新闻,但是这种东西很少会像一些小视频一些相互交流,大家可能都是偷摸玩耍.所以猪哥相信其实大部分同学并没有亲身体验过充气娃娃到底是什么感觉(包括猪哥),所以猪 ...
educoder python入门之基础语法-用python实现豆瓣短评通用爬虫(登录、爬取、可视化分析)...
原创技术公众号:bigsai 前言在本人上的一门课中,老师对每个小组有个任务要求,介绍和完成一个小模块.工具知识的使用.然而我所在的组刚好遇到的是python爬虫的小课题. 心想这不是很简单嘛,搞啥 ...
豆瓣用python写的网站_用python写一个豆瓣短评通用爬虫(登录、爬取、可视化)
原创技术公众号:bigsai,本文在1024发布,祝大家节日快乐,心想事成. @ 前言在本人上的一门课中,老师对每个小组有个任务要求,介绍和完成一个小模块.工具知识的使用.然而我所在的组刚好遇到的是 ...
python爬取豆瓣短评_用python实现豆瓣短评通用爬虫(登录、爬取、可视化分析)
原创技术公众号:bigsai 前言在本人上的一门课中,老师对每个小组有个任务要求,介绍和完成一个小模块.工具知识的使用.然而我所在的组刚好遇到的是python爬虫的小课题. 心想这不是很简单嘛,搞啥 ...
用python写一个豆瓣短评通用爬虫(登录、爬取、可视化)！
前言在本人上的一门课中,老师对每个小组有个任务要求,介绍和完成一个小模块.工具知识的使用.然而我所在的组刚好遇到的是python爬虫的小课题. 心想这不是很简单嘛,搞啥呢?想着去搞新的时间精力可能不 ...

登录并爬取评论和用户内容

4.1 实战大项目

登录并爬取评论和用户内容相关推荐

最新文章

热门文章

登录并爬取评论和用户内容

**4.1 ** 实战大项目

登录并爬取评论和用户内容相关推荐

最新文章

热门文章

4.1 实战大项目