1 目标

模拟登录丁香园，并抓取页面所有人员的基本信息和回复贴子内容。

2 思路

模拟登录丁香园论坛
抓取评论和用户的个人主页链接
抓取用户个人主页信息
数据存储

3 主要的技术点

3.1 模拟登录

模拟登录元素定位基本问题不大。遇到的坑是【错误】Selenium报错：Element is not clickable at point（x, y）原因及解决办法汇总

3.2 抓取用户个人主页

我们需要先把用户个人主页网址抓出来，存为一个list，然后再依次抓取列表里面的每个网页，因为每个用户网页格式固定，所以可以实现一个循环进行批量抓取。
这里有个坑，荣誉版主的用户等级抓取跟其他的等级有所区别，所以单独用了一个try…except来实现这方面的功能需求。

4 完整代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@author: Jock
"""import time
from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
import requests
from lxml import etree
from copy import deepcopydef login_dxy(url):# 声明浏览器对象driver = webdriver.Chrome()try:# 获取网页driver.get(url)# 最大化窗口driver.maximize_window()# 设置隐式等待driver.implicitly_wait(4)driver.find_element_by_link_text('登录').click()driver.find_element_by_link_text('返回电脑登录').click()driver.find_element_by_name('username').send_keys('帐号')   # 输入你的帐号driver.find_element_by_name('password').send_keys('密码')  # 输入你的密码driver.find_element_by_class_name('button').click()time.sleep(10)  # 留出10s手动处理验证码print("登录成功")# 抓取网页信息html = driver.page_sourceprint(len(html))  # 测试爬取成功与否print(type(html))  # 测是抓取内容的类型except TimeoutException:print("Time out")print("登录失败！")except NoSuchElementException:print("No Element")print("登录失败！")if html:print("抓取成功！")driver.quit()return htmlelse:print("抓取失败！")driver.quit()return Nonedef get_user_info(url):try:user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 \(KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'headers = {'User-Agent': user_agent}r = requests.get(url, headers=headers)  # 爬取完整的网页数据r.raise_for_status()  # 如果状态不是200，引发HTTPError异常info = []t = etree.HTML(r.text)# 提取用户名info.append(t.xpath('//div[@class="banner-inner__user-id pa"]/a/text()')[0])# 提取用户等级，这里有两种情况，所以用了一个try...except进行处理try:info.append(t.xpath('//div[@class="user-level-area"]/text()')[0])except:info.append(t.xpath('//span[@class="level-wrap__level-title mr15"]/text()')[0])# 提取用户关注数、粉丝数、丁当数info.extend(t.xpath('//div[@class="follows-fans clearfix"]/div/p/a/text()'))# 提取用户帖子数、精华数、积分数、得票数info.extend(t.xpath('//div[@class="main-nav-inner"]/ul/li/span[1]/text()'))print(info)return infoexcept:print("访问出错")return ""  # 发生异常，返回空字符串def extract_data(html):# 做好ElementTreetree = etree.HTML(html)# 列表ls_content存储发表内容ls_content = []# 以列表形式，返回所有包含发表内容的td标签ls = tree.xpath('//td[@class="postbody"]')length = len(ls)j = 0  # 记录抓取评论数for i in range(length):j += 1try:ls_content.append(''.join(ls[i].xpath('.//text()')).strip())  # 把每个td标签中的文本放入列表中except:print('抓取第{}评论出错'.format(j))continue# 获取用户个人主页网址,最后一个是抓取自己的ls_urls = tree.xpath('//div[@class="auth"]/a/@href')# 用于存储用户个人基本信息ls_user_info = []n = 0for url in ls_urls:n += 1print("现在开始抓取第{}位用户的主页：{}".format(n, url))info = get_user_info(str(url))ls_user_info.append(info)ls_total = list(zip(ls_user_info, ls_content))print(ls_total[0])print("恭喜你！成功抓取信息{}条！".format(len(ls_total)))return ls_totaldef save_data(ls_total, fpath):n = 0with open(fpath, 'a', encoding='utf-8') as f:  # 以可读可写的权限打开文件for i in ls_total:n += 1try:print("现在开始写入第{}位用户的信息".format(n))p = deepcopy(i[0])p.append(i[1])print(p)  # 测试输出s = ','.join(p) + '\n'f.write(s)  # 写入数据except:print("警告！第{}条信息写入出错！".format(n))continuedef main():url = 'http://www.dxy.cn/bbs/thread/626626#626626'fpath = r'C:\Users\admin\Desktop\丁香园用户信息.csv'html = login_dxy(url)ls_total = extract_data(html)save_data(ls_total, fpath)print("成功结束程序！")# 测试时间
def count_spend_time(func):start_time = time.perf_counter()func()end_time = time.perf_counter()time_dif = (end_time - start_time)second = time_dif%60minute = (time_dif//60)%60hour = (time_dif//60)//60print('spend ' + str(hour) + 'hours,' + str(minute) + 'minutes,' + str(second) + 'seconds')if __name__ == '__main__':count_spend_time(main)

输出：

登录成功
343440
<class 'str'>
抓取成功！
现在开始抓取第1位用户的主页：http://i.dxy.cn/profile/楼医生
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1']
现在开始抓取第2位用户的主页：http://i.dxy.cn/profile/lion000
['lion000', '丁香园准中级站友', '1', '5', '82', '299', '0', '43', '7']
现在开始抓取第3位用户的主页：http://i.dxy.cn/profile/xghrh
['xghrh', '丁香园荣誉版主', '24', '35', '413', '4423', '4', '68', '15']
现在开始抓取第4位用户的主页：http://i.dxy.cn/profile/keys
['keys', '常驻站友', '3', '1', '141', '49', '0', '8', '0']
现在开始抓取第5位用户的主页：http://i.dxy.cn/profile/楼医生
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1']
现在开始抓取第6位用户的主页：http://i.dxy.cn/profile/shilly
['shilly', '丁香园中级站友', '34', '396', '362', '2643', '3', '244', '253']
现在开始抓取第7位用户的主页：http://i.dxy.cn/profile/jrhs
['jrhs', '丁香园准中级站友', '0', '15', '361', '1577', '1', '71', '45']
现在开始抓取第8位用户的主页：http://i.dxy.cn/profile/yangwein
['yangwein', '铁杆站友', '3', '1', '216', '123', '0', '26', '9']
现在开始抓取第9位用户的主页：http://i.dxy.cn/profile/duzl
['duzl', '铁杆站友', '1', '10', '107', '291', '0', '16', '2']
现在开始抓取第10位用户的主页：http://i.dxy.cn/profile/楼医生
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1']
现在开始抓取第11位用户的主页：http://i.dxy.cn/profile/jrhs
['jrhs', '丁香园准中级站友', '0', '15', '361', '1577', '1', '71', '45']
现在开始抓取第12位用户的主页：http://i.dxy.cn/profile/shanshoujie
['shanshoujie', '常驻站友', '2', '38', '11', '46', '0', '5', '13']
现在开始抓取第13位用户的主页：http://i.dxy.cn/profile/eabee
['eabee', '铁杆站友', '3', '2', '95', '83', '0', '14', '0']
现在开始抓取第14位用户的主页：http://i.dxy.cn/profile/xghrh
['xghrh', '丁香园荣誉版主', '24', '35', '413', '4423', '4', '68', '15']
现在开始抓取第15位用户的主页：http://i.dxy.cn/profile/楼医生
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1']
现在开始抓取第16位用户的主页：http://i.dxy.cn/profile/雨叶
['雨叶', '常驻站友', '3', '1', '115', '17', '0', '1', '1']
现在开始抓取第17位用户的主页：http://i.dxy.cn/profile/mmdra
['mmdra', '入门站友', '1', '3', '217', '52', '0', '0', '1']
现在开始抓取第18位用户的主页：http://i.dxy.cn/profile/daeik
['daeik', '常驻站友', '1', '65', '-60', '90', '0', '3', '51']
现在开始抓取第19位用户的主页：http://i.dxy.cn/profile/小贤
['小贤', '常驻站友', '19', '10', '27', '123', '0', '5', '5']
现在开始抓取第20位用户的主页：http://i.dxy.cn/profile/RonnieWhite
['RonnieWhite', '铁杆站友', '20', '29', '488', '151', '0', '24', '90']
现在开始抓取第21位用户的主页：http://i.dxy.cn/profile/shunwee
['shunwee', '常驻站友', '3', '0', '101', '29', '0', '2', '0']
现在开始抓取第22位用户的主页：http://i.dxy.cn/profile/Edmond
['Edmond', '铁杆站友', '0', '18', '107', '138', '0', '20', '15']
现在开始抓取第23位用户的主页：http://i.dxy.cn/profile/紫薇1219
['紫薇1219', '常驻站友', '3', '2', '115', '49', '0', '1', '1']
现在开始抓取第24位用户的主页：http://i.dxy.cn/profile/lingguang
['lingguang', '常驻站友', '3', '0', '115', '42', '0', '1', '6']
现在开始抓取第25位用户的主页：http://i.dxy.cn/profile/lingguang
['lingguang', '常驻站友', '3', '0', '115', '42', '0', '1', '6']
现在开始抓取第26位用户的主页：http://i.dxy.cn/profile/呆子
['呆子', '铁杆站友', '21', '12', '106', '88', '0', '11', '4']
现在开始抓取第27位用户的主页：http://i.dxy.cn/profile/lingguang
['lingguang', '常驻站友', '3', '0', '115', '42', '0', '1', '6']
现在开始抓取第28位用户的主页：http://i.dxy.cn/profile/dxy_6dsqhbmq
['dxy_6dsqhbmq', '入门站友', '3', '0', '0', '0', '0', '0', '0']
(['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1'], '我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？')
恭喜你！成功抓取信息27条！
现在开始写入第1位用户的信息
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1', '我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？']
现在开始写入第2位用户的信息
['lion000', '丁香园准中级站友', '1', '5', '82', '299', '0', '43', '7', '从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm']
现在开始写入第3位用户的信息
['xghrh', '丁香园荣誉版主', '24', '35', '413', '4423', '4', '68', '15', '同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2']
现在开始写入第4位用户的信息
['keys', '常驻站友', '3', '1', '141', '49', '0', '8', '0', '该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。']
现在开始写入第5位用户的信息
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1', '谢谢上面几位的热心。这个病人从学会走路就出现症状，并且近几年发作越来越频繁，一个月有4、5次。如果说是血管迷走性晕厥，它的机理是什么？在这个病人身上如何解释？']
现在开始写入第6位用户的信息
['shilly', '丁香园中级站友', '34', '396', '362', '2643', '3', '244', '253', '不会是心因性癫痫吧？我不是专科，猜猜']
现在开始写入第7位用户的信息
['jrhs', '丁香园准中级站友', '0', '15', '361', '1577', '1', '71', '45', '倾斜试验一定先排除器质性心脏病。']
现在开始写入第8位用户的信息
['yangwein', '铁杆站友', '3', '1', '216', '123', '0', '26', '9', '1，头颅MRI示小软化灶；脑电图无殊，惊吓后晕厥30余年，婴儿时有惊厥史。先做动态脑电图排查癫痫，还有视觉诱发试验等，请神经内科会诊。2，排除神经内科问题后，行直立倾斜实验筛查血管迷走神经性晕厥。彩超排除器质性心脏病。']
现在开始写入第9位用户的信息
['duzl', '铁杆站友', '1', '10', '107', '291', '0', '16', '2', '楼医生 如果说是血管迷走性晕厥，它的机理是什么？体位改变－血液下移－Bp、HR下降－晕厥']
现在开始写入第10位用户的信息
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1', '该患者直立倾斜试验阴性。UCG无殊。实在是个棘手的病人。下步诊断、治疗方案如何，请各位同仁指点。谢谢！']
现在开始写入第11位用户的信息
['jrhs', '丁香园准中级站友', '0', '15', '361', '1577', '1', '71', '45', '动态脑电图就能排除癫痫吗?我看不能,发作时有脑电图吗?']
现在开始写入第12位用户的信息
['shanshoujie', '常驻站友', '2', '38', '11', '46', '0', '5', '13', '晕厥分类：心源性，非心源性，原因不明等三类，心源性包括心脏排血受阻，心律失常两类，非心源性包括血管神经运动失调性，脑血管疾病性，神经系统，代谢内分泌性等，所以常规检查包括心电图，超声心动图，CT，脑电图，24小时动态心电图，运动平板，心脏电生理等，但靠24小时动态心电图正常不能排除心律失常所致，必要时需要心电记录器延长监测，对于血管神经运动失调性及不明原因所致，建议行直立倾斜试验。']
现在开始写入第13位用户的信息
['eabee', '铁杆站友', '3', '2', '95', '83', '0', '14', '0', '问：这个病人智力有问题吗? 说她有30多年的发病史，多次发作时有外伤，问最严重的外伤情况如何？有无癔病的可能？？？说她婴儿时有惊厥史，说明她脑损伤病变的可能性存在，可能脑病变本身存在，也可能是惊厥后导致脑损伤。1）试用抗癫痫药物治疗，可以考虑用比较缓和的药物尝试。2）检测脑血管情况，实验用钙拮抗剂，或其他扩血管药物。']
现在开始写入第14位用户的信息
['xghrh', '丁香园荣誉版主', '24', '35', '413', '4423', '4', '68', '15', '希望下面的流程图对您的下步诊治有帮助。']
现在开始写入第15位用户的信息
['楼医生', '常驻站友', '2', '35', '168', '63', '0', '3', '1', '问：这个病人智力有问题吗? 说她有30多年的发病史，多次发作时有外伤，问最严重的外伤情况如何？有无癔病的可能？？？说她婴儿时有惊厥史，说明她脑损伤病变的可能性存在，可能脑病变本身存在，也可能是惊厥后导致脑损伤。1）试用抗癫痫药物治疗，可以考虑用比较缓和的药物尝试。2）检测脑血管情况，实验用钙拮抗剂，或其他扩血管药物。 该患者智力正常，已结婚生子。最严重的外伤是跌倒致脑出血，还有数次骨折、颜面部外伤，门牙跌落数枚。基本排除癔病可能。']
现在开始写入第16位用户的信息
['雨叶', '常驻站友', '3', '1', '115', '17', '0', '1', '1', '我认为这个病人可能是癫痫，应该发作时做脑电图']
现在开始写入第17位用户的信息
['mmdra', '入门站友', '1', '3', '217', '52', '0', '0', '1', 'Hehe!   LQTs!!!']
现在开始写入第18位用户的信息
['daeik', '常驻站友', '1', '65', '-60', '90', '0', '3', '51', '晕厥之前是否有出汗、恶心、脸色苍白等症状？晕厥持续时间？除考虑血管迷走性晕厥之外，癔病也不能除外。']
现在开始写入第19位用户的信息
['小贤', '常驻站友', '19', '10', '27', '123', '0', '5', '5', '每次晕厥后意识马上恢复,神志清楚,则考虑心血管原性可能大晕厥后意识恢复慢,有嗜睡,则中枢性可能大此患者意识恢复是否很快']
现在开始写入第20位用户的信息
['RonnieWhite', '铁杆站友', '20', '29', '488', '151', '0', '24', '90', 'LQT']
现在开始写入第21位用户的信息
['shunwee', '常驻站友', '3', '0', '101', '29', '0', '2', '0', '从病史看及发作情形看恶性心律失常所致晕厥可能性不大，鄙人认为不典型癫痫可能性较大，但也应排除迷走性晕厥，直立倾斜可以做但阳性并不能排除癫痫。可考虑用卡马西平试验性治疗。']
现在开始写入第22位用户的信息
['Edmond', '铁杆站友', '0', '18', '107', '138', '0', '20', '15', '楼医生 该患者直立倾斜试验阴性。UCG无殊。实在是个棘手的病人。下步诊断、治疗方案如何，请各位同仁指点。谢谢！楼医生，估计是查不出什么问题的，因为已经都快30多年的病史了，该有的疾病应该现出原形了，而现在却恰恰没法子找到它。既然都检查过了，也没发现有价值得的东西，而且每次发作多因惊吓引起，你看，是否就试一试“惊吓”的方法来诱发它呢？诱发的时候可以心电监护、血压监护、脑电图监测等等，相信肯定有所发现的。这也是不是办法的办法，您说呢？']
现在开始写入第23位用户的信息
['紫薇1219', '常驻站友', '3', '2', '115', '49', '0', '1', '1', '我认为癫痫的可能性最大，但的确应该先排除心源性的，可以进一步查一下。']
现在开始写入第24位用户的信息
['lingguang', '常驻站友', '3', '0', '115', '42', '0', '1', '6', '同志们呀，我认为是不是考虑一下先天性长QT综合征？这种病人可是会因为受惊吓导致晕厥甚至致死的呀！']
现在开始写入第25位用户的信息
['lingguang', '常驻站友', '3', '0', '115', '42', '0', '1', '6', '应当是一种肾上腺依赖性的，在受惊吓时肾上腺素大幅度升高，出现恶性心律失常而致晕厥。我不知道当时HOLTER检查时有没有发作？当时若有发作时的心电图最有说服力。我认为应当排除这方面的情况。必要的时候作惊吓试验，当然现场要有心电监护以及抢救措施。']
现在开始写入第26位用户的信息
['呆子', '铁杆站友', '21', '12', '106', '88', '0', '11', '4', '考虑为癫痫，建议动态脑电图，若阴性。则试用抗癫痫药']
现在开始写入第27位用户的信息
['lingguang', '常驻站友', '3', '0', '115', '42', '0', '1', '6', '应当做惊吓试验，脑电图与心电图同时监测。我想肯定会有结果的。无非是两种情况：脑源性与心源性。']
成功结束程序！
spend 0.0hours,2.0minutes,6.881398265000001seconds

5 项目后期拓展

爬取丁香园论坛上所有用户信息
思路

模拟登录丁香园论坛，选择一个大V（或者回复最多的贴子入手），爬取上面所有回复信息的用户主页url，作为初始的未访问UR集合L，采用set存储（直接去重。
调用ge_info()函数，一方面提取用户基本信息，另一方面，提取她关注的人的和关注她的人的主页URL。如果成功抓取这个用户基本信息（一个用户信息以一个元组的形式存储在集合中），则把该用户URL放入已访问集合（set)，如果抓取失败，则把改URL放入访问失败url set。
对于抓取到的新的URL做如下处理：如果这个URL不在已访问的set中，则添加到未访问的URL set，如果访问过，则直接过滤掉。
不断的重复，直到没有数据可以抓取停止程序。

爬虫入门学习（八）模拟登录丁香园论坛爬取用户信息相关推荐

java模拟登录知乎_Android（Java）模拟登录知乎并抓取用户信息
前不久.看到一篇文章我用爬虫一天时间"偷了"知乎一百万用户.仅仅为证明PHP是世界上最好的语言,该文章中使用的登录方式是直接复制cookie到代码中,这里呢,我不以爬信息为目的.仅 ...
python爬虫(四）——模拟登录丁香园
实战实战小项目:模拟登录丁香园,抓取论坛页面人员基本信息与回复帖子.丁香园论坛:http://www.dxy.cn/bbs/thread/626626#626626 思路首先把登陆方式由扫码切换为 ...
Day7-模拟登录丁香园，爬取所有用户基本信息和回复内容
最后一天了,趁着周末把DataWhale爬虫7天训练最后的task做出来了. 前几天的学习,从学习http,post和get两种请求方法开始,到学习简单urllib和requests请求一个网页进行简 ...
python3爬虫——模拟登录丁香园并提取信息
上一篇:模拟登录QQ邮箱 ps:在进行模拟登录时,输入账号密码后,会弹出验证码,目前还没有解决模拟验证,所以本教程需要进行人工验证. 代码: from selenium import webdrive ...
python3爬虫模拟登录_python3爬虫——模拟登录丁香园并提取信息
上一篇:模拟登录QQ邮箱 ps:在进行模拟登录时,输入账号密码后,会弹出验证码,目前还没有解决模拟验证,所以本教程需要进行人工验证. 代码: from selenium import webdrive ...
实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容----爬取第二步
接着上一步模拟登录操作.学了两天的session 了没有搞定登录.还是回到selenium模拟登录爬取.但是验证码这一块,没有搞定,在文中用的人工辅助登录成功.代码太丑,实在是无言面对同行. impo ...
模拟登录丁香园获取全部回复
采用selenium与xpath结合,先模拟登录再进行相关信息爬取,不过我不是仅仅把上次爬取丁香园的代码强加上去,我把取得源代码的自定义函数去掉,用了selenium的get函数,url用的是登陆后的 ...
实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容----登录第一步
哎呀呀,先一步一步的来吧,我们知道要先登录才能查看全部的信息.好吧先去注册,记住账号和密码. 2.注册好了之后,先解决登录问题,可以看到有两个登录的地方,编号1.2. 打开网页,f12,先看看登录节点 ...
模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容
丁香园直通车抓取页面链接一.首先利用selenium登录网站,此部分重点: 1.切换到账号密码表单登录,我采用了利用style将display值变为block,代码如下: js1 = 'docume ...

爬虫入门学习（八）模拟登录丁香园论坛爬取用户信息

爬虫入门学习（八）实战大项目模拟登录丁香园爬取信息