python爬取微博用户关注_Paython微博根据用户名搜索爬取该用户userId

根据微博用户名搜索爬取该用户userId并返回

import urllib.request

from urllib import parse

from bs4 import BeautifulSoup

# 微博根据用户名查找userId

# userName 用户名

# pageNum 查询页数，每页20个数据。默认为第一页值为1，第二页值为2，以此类推。

def getUserId(userName, pageNum):

# 用户名需要URL编码后

html_doc = "https://s.weibo.com/user/&nickname=" + parse.quote(userName) + "&page=" + pageNum

req = urllib.request.Request(html_doc)

webpage = urllib.request.urlopen(req)

html = webpage.read()

soup = BeautifulSoup(html, 'html.parser') # 文档对象

if soup:

print("找到html")

# 第一步：抓取a标签

# 暴烈甜心小鳄鱼毛毛

for a in soup.find_all('a', class_='name'):

if a:

# 第二步：抓取a标签中用户名

rpuserName = a.get_text()

print("搜到用户名=" + rpuserName)

# 第三步：判断是否有该用户，如果有，获取该用户userId

if a.get_text(strip=True) == userName:

print("匹配到该用户")

print("用户个人主页链接=" + a['href'])

# 第四步：提取userId，然后返回

userUrl = a['href'].split("/")

print(userUrl)

if userUrl and len(userUrl) > 0:

userId = userUrl[len(userUrl) - 1]

return "userId=" + userId

else:

return "userID抓取失败"

break

else:

return "没有查找到a标签"

else:

return "没有找到数据"

if __name__ == "__main__":

userName = "用户名"

print(getUserId(userName, "1"))

python爬取微博用户关注_Paython微博根据用户名搜索爬取该用户userId相关推荐

python微博根据用户名搜索爬取该用户userId
根据微博用户名搜索爬取该用户userId并返回 import urllib.request from urllib import parsefrom bs4 import BeautifulSoup# ...
爬取笔趣阁小说，并可以搜索爬取你喜欢的小说
搜索进行爬取你自己喜欢的小说我是一个小说爱好者,喜欢看小说,这也是我学习爬虫其中的一个原因. 我喜欢看网络小说,经常需要从网上下载小说.有的还不好找,有的下载不了,如果是正在更新的小说来说,就很难下 ...
Scrapy豆瓣爬虫爬取用户以及用户关注关系
文章目录明确任务 1.新建mysql数据库以及数据表 1.1 创建数据库 1.2 创建用户信息表users 1.3 创建用户关注表user_follows 笔记一: mysql中utf8与utf8m ...
python爬取微博用户关注和粉丝的公开基本信息
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:TM0831 PS:如有需要Python学习资料的小伙伴可以加点击下 ...
python爬取微博用户关注列表_GitHub - dataabc/weibo-follow: 爬取关注列表中微博账号的微博...
爬取一个或多个指定微博用户关注列表中的微博账号,批量获取其user_id,并写入user_id_list.txt文件. 程序支持读文件,一个用户最多可以获取200个user_id,写入user_id_ ...
python爬取微博用户关注_python爬取微博用户关注和粉丝的公开基本信息
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:TM0831 PS:如有需要Python学习资料的小伙伴可以加点击下 ...
Python实现爬取移动端网页版微博用户信息及（部分）粉丝和（部分）关注信息（一）
电脑端网页版微博weibo.com的处理相对复杂,先从最简单的移动端weibo.cn开始.因为微博系统限制,移动端只能查看前20页关注和粉丝信息,所以对于关注或粉丝超过200的用户,只能获取部分粉丝和 ...
python爬虫批量抓取新浪微博用户ID及用户信息、微博内容
老师给的任务,要对批量的微博文本进行舆情分析.第一步就是数据的抓取.在网上搜了一下大多是基于手机版网页(wap/cn)的爬虫,但是我在电脑上打不开这些网站. 由于自己也是网页小白,所以就参考着别人的代 ...
Python 3.6实现单博主微博文本、图片及热评爬取
CodingGo技术社区自由的编程学习平台文章简介经常刷微博的同学肯定会关注一些有比较意思的博主,看看他们发的文字.图片.视频和底下评论,但时间一长,可能因为各种各样的原因,等你想去翻看某个博主 ...

python爬取微博用户关注_Paython微博根据用户名搜索爬取该用户userId

python爬取微博用户关注_Paython微博根据用户名搜索爬取该用户userId相关推荐

最新文章

热门文章