前言

一、爬虫是什么？

网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

二、使用步骤

1.引入库

代码如下（示例）：

import xlwt
import requests
import re
from bs4 import BeautifulSoup
import time

2.实代码

代码如下（示例）：

import xlwt
import requests
import re
from bs4 import BeautifulSoup
import time
def main():teamname = input('请输入你想要查询的球队名称:')url = 'https://nba.hupu.com/players/' + str(teamname)#获取网页的链接datalist = get_data(url)saveData(datalist,teamname)
def get_data(url):                 #抓取网页数据datalist = []datatitle = []headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}html = requests.get(url,headers).text #bs = BeautifulSoup(html,'html.parser')           #利用BeautifulSoup解析网页for item in bs.find_all('tr'):data = []i = 0for items in item.find_all('td'):i += 1data.append(items.string)if i == 2:for itemss in items.find_all('b'):for itemsss in itemss.find_all('a'):data.append(itemsss.string)datalist.append(data)                        #将数据以列表的形式返回return datalist
def saveData(datalist,teamname):workbook = xlwt.Workbook(encoding='utf-8')          #将数据以excel的文件保存worksheet = workbook.add_sheet('sheet1')for i in range(0,len(datalist[0])-2):worksheet.write(0,i,datalist[0][i+1])for k in range(0,len(datalist)-1):for j in range(0,6):worksheet.write(k+1,j,datalist[k+1][j+2])workbook.save(str(teamname) + '.xls')
if __name__ == "__main__":main()print('爬虫完毕！')

总结

以上内容就是今天的爬虫内容啦！
这个是我加强版的爬虫！欢迎大家来观赏

python爬虫加强版！！！！想爬哪个队伍就爬那个相关推荐

python爬虫什么意思-这样学Python爬虫，想爬什么爬什么
原标题:这样学Python爬虫,想爬什么爬什么你知道怎么学爬虫吗?正确的入门姿势在这里!只要学好了Python爬虫,真的是可以想爬什么爬什么哟,像什么美女图片啦,美食图片啦,美景图片啦.(小编可不知 ...
Python爬虫：最牛逼的 selenium爬取方式！
Python爬虫:最牛逼的 selenium爬取方式! 作为一个男人在最高光的时刻这是小编准备的python爬虫学习资料,加群:700341555即可免费获取! Python爬虫:最牛逼的 sel ...
Python爬虫:运用多线程、IP代理模块爬取百度图片上小姐姐的图片
Python爬虫:运用多线程.IP代理模块爬取百度图片上小姐姐的图片 1.爬取输入类型的图片数量(用于给用户提示) 使用过百度图片的读者会发现,在搜索栏上输入关键词之后,会显示出搜索的结果,小编想大多 ...
Python爬虫 | 利用python爬虫获取想要搜索的数据
这篇文章主要介绍了利用Python爬虫采集想要搜索的信息(利用某du的接口实现)并且处理掉它的反爬手段,文中示例代码很详细,具有一定的学习价值,感兴趣的小伙伴快来一起学习吧. ☀️新人小白博主
Python爬虫实例 wallhaven网站高清壁纸爬取。
文章目录 Python爬虫实例 wallhaven网站高清壁纸爬取一.数据请求 1.分析网页源码 2.全网页获取二.数据处理 1.提取原图所在网页链接 2.获取高清图片地址及title 三.下载图 ...
python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取
python爬虫–Scrapy框架–Scrapy+selenium实现动态爬取前言本文基于数据分析竞赛爬虫阶段,对使用scrapy + selenium进行政策文本爬虫进行记录.用于个人爬虫学习记 ...
Python爬虫之scrapy框架360全网图片爬取
Python爬虫之scrapy框架360全网图片爬取在这里先祝贺大家程序员节快乐,在此我也有一个好消息送给大家,本人已开通了微信公众号,我会把资源放在公众号上,还请大家小手动一动,关注过微信公众号, ...
Python爬虫系列之抖音热门视频爬取
Python爬虫系列之抖音热门视频爬取主要使用requests库以及手机抓包工具去分析接口该demo仅供参考,已经失效,需要抖音2019年5月最新所有接口请点击这里获取抖音资源获取接口文档请点击 ...
python爬虫动态加载页面_如何爬动态加载的页面？ajax爬虫你有必要掌握
通过前面几期Python爬虫的文章,不少童鞋已经可以随心所欲的爬取自己想要的数据,就算是一些页面很难分析,也可以用之前介绍的终极技能之「Selenium」+「Webdriver」解决相关问题,但无奈这 ...
Python爬虫解决异步加载问题--以爬取PEXELS图片为例
第一次尝试爬取->[Python爬虫]爬虫实例:三种方式爬取PEXELS图片在爬取PEXELS时,遇到了这样问题: 页面使用Ajax的异步加载技术来实现分页,所以通过request.text无 ...

python爬虫加强版！！！！想爬哪个队伍就爬那个

前言

一、爬虫是什么？

二、使用步骤

1.引入库

2.实代码

总结

python爬虫加强版！！！！想爬哪个队伍就爬那个相关推荐

最新文章

热门文章