Python3--baby网的数据爬取

上代码：

'''
本代码用来爬取https://www.babyment.com/yingwenming/kaitou.php?start_letter=A&page=1的信息
'''import requests,csv,time,random
from bs4 import BeautifulSoup
from fake_useragent import UserAgent#获取ip列表
def get_ip_list():    f=open('IP.txt','r')    ip_list=f.readlines()    f.close()    return ip_list    #从IP列表中获取随机IP
def get_random_ip(ip_list):    proxy_ip = random.choice(ip_list)    proxy_ip=proxy_ip.strip('\n')    proxies = {'http': proxy_ip}    return proxies #功能：将信息写入文件
def write_file(filePath,row):      with open(filePath,'a+',encoding='utf-8',newline='') as csvfile:      spanreader = csv.writer(csvfile,delimiter='|',quoting=csv.QUOTE_MINIMAL)      spanreader.writerow(row) #解析baby网
def get_EnNames_list(url,ip_list):print('输入进来的url为：{}'.format(url))#获取随机IP，headers防止ip被封headers = {'User-Agent':str(UserAgent().random)}proxies = get_random_ip(ip_list)try:req = requests.get(url=url,headers=headers,proxies=proxies,timeout=10)except:print('运行出错10秒后重新运行')time.sleep(10)headers = {'User-Agent':str(UserAgent().random)}proxies = get_random_ip(ip_list)req = requests.get(url=url,headers=headers,proxies=proxies,timeout=10)#在利用find_all()注意要准确定位soup = BeautifulSoup(req.text,'lxml')content = soup.find('table',class_='table')content = content.find('tbody')content = content.find_all('tr')name = []#列表中没有find_all()方法，故需要利用for语句for each in content:name.append(each.find_all('b')[0].get_text())return name#获取baby网中所有的的英文名
def get_EnNames(letter,ip_list):for number in range(1,100):url = 'https://www.babyment.com/yingwenming/kaitou.php?start_letter={}&page={}'.format(letter,number)#一个网页一个网页的获取我们需要的英文名name = get_EnNames_list(url,ip_list)#当page遇到最大值时，name就会为空，我们利用这一点进行切换，进入下一个字母的爬取if not name:print('{}开头的英文名共{}个'.format(letter,number-1))breakfor each in name:#将一个列表分为多个列表，从而实现换行a=[]a.append(each)write_file('A-Z.csv',a)if __name__ == "__main__":ip_list = get_ip_list()for letter in 'ABCDEFGHIJKLMNOPQRSTUVWXYZ':get_EnNames(letter,ip_list)

Python3--baby网的数据爬取相关推荐

python爬人人贷代码视频_【IT专家】人人贷网的数据爬取(利用python包selenium)
本文由我司收集整编,推荐下载,如有疑问,请与我司联系人人贷网的数据爬取(利用 python 包 selenium ) 2016/12/31 0 记得之前应同学之情,帮忙爬取人人贷网的借贷人信息,综合 ...
网贷数据爬取及据分析
关于数据来源本项目写于2017年七月初,主要使用Python爬取网贷之家以及人人贷的数据进行分析. 网贷之家是国内最大的P2P数据平台,人人贷国内排名前二十的P2P平台. 源码地址数据爬取抓包分 ...
python如何爬虫股票数据_简单爬虫：东方财富网股票数据爬取(python_017)
需求:将东方财富网行情中心的股票数据爬取下来,包括上证指数.深圳指数.上证A股.深圳A股.新股.中小板.创业板等一.目标站点分析东方财富网的行情中心页面包含了所有股票信息.在左侧的菜单栏中包含了 ...
金投网煤炭数据爬取-精进版
金投网数据爬取-加强版注:博主经过一个暑假的游手好闲,学习到了xpath及一些其他的有意思的小东西.对于之前爬取金投网的课题有了一些新的思路,特此卷土重来,让我们开始吧! 目录标题金投网数据爬取- ...
人人贷网的数据爬取（利用python包selenium）
记得之前应同学之情,帮忙爬取人人贷网的借贷人信息,综合网上各种相关资料,改善一下别人代码,并能实现数据代码爬取,具体请看我之前的博客:http://www.cnblogs.com/Yiutto/p/5 ...
爬虫：东方财富网股票数据爬取
前言因为东方财富网的Js限制,第一页很好爬取,但是第二页开始的网页地址并没有改变,看了下xpath页面元素也和第一页没什么区别,所以只好曲线救国,用selenium找到"下一页" ...
爬虫实例：链家网房源数据爬取
初接触python爬虫,跟着视频学习一些很基础的内容,小小尝试了一下,如有错误感谢指正. 库和方法介绍: (1)requests requests是python的工具包,用于发出请求,,是用来获取网站 ...
Python：好租网商务楼数据爬取
前言: 爬的方法和以前房天下类似,只是在使用next_sibling的时候一直不成功,所以先找了parent然后再找儿子的方式曲线救国解决了. 因为我的需求只是名字.区域.地址和楼层四个,所以参数不多 ...
python爬虫和医学数据_Python爬虫入门教程 24-100 微医挂号网医生数据抓取
1. 微医挂号网医生数据写在前面今天要抓取的一个网站叫做微医网站,地址为 https://www.guahao.com ,我们将通过python3爬虫抓取这个网址,然后数据存储到CSV里面,为后面的 ...

Python3--baby网的数据爬取

Python3--baby网的数据爬取相关推荐

最新文章

热门文章