Alexa网站排名爬取

Python 话说是一门面向监狱编程的语言，吾等不信，前来尝试。。。。

开玩笑了~

前一段时间刚接触 Python 的时候，觉得有些不适应，特别是语法显得别扭，后来发现它和golang还是挺像的

同样的包管理调用机制：

python：
同样也是包管理机制: import requests
yum install pip
pip install  xxxx

友好一点直接上代码：代码中自带解析

值得一提的是Python的json数组处理真不方便代码中有处理

import requests    //是不是和 go使用 的import  引用包一样一样的
import datetime
import json
import sys
from bs4 import BeautifulSoup    //爬虫最常用的包def excuteSpider(url,headers,session,):   //封装的函数方式  别扭，特别是以对齐方式的语法req = session.get(url, headers=headers)bsObj = BeautifulSoup(req.text, 'html.parser')rankList = bsObj.findAll("div", {"class": "rank-index"})linkList = bsObj.findAll("span", {"class": "domain-link"})lranksub=[]llinksub=[]for rank in rankList:lranksub.append(rank.string.encode('utf-8').decode())for link in linkList:llinksub.append(link.a['href'].encode('utf-8').decode())return lranksub,llinksubif __name__=='__main__':   //主函数lrank=[]llink=[] session = requests.Session()headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0","Accept": "*/*"}  //构建头部  可以填更多的参数 模拟浏览器访问网址for i in range(1,2):  //想要多少页？if i==1:url = "http://www.alexa.cn/siterank/" else:url = "http://www.alexa.cn/siterank/"+str(i)   //下一页lranksub,llinksub=excuteSpider(url, headers, session)lrank+=lranksubllink+=llinksubjsontext = {"version":"1.0.0","domains":[]}   //创建 json数据for i in range(len(lrank)):jsontext["domains"].append({"id":lrank[i], "domain":llink[i]})  //追加cur_dir = sys.path[0]    //获取当前路径work_dir = cur_dir + '/../db/alexa-cn/'    //到上一级路径  /../now = datetime.datetime.now()name = datetime.datetime.strftime(now,'%Y%m%d%H%M%S.json')  //时间格式化chinazfilepath = work_dir+namewf = open(chinazfilepath, 'w')wf.write(json.dumps(jsontext,indent=4,ensure_ascii=False))  //jso格式化输入文件wf.close()print('ok')

爬取结果：

Alexa网站排名爬取相关推荐

[Python]网站数据爬取任务
Python爬虫作业:网站数据爬取任务从以下网址(包括但不限于下列网络或应用)中爬取数据,以核实的形式存储数据,并进行分析(不一定是计算机角度的分析,可写分析报告),或制作词云图. 一.文本数据酷 ...
Python3--爬取数据之911网站信息爬取
上代码: #*************************************************** #这份代码用于从911网站上爬取信息 #其中的IP.txt文件为我本地存IP的文件 ...
实战 | WebMagic 爬取某保险经纪人网站经纪人列表之网站列表爬取
小小,这次开始使用webmagic爬取相关的网站,这里爬取的网站为 https://member.vobao.com/ 将会对该网站进行爬取,并进行实战. 分析网站打开devtool查看网站相关的 ...
爬虫实战：链家租房数据爬取，实习僧网站数据爬取
前面已经进行了爬虫基础部分的学习,于是自己也尝试爬了一些网站数据,用的策略都是比较简单,可能有些因素没有考虑到,但是也爬取到了一定的数据,下面介绍两个爬过的案例. 爬虫实战链家网站爬取实习僧网站爬 ...
基于python的数据爬取与分析_基于Python的网站数据爬取与分析的技术实现策略
欧阳元东摘要:Python为网页数据爬取和数据分析提供了很多工具包.基于Python的BeautifulSoup可以快速高效地爬取网站数据,Pandas工具能方便灵活地清洗分析数据,调用Python ...
请访问豆瓣电影网站，爬取4~10部电影信息（电影名、导演、演员、海报url链接，预报片视频链接)，并结合GUI界面展现电影信息，并可以根据选择的电影名，下载指定预告片视频到本地并显示预告片。GUI
请访问豆瓣电影网站,爬取4~10部电影信息(电影名.导演.演员.海报url链接,预报片视频链接),并结合GUI界面展现电影信息,并可以根据选择的电影名, 下载指定预告片视频到本地并显示预告片.GUI ...
【EduCoder答案】Scrapy爬虫（二）热门网站数据爬取
简介答案查询的入口网页版并不是所有的关卡都有答案,有些只有部分关卡有不要直接复制答案哦 Scrapy爬虫(二)热门网站数据爬取 >>>查看第1关:猫眼电影排行TOP100信息 ...
任选一小说网站，爬取任意一部小说，以记事本的形式保存。
1.任选一小说网站,爬取任意一部小说,以记事本的形式保存. 第一种情况(网址可能已失效): import requests from lxml import etree def get_url():u ...
Python爬虫——简单爬取（从网站上爬取一本小说）
从笔下文学网站爬取一本名为<剑来>的小说,作者为烽火戏诸侯网站网址如下:https://www.bxwxorg.com/ ①通过查看网页源码找规律(在此之前请弄清楚网站允许爬取的部分,就 ...

Alexa网站排名爬取

Alexa网站排名爬取相关推荐

最新文章

热门文章