关于估价函数的实现-------基于python语言（网络爬虫）

估价函数是一个对特定链接进行评价的函数，符合相关规则的，进行权值的增加。而规则怎么定？权值加多少？这又是我们要讨论的问题。根据那篇论文，我们可以知道规则不过为对链接本身以及对链接文本中存在的链接的规则。对于链接本身我们应该判断这个链接在不在门户网站的范围内，而门户网站当然是事先放在缓冲区里面了。假如在缓冲区里面找不到，我们就访问该链接文本里面的外部链接，然后判断这些链接有没有我们要的目标网站的关键字，有则原始链接的权值加10，没有则不加。假如在缓冲区里面找到了，则我们就访问该链接文本里面的内部链接，访问到的链接里面有关键字，则原始链接权值加20，没有则不加。至于判断某个链接是否为外部链接或内部链接，我们可以通过连接上面的域名判断，即从原始链接中提取该链接的特有域名，假如提取失败则直接过滤该链接。

现在大概说一下用python实现的方式，首先用字典这一数据结构来存储网址，其中dict[Url]=key,Url是链接，而key是链接对应的权值。先用python定义一个函数,

def GetDomain(Url): #获取链接的域名

First=Url.find('/')

First=First+2

Second=Url.find

关于估价函数的实现-------基于python语言（网络爬虫）相关推荐

Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集的下载(基于python语言根据爬虫技术自动下载MNIST数据集)
Dataset之MNIST:MNIST(手写数字图片识别+ubyte.gz文件)数据集的下载(基于python语言根据爬虫技术自动下载MNIST数据集) 目录数据集下载的所有代码 1.主文件 mni ...
python网络爬虫_python小知识，基于Python 的网络爬虫技术分析
在现阶段大数据的时代中,想要实现对数据的获取和分析,要先具备足够的数据源,网络爬虫技术就为其数据获取提供了良好的条件,且还能够实现对数据源的目的性采集. 在网络爬虫技术应用中,Python 脚本语言的 ...
【OpenCV图像处理入门学习教程六】基于Python的网络爬虫与OpenCV扩展库中的人脸识别算法比较
OpenCV图像处理入门学习教程系列,上一篇第五篇:基于背景差分法的视频目标运动侦测一.网络爬虫简介(Python3) 网络爬虫,大家应该不陌生了.接下来援引一些Jack-Cui在专栏<Pyt ...
python网络爬虫的流程图_基于Python的网络爬虫的设计与实现
龙源期刊网 http://www.qikan.com.cn 基于 Python 的网络爬虫的设计与实现作者:高祖彦来源:<商情> 2020 年第 33 期 [摘要]一个爬虫从网上爬取数 ...
基于python的网络爬虫编程_基于Python的网络爬虫程序设计
程序设计 ●Program Design 基于 Python的网络爬虫程序设计网络信息量的迅猛增长,对如何从海量的信息中准确的搜索到用户需要的信息提出了极大的挑战.网络爬虫具有 ...
python爬虫论文摘要怎么写_毕业论文-基于Python 的网络爬虫.docx
北京林业大学本科毕业论文(设计) PAGE \* MERGEFORMATI 基于Python的网络爬虫摘要随着计算机技术的不断发展,新的编程语言层出不穷,Python,Html正是其中的佼佼者.相 ...
python网络爬虫技术-基于Python的网络爬虫技术综述
汪洋姜新通 [摘要]人类社会已经进入大数据时代,这正在改变着我们的工作和生活.随着互联网的兴起和发展,同时也产生了各种对人类有价值的数据.快速搜索数据和充分利用数据信息已成为一个巨大挑战.这样的需 ...
python网络爬虫课程设计题目_山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》...
山东建筑大学计算机网络课程设计<基于Python的网络爬虫设计> 山东建筑大学课程设计成果报告题目: 基于Python的网络爬虫设计课程: 计算机网络A 院 (部) ...
python网络安全毕业设计_基于Python的网络爬虫系统的设计与实现
2018 年第 12 期信息与电脑 China Computer&Communication 软件开发与应用基于 Python 的网络爬虫系统的设计与实现刘杰葛晓玢闻顺杰 (铜陵职 ...

关于估价函数的实现-------基于python语言（网络爬虫）

关于估价函数的实现-------基于python语言（网络爬虫）相关推荐

最新文章

热门文章