讨论内容

昨天的架构基本确定成如下图所示：

针对此架构，大家分别提了不同的看法：

【大侠】秦刘 9:53:58  
工作节点的爬虫 应该就是普通的一个cmd形式的小程序，对不对？ 
【大侠】秦刘 9:54:38  
 
webapp的作用应该只是这个 
【大侠】大常 9:55:11  
这个是什么的设计图？ 
【大侠】大常 9:55:16  
怎么有点看不太懂呢？

【师兄】深简 9:56:07

感觉看懂了。

【师兄】深简 9:56:11

【宗师】北张9:56:28

对

【掌门】广杨 9:56:33

感觉像不像webmvc的思路

【大侠】大常 9:57:11

老大 我后面问的那个图是大概的模块耦合关系么？

【大侠】秦刘 9:57:31

我感觉webmvc管理master,master和工作节点类似Hadoop的心跳

【掌门】广立 9:57:33

【宗师】北张9:58:26

那就是cdoop和上边的四个同级？

【大侠】秦刘 9:59:13

cdoop什么含义？

【路人】四玖 9:59:30

我说这一坨 都基于PLUGIN

【宗师】北张9:59:37

主要是分布式，参考hadoop

【路人】四玖 9:59:38

会被打不？

【宗师】北张10:00:19

那几个是考虑分出来的

【路人】四玖 10:00:24

规则引擎 和抽取引擎 基于插件 来做。

【路人】四玖 10:00:59

cdoop 感觉作为基础设施下沉.

【路人】四玖 10:01:14

轻拍。。。

【路人】四玖 10:01:21

【宗师】北张10:01:25

应该多提意见

【掌门】广立 10:01:55

新上传三本电子书

【宗师】北张10:02:35

这个是它们之间的依赖关系

【宗师】北张10:03:13

那我觉得按你这么说，其它cdoop也可以当插件做

【宗师】北张10:03:32

就是分布式，单机各种情况都可以扩展

【路人】四玖 10:04:12

如果是基于hadoop的思想的话. 
他的分布式处理部分是算基础设施. 
  nutch和hadoop算套件,那么nutch的就是以插件为基础.

【路人】四玖 10:04:17

我想的大概是这样

【路人】四玖 10:04:19

【路人】四玖 10:05:08

插件对外开放. 
核心分布式处理内部管控.

【宗师】北张10:05:15

可以，其它人对这样设计有啥看法

【大侠】大常 10:05:39

这两种我认为@四川-玖东 的合理些

【宗师】北张10:06:01

ok，我理一下，发出来，大家继续拍

【路人】四玖 10:06:10

【大侠】秦刘 10:06:24

根为什么是WEB？

【路人】四玖 10:06:43

还是做个几种款式的 
其实比较麻烦的就是 页面抽取,这一部分.

【宗师】北张10:07:15

多提瞥见

【宗师】北张10:07:46

页面抽取那个可以做插件形式，也可以独立出来

【宗师】北张10:08:42

那你建议根是什么比较好？

【大侠】秦刘 10:09:53

我感觉WEB这部分应该是独立的，应该是通过控制器接口进行操作

【大侠】秦刘 10:10:09

web不是必须的，只是便于管理的

【宗师】北张10:10:44

那现在可以肯定的是 
parent 
web 
core 
plugin

【宗师】北张10:11:06

我觉得剩下的都作为插件都可以

【路人】四玖 10:11:22

【路人】四玖 10:11:36

其实存储是可以做为插件的 
因为每个项目的具体形式不一样 
存储可能是mysql,redis,mongdb,hdfs.或者直接到搜索引擎 
因为难点就是解决分布式问题. 
玖.幺幺 2015/3/27 10:09:58 
插件这个把体系设计号,可以让跟多人参与进来.

【宗师】北张10:11:40

解析和存储可以作插件也可以独立出来

【路人】四玖 10:11:56

刚和@【分】大连-常 讨论了下

【宗师】北张10:12:23

嗯，其它人怎么看

【路人】四玖 10:12:32

这种插件体系的系统 比较考手艺哦,大师们.

【大侠】大常 10:12:51

这种对大家的要求就很高了

【大侠】广张 10:12:59

耦合度没那么高了，这样系统中插件开发有点多了

【路人】四玖 10:13:10

估计要多多参考nutch, 
但是nutch的插件 用起来很重.配置项太多.

【大侠】大常 10:13:11

单说存储的部分就需要大家对各种数据存储形式了解很深

【大侠】大常 10:13:20

然后还能抽象出来

【大侠】广张 10:13:27

先搞一种

【宗师】北张10:13:33

这个关键是能扩展就行，可以先存db

【路人】四玖 10:13:33

+1

【大侠】广张 10:13:35

其他存储方式后续扩展

【路人】四玖 10:13:43

先做抽象吧

【师兄】深简 10:13:46

我觉得可行。

【路人】四玖 10:13:49

具体实现 其实都没啥的

【宗师】北张10:13:50

就是一个流程走通

【大侠】大常 10:13:52

先抽象出来

【大侠】大常 10:14:00

然后走一种插件先做起来

【大侠】广张 10:14:06  
对 
【大侠】大常 10:14:07  
主要是抽象出来的接口要好 
【大侠】大常 10:14:18  
这个直接影响后面的插件开发的 
【宗师】北张10:14:21  
先出逻辑的，再考虑接口部分 
【师兄】北万10:14:24  
同意先搞一种，然会提供其他扩展接口 
【大侠】大常 10:14:29  
可以 
【大侠】大常 10:14:52  
我觉得@四川-玖东 后面发的这个 

比较合理 
【大侠】上柯10:15:14  
插件搞多了，插件管理很麻烦。 
【师兄】深简 10:15:29  
@四川-玖东 我觉得这个方案的灵活性各方面都会比较好。 
【大侠】上柯10:15:34  
对使用者的要求也会很高。 
【宗师】北张10:15:35  
嗯，@【分】秦-刘 怎么看 
【路人】四玖 10:15:55  
恩 这这样的 
【大侠】大常 10:16:06  
@上柯 说的插件管理的麻烦就是我说要求一定要把结构的体系抽象好 
【大侠】秦刘 10:16:35  
我对这种结构不熟，我没意见。 
【路人】四玖 10:16:56  
抽象上面 就要考虑各种接入标准.如果 
结构体系抽象做的不好,基本就废了 
【路人】四玖 10:17:58  
http://www.baifendian.com/list.php?catid=116 
有没有在这里上班的? 
【路人】四玖 10:18:22  
感觉这个产品很不错.想见识见识 
【大侠】上柯10:18:29  
把体系考虑好，这是最重要的。但每个模块的插件，我们要考虑好通用的插件管理模式。然后做好插件管理模式的抽象。 
【大侠】大常 10:18:53  
我觉得所有插件最好不要一起管理 
【宗师】北张10:19:09  
不错吗，百分点就是那几个头还行 
【路人】四玖 10:19:34  
弱弱的说下.为什么感觉像在做一个垂直抓取的nutch 
【宗师】北张10:20:24  
项目背景你看了是吧 
【路人】四玖 10:20:41  
恩 
【宗师】北张10:21:04  
 
【宗师】北张10:21:08  
这样？ 
【宗师】北张10:21:30  
你想见识百分点啥东西啊？ 
【路人】四玖 10:22:02  
就他的抓取系统里面自己的修改的jsengine 
【路人】四玖 10:22:14  
这个有了 抽取这一块的问题基本就解决了 。 
【宗师】北张10:24:08  
没太理解，抽取你指存的时候还是从页面取的时候 
【路人】四玖 10:24:22  
从页面取的时候 
【路人】四玖 10:24:55  
淘宝用了很多dom延迟加载.页面都是异步化的 
【大侠】广张 10:25:20  
异步的抓取，用selenium可以很好解决 
【宗师】北张10:25:38  
这个有很多解决办法啊 
【路人】四玖 10:25:39  
恩 远程开启 浏览器 
【路人】四玖 10:25:44  
但是效率太低. 
【路人】四玖 10:25:55  
上百万的抓取 要等很久的 
【大侠】广张 10:26:08  
比watij 好多了 
【大侠】广张 10:26:30  
我用selenium 抓网站资源，包括图片还行 
【路人】四玖 10:26:36  
 
【大侠】广张 10:27:16  
刚才这个思路我觉得可以，插件不作为这个阶段重点，考虑一种实现，重点是分布式抓取； 
【路人】四玖 10:27:18  
我主要做电商抓取嘛 
淘宝和亚马逊的 流量控制很严格, 
京东和当当都还好 
【大侠】广张 10:27:31  
后续如果想扩展，再重点搞插件 
【大侠】广张 10:27:41  
jd会封你ip的 
【路人】四玖 10:27:56  
So. 
有http代理引擎丫 
【宗师】北张10:27:57  
taobao也一样 
【大侠】大常 10:27:57  
我觉得用插件这种方式就是为了以后解决刚才提到的问题的 
【大侠】大常 10:28:24  
我们首先要做的应该是分布式 
【大侠】上柯10:28:26  
http://www.zhuaqu.com/search.html 
【大侠】大常 10:28:28  
这个部分 
【大侠】上柯10:29:15  
先把流程走通，然后才能分布式。 
【路人】四玖 10:29:40  
不知道 你们研究过webmagic没.我和那个作者交流过 
【宗师】北张10:30:02  
看过那东西，黄吗 
【路人】四玖 10:30:20  
恩.那个想法很简单的 
【宗师】北张10:30:33  
你用的感觉怎么样，他那个 
【路人】四玖 10:30:50  
我基于他的想法 最后做了改造 
【宗师】北张10:31:18  
我在想那个代理用单独搞出来个模块吗？ 
【路人】四玖 10:31:22  
做了三个独立系统,. 
抓取,抽取 存储 
【宗师】北张10:31:54  
嗯，就是抓取，解析和存储，是吧 
【宗师】北张10:32:11  
我的目的是把抓取再扩展一下 
【路人】四玖 10:32:19  
我也是扩展了抓取

【路人】四玖 10:32:32

加入了代理.使用了redis 做url队列

【宗师】北张10:33:14

取的时候呢

【宗师】北张10:33:18

这种？

【路人】四玖 10:33:27

恩.

【宗师】北张10:33:49

嗯，我们最开始做的时候也是第一个想到的生产者消费者

【宗师】北张10:34:02

就是订阅发布这种

【宗师】北张10:34:22

【宗师】北张10:34:25

这个你看没

【路人】四玖 10:34:30

简单粗暴嘛.依托于中间件来做.抓取端水平扩展容易

【路人】四玖 10:34:56

承担调度

【宗师】北张10:35:08

嗯，队列现在有挺多不错的，这样是比较简单粗暴

【大侠】上柯10:35:27

简单粗暴好。

【大侠】上柯10:35:40

就怕设计过度。

【大侠】大常 10:35:43

简单粗暴效率高呀

【宗师】北张10:36:11

【宗师】北张10:36:45

别跑题了，那 
就设计成接口

【路人】四玖 10:36:54

这个还是要综合具体的业务场景,项目周期来说吧

【宗师】北张10:37:21

其实我觉得第一阶段重点抓内容类的

【路人】四玖 10:37:37

数据抓取. 
就抓，取,两个问题解决.

【大侠】上柯10:38:12

流程来说，任务调度，爬取，解析，存储。

【大侠】大常 10:38:21

应该概括成爬和取两个

【大侠】大常 10:38:30

这两个是关键问题

【大侠】上柯10:38:42

难点在爬上

【宗师】北张10:38:56

任务调度你们现在是啥方式

【宗师】北张10:39:06

扩展cron?

【路人】四玖 10:39:11

恩

【路人】四玖 10:39:20

最后还是有问题

【宗师】北张10:39:36

什么问题？

【路人】四玖 10:39:37

任务多了 资源竞争 经常锁

【路人】四玖 10:40:08

最后我在考虑. 
为什么不把hadoop当成一个调度容器.

【宗师】北张10:40:29

嗯，这个想法挺好，跟我想的差不多

【路人】四玖 10:40:36

分布式的,高可用的.

【宗师】北张10:40:47

但是用mapreduce做不太合适

【掌门】广立 10:40:51

我觉的我可以用erlang从0现一个这样的调度

【掌门】广杨 10:41:00

应该找两个典型的网站，分析后，先针对这几个网站抓去

【路人】四玖 10:41:04

我不用它做什么计算.就单纯的当个调度器

【宗师】北张10:41:15

对

【大侠】大常 10:41:32

只抽出hadoop的调度能力？

【宗师】北张10:41:41

所以才有了那个

【路人】四玖 10:41:47

实现分布式调度容器.

【宗师】北张10:42:01

也就是咱们分布式的核心

【掌门】广立 10:42:16

【宗师】北张10:42:44

这个图我没明白的是为什么弄个bloom filter

【路人】四玖 10:42:51

@北张

【掌门】广立 10:42:55

能说清楚点master和worker的职责吗

【掌门】广杨 10:43:17

后再根据网站不同扩展处理，配置等等

【宗师】北张10:43:22

就是指挥和工作者

【大侠】上柯10:43:31

http://www.dataguru.cn/article-5327-1.html

【掌门】广立 10:43:36

如果只是弄一个这样的分布，我用erlang从0写一个都很快

【宗师】北张10:44:34

啊，我知道那个bloom filter 
啥用了

【路人】四玖 10:44:58

数据结构化

【大侠】上柯10:45:03

啥用？

【宗师】北张10:45:24

排重的

【路人】四玖 10:45:45

我理解的反正 就是数据格式化 数据清洗 之类的

【大侠】上柯10:46:03

http://blog.chinaunix.net/uid-22414998-id-3774291.html

【大侠】大常 10:47:56

那是个过滤器吧

【宗师】北张10:48:11

对

【宗师】北张10:48:22

大数据下专用

【宗师】北张10:48:44

有误差

【路人】四玖 10:48:53

总的来说是个过滤器. 
个人感觉就是数据格式化 数据清洗 之类的

【大侠】大常 10:48:55  
数据越大误差越大 
【大侠】上柯10:50:22  
我自己做了个简单的任务调度的东西。从任务队列里取20条任务，把一个任务分配到一个存活的端。下一个任务分配到另一个存活端。 
【宗师】北张10:51:11  
通过什么规则调度 
【大侠】大常 10:51:29  
我感觉那个布隆过滤器是不是用来过滤访问过的url的？ 
【宗师】北张10:51:52  
不是，是取回来的数据 
【大侠】上柯10:51:57  
根据任务的创建时间和优先级。 
【大侠】大常 10:52:38  
取回来的数据是没处理的呀，处理过程中去掉那些存在的url 
【宗师】北张10:52:43  
你怎么确定哪个端存活不存活 
【大侠】大常 10:52:44  
是不是这样 
【大侠】大常 10:52:53  
我去翻翻cola源码 
【大侠】上柯10:53:23  
简单来说，下载端定时发送消息给master端。 
【大侠】上柯10:53:37  
然后master中有张存活端的表。 
【掌门】广立 10:53:51  
@北张 你怎么确定哪个端存活不存活 
【宗师】北张10:53:54  
对啊 
【掌门】广立 10:54:01  
这不是很简单？ 
【大侠】上柯10:54:08  
还有张取到的任务的表 
【掌门】广立 10:54:10  
ping一下就知道 
【宗师】北张10:54:11  
那存活端的使用情况呢？ 
【宗师】北张10:54:31  
比如性能等 
【掌门】广立 10:54:55  
每个worker都应该有类似server_info这样的吧 
【大侠】上柯10:54:58  
这个不用关心。 
【大侠】上柯10:55:21  
爬 本身所耗的资源不大。 
【宗师】北张10:55:49  
你看一下hadoop你就知道了，他是自动判断各个端的情况然后自动分配的 
【掌门】广杨 10:56:04  
这个就是心跳吧 
【少侠】北金10:56:27  
linux root用户怎么查看当前用户的密码？ 
【宗师】北张10:56:28  
对，如果你觉得自动判断不需要，咱们可以不做 
【掌门】广立 10:56:30  
worker接受了任务，可以设置为忙碌状态，处理完了，向master返回waitting状态。。 
【宗师】北张10:56:37  
id 
【宗师】北张10:56:42  
密码查不了 
【少侠】北金10:56:57  
噢 好吧 
【宗师】北张10:57:31  
你那个只解决了任务分配情况的问题，但是使用资源情况完全可以用自己的协议来定一套 
【大侠】上柯10:57:54  
恩。思路差不多。 
【掌门】广立 10:57:56  
我感觉你们说的这个分布调度，跟游戏的跨服是一个东西。。 
【宗师】北张10:59:07  
没太弄过你说的那个跨服 
【掌门】广立 10:59:52  
几百几千个服联通 
【掌门】广立 11:00:14  
就事类似你那个图了 
【大侠】大常 11:00:54  
联通的时候是跨服的数据交互吧 
【大侠】大常 11:01:04  
要求对用户进行节点分配么？ 
【掌门】广立 11:01:17  
每个worker是一个游戏服，想master提交操作，master分发同步到各个worker 
【宗师】北张11:01:42  
同步数据到worker? 
【大侠】上柯11:01:44  
同步用户数据？ 
【掌门】广立 11:03:24  
是的，粒度细小到服务器和用户级别。 
【大侠】大常 11:04:04  
master把数据下发到worker，worker向mater提交？ 
【掌门】广立 11:04:09  
这种复杂的都可以应付了，我感觉master只是给各个worker分配任务应该比较简单了 
【宗师】北张11:04:16  
跟我们说的是俩概念，我说的是master只负责指标，然后告诉worker去工作 
【宗师】北张11:05:03  
对，思路正确，这就是hadoop最核心的，不移动数据 
【宗师】北张11:05:10  
分布式运算 
【掌门】广立 11:05:21  
你说的这个是模型更简单，master就只是指挥worker工作 
【大侠】上柯11:05:48  
恩。我们不需要map/reduce 
【大侠】大常 11:05:55  
现在老大说的是问如何保证任务分配给最佳节点 
【大侠】大常 11:06:07  
所以需要获取worker的性能信息 
【宗师】北张11:06:11  
对，这就是为什么咱们研究它那个分布式的原因 
【宗师】北张11:06:26  
这个可以后期补充 
【掌门】广立 11:06:33  
这个不用管啊 
【掌门】广立 11:07:48  
记录一个状态，空闲状态的就异步分发任务，如果worker处理完了异步返回一个状态 
【宗师】北张11:09:32  
回到刚才这个问题，这东西到底加到哪？ 
【掌门】广立 11:09:50  
如果收不到返回的状态，这个任务可以假设是失败的，可以再被分配，太多一下细节了，这个应该跟业务结合 
【宗师】北张11:10:46  
对 
【大侠】上柯11:10:48  
对的，这是基本思想。一个任务超过指定时间，一定要断掉。 
【宗师】北张11:11:15  
上边那问题

【宗师】北张11:11:23

别讨论太细了

【大侠】上柯11:11:45

我觉得在任务调度，下载，解析，存储，每个都可以加个Plugin、

【宗师】北张11:12:35

你在图上标识一下你的想法

【大侠】上柯11:12:35

然后我们自己对这4步做个实现。

【宗师】北张11:12:57

或者干脆也来个图

【大侠】上柯11:14:08

好，我想想

【路人】四玖 11:19:58

http代理 属于调度部分.

【路人】四玖 11:20:13

额 属于抓数据的部分

【路人】四玖 11:20:33

对外开放的就是放入代理ip,端口,密码

【大侠】大常 11:20:55

这个就是可配置就行了

【宗师】北张11:21:10

嗯，目的就是个代理池是吧

【大侠】大常 11:21:46

对

【大侠】大常 11:21:56

主要就是应对封ip

【大侠】上柯11:22:00

【大侠】大常 11:22:45

调度也是插件？

【大侠】上柯11:23:25

可以留接口用来扩展。

【宗师】北张11:23:45

我也觉得那个没必要弄的挺大

【大侠】上柯11:25:22

代理池的调度可以弄简单点。

【大侠】上柯11:26:30

那可以不要。

【宗师】北张11:27:52

【宗师】北张11:28:05

这个是你画的跟我最开始想的对应关系

【大侠】上柯11:30:56

恩，下载，解析，都可以用配置规则来实现。

【大侠】上柯11:31:29

对了，在调度之前，还要加个URL去重。

【宗师】北张11:31:56

嗯，看url的量了

【大侠】大常 11:32:38

去重这个地方的指纹算法用什么？

【大侠】上柯11:33:57

这个真心不懂。

【大侠】大常 11:34:06

我觉得·在一个job进入队列之前的地方需要一个队url的过滤器 
包括识别url陷阱，url过滤

【大侠】上柯11:34:16

要求助这方面的高手。

【大侠】大常 11:35:34

比如Rabin指纹

【掌门】广立 11:35:43

worker不可以处理过滤吗？

【掌门】广立 11:36:38

每个worker都应该有很多action吧，不是单一的，可以处理N中业务，根据master的指令来做事

【大侠】上柯11:37:05

去重是针对整个url库来的。

【大侠】上柯11:37:28

从根本上去重，这样任务量会大大降低。在worker中去重，效果不大。

【掌门】广立 11:38:09

master维护这N种任务的队列，或是一个主的master，管理几个具体业务的master，这些master再协调worker

【路人】四玖 11:38:51

url去重,现在不要考虑太复杂的算法. 
整体url做个md5摘要.

【路人】四玖 11:39:03

包括queryString

【路人】四玖 11:40:21

querString 的参数 按字母大小写重排以后做一个md5摘要

【路人】四玖 11:42:22

这个如果从现实角度来讲. 
使用redis 比较合适,Set,和map这两种数据类型先天性的具体这种功能

【路人】四玖 11:42:57

全库去重.你想。url达到100w的时候.效率相当痛苦.

【掌门】广立 11:49:15

redis很吃内存吧？

【路人】四玖 11:51:58

redis 吃内存这个 
看具体数据量

【路人】四玖 11:52:34

你如果把redis当个缓存介质的话,你应该会定期的清理撒 
如果当存储介质的话,他都是存在内存里面的

【路人】四玖 11:52:40

redis看你怎么用

【掌门】广立 11:52:44

今早看到有人说，redis只适合放热点数据

【掌门】广立 11:53:17

当数据库的话mongo比redis合适吧

【路人】四玖 11:53:20

看具体情况

讨论还在继续……

项目地址

https://github.com/zongtui/zongtui-webcrawler