0 前言

先说说看这篇博客你能知道什么：1 腾讯、网易、新浪不同新闻的地址格式以及评论内容的地址格式（返回数据为json的异步接口）；2 一些比较通用的设计方法，对软件设计的菜鸟可能有帮助；

之前也说了要写这篇博客，现在终于写出来了。我的毕业设计的指导老师说毕设论文的字数不够……所以我决定把这些本不应该出现在论文中的实现细节凑到论文中。至于下面说到的东西要解决什么问题，各位可以先看看这个网站（我毕设的初步结果，目前还在优化中，包括代码结构还有UI设计）：http://news.reetsee.com/

凡是这篇博文中出现超链接的地方，可以放心点击，新的页面会在新标签中打开而不会直接在当前的标签打开。

这个网站要实现以下功能：从腾讯新闻、网易新闻、新浪新闻中（当然以后可能会更多其它新闻网站）通过代码自动分析出哪些新闻内容是相似的，然后把相似的内容组织到一起，例如三个网站都有“北京成功申奥”这样的新闻，这个网站会自动把三条新闻归到一起，然后把三个新闻网站的热门评论都下载下来，按照时间排序，最后通过代码计算出一段“评论概括”，因为有的人很懒，看新闻基本就是看了标题然后看评论，看评论可能只看热门评论，看热门评论可能还看那种被顶得最多的，所以我就这么帮下这些懒人了……哈哈哈。

网站打开得有点慢，这个是因为我的代码写得不够好，在百度也看到很多牛逼的技术内容，回头看看这个毕设的各种设计，觉得有点丢脸，迟点重构····目前先凑合着用。咳咳，跑题了，这个网站的所有内容可以说都是通过爬虫抓取下来了，我的工作只不过是将爬虫获取的内容进行了组织然后重新展现。

这篇博客的内容仅仅是说一下爬虫是怎么写的，完全不会涉及分析新闻相似的算法是怎么样的以及对热门评论进行概括的算法是怎么样的。

那么下面开始。

1 新闻格式规范化

我在同学介绍下选择了Python的Scrapy爬虫框架进行爬虫编写（最近我自己用PHP写了个爬虫框架Phpfetcher，可以参见这里：http://blog.reetsee.com/archives/366）。要在自己的网站上展示新闻内容，就应该将下载好的新闻按照统一的格式处理好，这样前端（网页端）才能够方便地处理、展示。一篇新闻有以下几个需要关注的地方：

  1. 新闻标题
  2. 新闻正文
  3. 新闻时间

由于要知道新闻的来源以及对应的评论，所以加上这两项：4. 新闻来源，5. 新闻评论地址。

那么最终在我这里，一篇处理后的新闻格式应该是这样的（这里使用类似json的格式表示，“[]”表示一个数组，“{}”表示一个字典）：

01 {
02     'source'   : '来源网站',
03     'date'     : '时间（长度8位，如20140501）',
04     'contents' : {
05             'link'    : '新闻详细内容页面的地址',
06             'title'   : '新闻标题',
07             'passage' : '新闻正文',
08              },
09     'comments' : {
10             'link' : '新闻对应的评论页面地址',
11              },
12 }

如果有人问既然已经有了新闻的地址页面，为什么还要将新闻标题、新闻正文这些内容保存到本地呢？因为要在本地对新闻进行分类，就必须将这些内容下载下来。

上面的格式只是一个初步的统一格式，最终的格式相比这个可能会有小变化，这个后面再说。

2 评论格式规范化

要在我的网站对评论进行展示，就要有统一的格式，通常评论的要素包括三个：

  1. 用户名
  2. 评论时间
  3. 评论内容

由于我要标注评论的来源，所以再加一个：4. 评论来源，那么最终被我处理过的评论格式如下：

1 {
2     'source' : '来自哪个新闻网站',
3     'user' : '用户名',
4     'time' : '10位长度的时间戳', //转换成时间戳是为了方便以后排序
5     'content' : '评论内容'
6 }

那么最终重新按照时间排序后的评论列表格式应该是像下面这样的：

01 [
02     {
03         'source' : '',
04         'user' : '',
05         'time' : '',
06         'content' : ''
07     },
08     {
09         'source' : '',
10         'user' : '',
11         'time' : '',
12         'content' : ''
13     },
14     {
15         'source' : '',
16         'user' : '',
17         'time' : '',
18         'content' : ''
19     },
20  
21     ...
22 ]

这里先规范好最终的评论格式，下面针对评论部分的讲解设计就有头有据了。

另外就是评论并不需要爬虫下载！因为评论是实时更新的，不像新闻，基本上发布了就不怎么变化了。因为评论的内容是在用户点击某条新闻后才通过HTTP请求获取的。

3 URL规则分析

3.1 腾讯新闻

其实整个分析下来，我觉得腾讯的URL地址格式是最容易弄清楚的，对于下面的内容，打了黄色背景色的是一个分析说明，其中用了红色字体的代表这个地方是依据新闻的不同而变化的，聪明的你们一定一看就知道是什么意思了。在看下面的内容时，可以自己把这些URL敲到地址栏中尝试一下，其次是使用CHROME或者百度浏览器的同学，强烈建议安装“FeHelper”这个插件，地址是：https://chrome.google.com/webstore/detail/web%E5%89%8D%E7%AB%AF%E5%8A%A9%E6%89%8Bfehelper/pkgccpejnmalmdinmhkkfafefagiiiad?hl=zh-CN，这个东西的作用是能够直接将JSON格式的内容美化成很漂亮的非常容易读到的内容，例如这样：
这个是其中一个功能，还有很多非常赞的功能。
回到正文。
新闻（非专题类）地址格式   ：http://news.qq.com/a/8位日期/新闻ID.htm，例如：http://news.qq.com/a/20140113/012246.htm。
新闻页面获取评论数量的方法：http://coral.qq.com/article/评论页ID（即cmt_id）/commentnum?callback=_cbSum&source=1&t=随机数（怀疑是时间戳，但是好像没什么用），例如：http://coral.qq.com/article/1004703995/commentnum?callback=_cbSum&source=1&t=0，实际上这个用不到。
新闻的所有评论页面地址      ：http://coral.qq.com/评论ID（即cmt_id），例如：http://coral.qq.com/1004703995。
其中正常的评论链接格式如下：http://coral.qq.com/article/评论页ID（即cmt_id）/comment?commentid=起始ID&reqnum=显示数目&tag=&callback=mainComment&_=时间戳+3位随机整数（共10+3=13位），http://coral.qq.com/article/1004703995/comment?commentid=0&reqnum=20&tag=&callback=mainComment&_=1389623278900。实际上这个用不到。
热门评论的链接格式如下      ：http://coral.qq.com/article/评论页ID（即cmt_id）/hotcomment?reqnum=显示数目&callback=myHotcommentList&_=时间戳+3位随机整数（共10+3=13位），http://coral.qq.com/article/1004703995/hotcomment?reqnum=10&callback=myHotcommentList&_=1389617814425。
要注意的是，评论页ID是大于10^9的；新闻ID不是一个数字，注意真的不是一个数字！而是一个只包含数字的字符串，例如它可能是“000123”。
现在开始分析一下腾讯新闻评论中的字段，比起网易新闻的简直是太臃肿了，那么就直接说关心的内容了（请直接点击上面热门评论的那条URL、或者复制到你的地址栏，回车后查看结果，与下面的内容比对）：
  1. targetid就是新闻的id；
  2. time就是时间戳，有了这个可以转换成公元时间；
  3. content就是回复的内容（这位网友真是热心回复这么多）；
  4. up就是人家给的赞的数量；
  5. userinfo中的nick就是用户名了，后面竟然还有对应的腾讯微博的用户信息。
01 {
02     id: "5828439023791190273",
03     targetid: 1004703995,
04     parent: "0",
05     replyuser: "",
06     replyuserid: 0,
07     timeDifference: "01月13日 18:15:50",
08     time: "1389608150",
09     content: "很高兴看到中央军委日前印发《关于军队贯彻落实〈党政机关厉行节约反对浪费条例〉的措施》，规定今后所有公务用车采购国产自主品牌，其实不光是汽车，像电脑、打印机、扫描仪、复印机、服务器、网络设备、软件等产品更要带头采购国产自主品牌，防止军队内部机密资料遭受国外网络黑客攻击！希望中央军委、中国海陆空军队能够切实担负起捍卫国土、捍卫钓鱼岛的职责！其实中国的部队，大部分军官素质是好的，但也有相当一部分军官也十分腐败，作风腐化堕落，为人霸道欺负新兵，道德品质极差；艰苦奋斗、勤俭建军的思想有所淡化；革命意志、进取精神有所退化；铺张浪费、大手大脚现象有所抬头。加强军队的反腐倡廉建设对于巩固党的执政地位、树立中国军队的新形象、提升国防战斗力十分重要。要保卫好祖国国土完整，加强军队作风建设和反腐倡廉建设责任重大。“物必自腐，而后虫之”，如果任由各种腐败作风在军队系统漫延，将使中国军队的整体战斗力、中国军官的整体政治素质大大下降，后果不堪设想！希望中央军委一定要在全军大力开展创先争优活动，加强中国军人综合素质建设与作风建设，全面推广党风廉政建设巡视检查制度，大力清除军队内部的腐败分子，大力整顿军队内部的“吃喝玩乐嫖赌、卖官鬻爵收受贿赂违规提拔干部”等各类不正之风，营造“勤于学习、善于学习、钻研技术、廉洁从业”的良好氛围，铸造一支英勇善战、战斗力凝聚力号召力超强的中国军队！同时中国军队应该坚持人性化细节化管理，对于长期夫妻两地分居的军官、军人要免费发放性慰器，防止他们流入社会进入嫖娼卖淫场所影响中国军队形象！希望中国能够集国家和中华民族的坚强意志，大力加强自主创新型国家建设，努力攻克在大型民用飞机、军用飞机、导弹系统、航空母舰等制约国家核心技术的关键高端产业领域，早日使我国的民用与军用飞机、导弹、航空母舰早日上市，彻底摆脱对欧洲、美国、日本在先进技术上的制约，成为一个装备制造强国！中国不能搞、不会搞军事扩张但也绝不能太懦弱，一定要夯实军事装备，提升军队战斗力，保护好国土、海域的安全，捍卫民族尊严！",
10     up: "91",
11     rep: "0",
12     type: "2",
13     hotscale: "3",
14     checktype: "2",
15     checkstatus: "1",
16     isdeleted: "0",
17     tagself: "",
18     taghost: "",
19     source: "1",
20     userinfo: {
21         userid: "21059616",
22         uidex: "ec52a391823814524e8446efa3bd6a48d9",
23         nick: "炎黄子孙中国梦",
24         head: "http://q1.qlogo.cn/g?b=qq&k=ACz0AuPMwiaSfHTmIGWbIOw&s=40&t=0",
25         gender: "1",
26         viptype: "0",
27         mediaid: 0,
28         region: "中国:安徽:宣城",
29         thirdlogin: 0,
30         wbuserinfo: {
31             name: "cjppjc17",
32             nick: "炎黄子孙中国梦",
33             url: "",
34             vip: 0,
35             ep: 0,
36             brief: "",
37             identification: "",
38             intro: "",
39             liveaddr: {
40                 country: "1",
41                 province: "34",
42                 city: "18",
43                 area: ""
44             },
45             level: 0,
46             classify: ""
47         },
48         commentnum: "283",
49         commentednum: "168",
50         upnum: "2108"
51     }
52 },

还记得在“评论规范化”中定的格式吗？现在我们就从上面的json格式找到一个将其规范化的方法，假设热门评论连接中返回的json格式的变量名为js，i为遍历时的下标，那么用下面这个方法进行评论格式的规范化：

1 {
2     'source' : 'tencent',
3     'user' : js['data']['commentid'][i]['userinfo']['nick'],
4     'time' : js['data']['commentid'][i]['time'], //原格式就是10位时间戳了不用转换
5     'content' : js['data']['commentid'][i]['content']
6 }
腾讯新闻的算是搞掂了。

3.2 网易新闻

新闻（非专题类）地址格式   ：http://news.163.com/年份/日期（四位）/数字/新闻ID.html，例如http://news.163.com/14/0114/19/9IISVTCG0001124J.html。
新闻页面获取评论数量的方法：查找”totalCount“就是评论数目，新闻ID就是”threadId“，讨论版面就是”boardId“，这个js是inline的，直接就放到网页中了：
01 <script type="text/javascript">
02     if (typeof isForceShowComment != "undefined") {
03         isShowComments = isForceShowComment;
04     };
05     function tieInit() {
06         tie_load({
07                     urs: "http://img1.cache.netease.com/utf8/microblog/urs/urs1.0.3.js",
08                     tie: "http://img1.cache.netease.com/utf8/tie/tieanywhere2.6.6-min.js"
09                 },
10                 function() {
11                     var replyCount = 10068,
12                             totalCount = 59215,
13                             threadId = "9IISVTCG0001124J",
14                             boardId = "news_guonei8_bbs",
15                             host = tieChannel,
16                             tId = tId;
17                     NTES(".js-tielink").attr("href", "http://comment."+ host + ".163.com/" + boardId + "/" + threadId + ".html")
18                     NTES(".js-tiecount").attr("innerHTML", totalCount);
19                     NTES(".js-joinCount").attr("innerHTML", TieAnywhere.formatNumber(totalCount.toString(), 3));
20                     NTES(".js-bjoinCount").attr("innerHTML", TieAnywhere.formatNumber(totalCount.toString(), 3));
21                     NTES(".js-actCount").attr("innerHTML", TieAnywhere.formatNumber(replyCount.toString(), 3));
22                     NTES(".js-bactCount").attr("innerHTML", TieAnywhere.formatNumber(replyCount.toString(), 3));
23                     new TieAnywhere.Tie({
24                         wraper: NTES("#tieArea"),
25                         threadId: threadId,
26                         boardId: boardId,
27                         host: host,
28                         isShowComment: isShowComments,
29                         isStrict: isStrict,
30                         tId: tId
31                     });
32                 })
33     };
34     tie_ready(function() {
35         if (!window.NTES) {
36             tie_load({ lib: "http://img1.cache.netease.com/cnews/js/ntes_jslib_1.x.js" }, function() {
37                 tieInit();
38             }, "GBK")
39         } else {
40             tieInit();
41         };
42     });
43 </script>
44 <!--tie end-->

新闻的所有评论页面地址：http://comment.news.163.com/boardId/新闻ID.html，例如http://comment.news.163.com/news_guonei8_bbs/9IISVTCG0001124J.html。关于boardId及新闻ID，请参见上面一项。
在该页面下评论数目为：很有可能在data变量的tcount中。即“data.tcount”
其中正常的评论链接格式如下：http://comment.news.163.com/cache/newlist/news_guonei8_bbs/9IISVTCG0001124J_1.html，但是会有乱码，评论之间通过”return tiePage.showPage(4);“
热门评论的链接格式如下：http://comment.news.163.com/data/boardId/df/新闻ID_1.html，例如http://comment.news.163.com/data/news_guonei8_bbs/df/9IISVTCG0001124J_1.html，这个评论页面有点不同，它返回的不是一个json文件，而是一个Javascript的变量，变量的值就是“=”号后面的内容，它是一个json，因此要更好地观察具体的内容，你应该新建一个文件（例如comment.json），然后把“=”之后，“;”之前的内容中复制出来粘贴到comment.json中，接着用浏览器打开comment.json文件。然后你会看到“热门评论”在’hotPosts’中（内容太长了使用Ctrl+f搜索一下hotPosts），而“精彩盖楼”在’buildPosts’中。评论之间通过”return tiePage.showHotPage(4);“来实现翻页，感觉页面是缓存起来的……一次全部下载完。网易的评论编码好像是UTF-8的，如果乱码那么可以对浏览器选择编码为UTF-8。在实际处理文本内容的时候注意好编码问题。
现在开始分析一下网易新闻评论中各个字段含义，我给出两个例子：
  1. 前面的数字1表示1楼；
  2. f是显示的内容，对应分别为“网易XX网友”，用户ID，用户IP，没有用户ID的就显示“网易XX网友”，连“网易XX网友”都没有的就显示IP地址，我猜的；
  3. v是支持数量；
  4. u不知道是什么粗略看一眼值全部都是’u’；
  5. d是当前评论的新闻id；
  6. t就是发表评论的时间啦；
  7. b就是评论的内容；
  8. a就是表示这个楼是不是最后一层楼的；
  9. p就是上面那个div标签的id；
  10. n怀疑是网易帐号或者用户名；
  11. l不知道是什么；
  12. ip就是ip了。
01 {
02 1: {
03     f: "网易日本手机网友 <span id=9KUDRCJ8 class=cGray>ip：126.255.*.*：</span>",
04     v: "11014",
05     u: "u",
06     d: "9KUD5BUN00011229",
07     t: "2014-02-13 03:34:08",
08     b: "媽的，這傻逼幹嘛不索取精液流失費？",
09     a: "0",
10     p: "9KUDRCJ8",
11     n: "chinese_cc@163.com",
12     l: "0",
13     ip: "126.255.*.*"
14 }
15 },

另外一个例子：

01 {
02 1: {
03     f: "网易山东省济南市手机网友 [<a href=''>逗狗儿玩呵呵</a>]： ",
04     d: "9KUD5BUN00011229",
05     b: "这么一搞这女的以后还能嫁出去?够阴的。",
06     a: "0",
07     n: "逗狗儿玩呵呵",
08     l: "0",
09     tsn: "8058245774",
10     ip: "113.128.*.*",
11     timg: "http://mimg.126.net/p/butter/1008031648/img/face_big.gif",
12     v: "9219",
13     u: "u",
14     t: "2014-02-13 04:04:49",
15     p: "9KUFJMLA",
16     tid: "4983565181079566873"
17 }
18 },
有没有觉得网易新闻的评论内容中key都很短？而且几乎没有冗余信息。
接下来就是将上述的评论进行格式规范化，假设这个json变量名为js，i为遍历时的下标：
1 {
2     'source' : 'netease',
3     'user' : js['hotPosts'][i]['1']['n'],
4     'time' : js['hotPosts'][i]['1']['t'], //原格式“%Y-%m-%d %H:%M:%S”，要转换成10位长度的时间戳
5     'content' : js['hotPosts'][i]['1']['b']
6 }

要注意的是，上面的’n’不是一定存在的，因为如果有N楼，那么除了最后一层楼外，从1~N-1楼都是没有’n’标签的。呼，网易新闻的也搞掂了。

3.3 新浪新闻

新浪（评论好像是GBK编码）
新浪新闻的URL规则好复杂，推敲了很久才搞明白。
新闻（非专题类）地址格式：http://news.sina.com.cn/字母c或者w（c表示和中国有关，w表示和中国没有直接关系的世界新闻）/年-月-日/小时分钟(4位数字)及新闻ID的后8位.shtml，例如http://news.sina.com.cn/c/2014-01-19/021929283928.shtml。新浪新闻的地址还有一些地址格式有“变种”，例如：http://news.sina.com.cn/c/sd/2014-01-24/152429336501.shtml，http://news.sina.com.cn/w/p/2014-01-24/154829336676.shtml，还有诸如http://weather.news.sina.com.cn/news/2014/0124/072298232.html和http://mil.news.sina.com.cn/2014-01-24/0839761572.html。
所以综合以上所述，最完整的地址格式应该是：http://[类别.]news.sina.com.cn/一堆可能出现的东西/日期（注意这里的日期格式可能是“年-月-日”也可能是“年/月”）/小时分钟（4位数字）及新闻ID的后8位.shtml或者html
有点蛋碎的感觉，不过没事，这些都是一个正则表达式就搞掂的事。
新浪新闻有一个新闻ID和评论通道，这两个东西都比较麻烦，但又很关键，我这里先说获取的方法，下面就知道用途了。以下是新闻ID获取方法和评论通道获取方法，在新闻详细页面看到找到以下两行：
1 <meta name="comment" content="kj:2-1-9122947">
2 <meta name="sudameta" content="comment_channel:kj;comment_id:2-1-9122947">

comment_id同时也是官方所谓的newsid，comment_id的组成是：channelId-1-新闻Id后8位，其中中间的1还不知道是什么意思，comment_channel就是评论通道。
新闻页面获取评论的方法：http://comment5.news.sina.com.cn/page/info?format=格式（可选json,js）&channel=板块（通常是2个字母）&newsid=评论ID(即上面的comment_id)&group=0(默认为0)&compress=1&ie=gbk&oe=gbk&page=第几页（数字越大评论越旧）&page_size=缓存的评论数（并非展示的评论数）&jsvar=requestId_貌似是个随机整数（非常不确定），例如http://comment5.news.sina.com.cn/page/info?format=json&channel=gn&newsid=1-1-29283928&group=0&compress=1&ie=gbk&oe=gbk&page=1&page_size=100&jsvar=requestId_24959748，返回的内容是所有的评论，热门评论在“hot_list”中，关联的新闻信息在“news”中，正常的评论在“cmtlist”中，另外包含一些在“replydict”中的东西，不知道是什么。其中评论数目在“count”的“show”中
对应的所有评论页面地址：http://comment5.news.sina.com.cn/comment/skin/default.html?channel=板块（见上面的解释）&newsid=评论ID，http://comment5.news.sina.com.cn/comment/skin/default.html?channel=gn&newsid=1-1-29283928。
最后把得到的评论的格式规范化。假设这个json变量名为js，i为遍历时的下标：
1 {
2     'source' : 'sina',
3     'user' : js['hot_list'][i]['nick'],
4     'time' : js['hot_list'][i]['time'], //原格式“%Y-%m-%d %H:%M:%S”，要转换为10位时间戳
5     'content' : js['hot_list'][i]['content']
6 }

4 最终格式及补充说明

在新闻格式规范化里面提到了那个格式不是最终的格式，原因就在于实现http://news.reetsee.com（或者我以后直接叫吹水新闻……）功能的时候，当点击了新闻标题时，评论应该是实时获取的（不应该是爬取新闻一样一开始就使用爬虫下载下来），所以我们需要直接拿到评论的具体内容，不能通过评论页面去获取，而应该直接使用获取新闻评论的json接口（就是上面所有的返回数据格式为json的地址），那么就需要我们根据规则直接拼出接口的URL，这些URL中可能会有日期、新闻ID、评论ID、板块ID等不同的变量，所以我们不妨把它直接放到新闻格式规范化的结果中。为什么不直接等点击链接的时候再到新闻页面获取这些ID？因为这样网速会太慢了。
根据实际需求，腾讯、网易、新浪的新闻保存格式如下：
腾讯：
01 {
02     'source'   : 'tencent',
03     'date'     : '20140214',
04     'newsId'   : '015412',
05     'cmtId'    : '1004980094',
06     'contents' : {
07             'link'   : 'http://news.qq.com/a/20140214/015412.htm',
08             'title'  : '哈尔滨一夜清查酒店洗浴等2700余家',
09             'passage': '正文内容'
10              },
11     'comments' : {
12             'link' : 'http://coral.qq.com/1004980094',
13              }
14 }

网易：

01 {
02     'source'   : 'netease',
03     'date'     : '20140214',
04     'newsId'   : '9L2525NG0001124J',
05     'cmtId'    : '9L2525NG0001124J',
06     'boardId'  : 'news_guonei8_bbs',
07     'contents' : {
08             'link'    : 'http://news.163.com/14/0214/14/9L2525NG0001124J.html',
09             'title'   : '哈尔滨4800余警力一夜清查酒店洗浴等2700余家',
10             'passage' : '正文内容'
11              },
12     'comments' : {
13             'link' : 'http://comment.news.163.com/news_guonei8_bbs/9L2525NG0001124J.html',
14              },
15 }

新浪：

01 {
02     'source'    : 'sina',
03     'date'      : '20140214',
04     'newsId'    : '1-1-29471498',
05     'cmtId'     : '1-1-29471498',
06     'channelId' : 'gn',
07     'contents'  : {
08             'link'    : 'http://news.sina.com.cn/c/2014-02-14/142829471498.shtml',
09             'title'   : '哈尔滨4800余警力一夜清查2700家酒店洗浴场所',
10             'passage' : '正文内容',
11               },
12     'comments'  : {
13             'link' : 'http://comment5.news.sina.com.cn/comment/skin/default.html?channel=gn&newsid=1-1-29471498',
14               },
15 }
上面的格式其实一看就是有问题的，因为扩展性太差了，这也是我第一次设计囿于时间、经验等造成的，各位自己设计的时候就可以设计得更加好。
这篇东西敲了好久，我想想怎么把文字表述转换一下……使它看起来比较书面一些……然后放到论文中凑凑字数什么的……
过一段时间还会有一篇将毕业设计的设计过程的，那篇也存了草稿很久了，有空再看什么时间弄一弄。
祝大家五一节快乐！放假期间还在看这篇博文的人，都是宅男啊。（那写这篇东西的我呢！？我了个去）
转载请注明： 吹水小镇 | reetsee.com
原文链接地址： http://blog.reetsee.com/archives/237

腾讯、网易、新浪新闻网站爬虫编写记录及评论格式分析相关推荐

  1. Android使用Intent一键分享图片文字到腾讯、新浪、开心、微信等

    现在分享应用很多,消耗研发与维护时间,增加项目成本,而且集成分享功能后我们的应用包会比以前要大几MB.其实有android的Intent可以满足分享文字和图片的需求,而且不增加应用包的大小. /*** ...

  2. 淘宝京东商品长链接缩短为腾讯，新浪短链接的接口有哪些？

    分享淘宝京东商品宝贝的都知道,商品的详情页链接太长在微博,微信发布的话太占用字符空间了,而且过长的链接很不正规用户难以接受.所以我们需要将这些长链接转换缩短成一个非常短的短链接再发布.所有短链接服务商 ...

  3. 使用javaMail进行腾讯，新浪，网易网上邮箱验证

    最近本人在开发web项目中,使用到了javaMail来进行邮箱验证.最初刚接触javaMail开发的时候,本人搜索很多有关这方面的知识和案例,比如慕课网上的课程,但那些都只是针对本地邮箱服务器或者单个 ...

  4. 国内大公司的开源项目（ 阿里 腾讯 百度 新浪 搜狐 豆瓣 大众点评）

    阿里 阿里的开源项目很多,这也跟@淘宝正明的开源态度密不可分.有很多重量级的项目,例如LVS.Tengine,或者很有实践价值的中间件,例如 MetaQ(分布式消息系统).dubbo(RPC框架).c ...

  5. 腾讯、新浪、淘宝、搜狐的IP库接口，根据IP显示当地的天气功能

    实现根据IP显示当地天气的功能,现在测试各个平台给予的IP库的准确度问题: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitio ...

  6. 获取股票简单数据：腾讯、新浪、东方财富。。。

    1,腾讯的数据显示是用脚本动态改变某个表格的内容. 腾讯脚本太多,还没有看出来在哪里能找到规律. 初步想法,把它页面所有的链接都搞出来,去搜索关键字"main-" 2,新浪直接给你 ...

  7. 淘宝、百度、腾讯、新浪开放平台

    淘宝开放平台: http://open.taobao.com/ 百度开放平台:http://open.baidu.com/ 腾讯开放平台:http://open.qq.com/ 新浪开放平台:http ...

  8. 淘宝 腾讯 百度 新浪 技术团队 博客

    From:http://blog.csdn.net/perfect2011/article/details/18844575 csdn lidp  http://blog.csdn.net/perfe ...

  9. scrapy爬取新浪股吧中康美评论

    题目要求 使用scrapy,建立爬虫 针对新浪股吧,下载自己选择的上海证券市场股票评论,股票代码自选填入随后示范连接处,http://guba.sina.com.cn/?s=bar&name= ...

最新文章

  1. android处理url中的特殊字符
  2. (转自PHPer)成长的选择
  3. ibatis主键自动生成
  4. Python中对象是否可以迭代iterable
  5. intellij idea不显示git push按钮的解决办法
  6. 【C++】50.编程中切换状态的【有限状态机】
  7. 安卓桌布显示的dip和px
  8. vpx8运行待解决问题
  9. 日结问题解决思路和方式
  10. 不越狱 继续逆向 微信运动
  11. Windows10下安装MySQL8.0
  12. 菲佣WPF——3(关于INotifyPropertyChanged的使用的想法)
  13. cuda和cudnn各版本下载地址
  14. win10 计算机 权限,介绍电脑windows10管理员权限开启的4种方法
  15. python读取组合惯导数据,并进行坐标转换到北东天、utm坐标系
  16. 苹果 / Apple iCloud 教育版 200GB 云盘账号自助注册教程
  17. 服务器路由器无线ap,TP-Link TL-WR841N路由器无线AP设置方法
  18. MyBatis 大于等于、小于等于的写法
  19. Facebook中国程序员之死：年仅38岁跳楼轻生，浙大EE毕业生，去年刚入职
  20. HDCP @HMAC-SHA256[基于mbedtls]

热门文章

  1. plc与python之间实现通信的结构框图_Python设计模式 - UML - 通信图(Communication Diagram)...
  2. 小区移动基站能否杀人于无形？
  3. 五一惠州双月湾游，海滩，帐篷，野营，烧烤、篝火晚会
  4. 《Cortex-M0权威指南》之Cortex-M0编程入门
  5. How to Easily Read a Linux Man Page
  6. Visual Studio .NET已检测到指定的Web服务器运行的不是ASP.NET 1.1 版...的解决办法
  7. 小米两高管科普Redmi K50电竞版快充细节：挑战最快边玩边充
  8. 1台车至少赚1万块！华为卖车，两天订单破3000辆
  9. 90后互联网打工人：为了买小两居，爸妈打零工帮我凑首付
  10. 华为带动涨价？二季度中国市场智能手机均价涨了13%