这篇文章是将要分析网易云课堂里的数据，分析时下学习的热点。

工具准备：

Chrome游览器，

python3.6 (包含requests，jieba库)

首先打开全部课程 - 网易云课堂，登陆之后打开chrome开发者工具，经过分析发现，云课堂里的数据是直接通过ajax获取，于是直接复制cookie模拟发送包，跳过登陆模拟。

截图显示了这个json数据的结构

import requests

import json

header = {

'Accept':'application/json',

'Accept-Encoding':'gzip, deflate',

'Accept-Language':'zh-CN,zh;q=0.8,en;q=0.6',

'Cache-Control':'no-cache',

'Connection':'keep-alive',

'Content-Length':'120',

'Content-Type':'application/json',

'Cookie':'', #input your cookie

'edu-script-token':'', #input your token

'Host':'study.163.com',

'Origin':'http://study.163.com',

'Pragma':'no-cache',

'Referer':'http://study.163.com/courses',

'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',

}

payload= {

"pageIndex":'1',

"pageSize":'50',

"relativeOffset":'100',

"frontCategoryId":'-1',

"searchTimeType":'-1',

"orderType":'0',

"priceType":'-1'

}

由于这个request是个 Request Payload 而不是 Form Data，因而header里需要申明为json，以及一会儿发送时要将payload转换成json数据。

data_list = []

count=0

for i in range(60):

ret = requests.post("http://study.163.com/p/search/studycourse.json", data=json.dumps(payload), headers=header)

payload["pageIndex"] = int(payload["pageIndex"])+1

temp_dic = ret.json()

if temp_dic["message"]!="ok":

print("error "+temp_dic["message"])

#data_list.append(temp_dic["result"]['list'])

for item in temp_dic["result"]['list']:

count +=1

data_list.append(item)

print(i+1,"/60")

print(count)

file_name='opencourse.json'

with open(file_name,'w') as file_object:

json.dump(data_list,file_object)

根据云课堂自己的数据，正好是3000条数据,然后将这3000条数据先保存。

接下来先对标题和介绍进行简单的分词，使用jieba库里的cut() method。 基本原理是用统计 构造Trie树做词典，然后构造DAG，使用动态规划找出最大概率组合。对于词典里没有的词，使用HMM进行划分。代码如下：

import jieba

word_count={}

for item in data_list:

temp_analyse = jieba.cut(item["productName"])

for temp in temp_analyse:

if word_count.get(temp) == None:

word_count[temp] = 1

else:

word_count[temp] = int(word_count[temp]) + 1

temp_analyse = jieba.cut(item["description"])

for temp in temp_analyse:

if word_count.get(temp) == None:

word_count[temp] = 1

else:

word_count[temp] = int(word_count[temp]) + 1

对词典排序后，出现次数最多的50个词 结果如下

sorted(word_count.items(),key=lambda item:item[1],reverse=True)

x[0:50]

Out[25]:

[('，', 21836),

('\n', 19297),

('的', 18876),

(' ', 15846),

('、', 9085),

('。', 8531),

('-', 6916),

('课程', 5677),

('：', 5130),

('.', 4165),

('你', 3218),

('/', 2830),

('学习', 2825),

('是', 2796),

('和', 2730),

('！', 2371),

(')', 2370),

('(', 2268),

('\r\n', 2268),

('在', 2149),

('—', 1967),

('了', 1711),

('本', 1690),

('与', 1633),

('】', 1547),

('【', 1537),

('《', 1521),

('》', 1521),

('？', 1449),

('基础', 1427),

('中', 1382),

('1', 1376),

('为', 1270),

('有', 1260),

('2', 1243),

('“', 1233),

('”', 1218),

('；', 1166),

('如何', 1128),

('可以', 1121),

('让', 1082),

('我们', 1061),

('3', 1042),

(':', 1034),

('教程', 1009),

('更', 1005),

('等', 999),

('设计', 981),

('讲解', 975),

('视频', 969)]

可见单纯的分词并不能满足我们的需求，于是我们采用下TD-IDF和textrank算法直接获取关键词。代码如下：

import jieba.analyse

word_count={}

for item in data_list:

temp_analyse = jieba.analyse.extract_tags(item["productName"])

for temp in temp_analyse:

if word_count.get(temp) == None:

word_count[temp] = 1

else:

word_count[temp] = int(word_count[temp]) + 1

temp_analyse = jieba.analyse.extract_tags(item["description"])

for temp in temp_analyse:

if word_count.get(temp) == None:

word_count[temp] = 1

else:

word_count[temp] = int(word_count[temp]) + 1

出现次数最多的40个词 结果如下：

[('课程', 1725),

('学习', 717),

('教程', 535),

('基础', 471),

('讲解', 422),

('入门', 389),

('视频', 372),

('http', 369),

('com', 351),

('技巧', 304),

('微信', 290),

('实战', 283),

('制作', 260),

('老师', 258),

('QQ', 248),

('设计', 247),

('如何', 240),

('开发', 218),

('学员', 214),

('掌握', 213),

('study', 211),

('案例', 201),

('163', 201),

('PPT', 199),

('课堂', 197),

('10', 190),

('更新', 184),

('英语', 179),

('知识点', 179),

('职场', 178),

('视频教程', 177),

('轻松', 176),

('Excel', 163),

('PS', 162),

('软件', 158),

('系列', 156),

('快速', 155),

('管理', 151),

('考试', 142),

('数据', 142),

('教学', 139),

('htm', 138),

('大家', 138),

('免费', 137),

('知识', 136),

('课程内容', 134),

('使用', 132),

('课时', 129),

('方法', 128),

('www', 127)]

由于textrank的代码和之前的代码重复度太高，直接研究jieba库就行了，结果和TD-IDF也差不多。

就从结果来看，单纯的TD-IDF和textrank算法不能满足我们的需求。因为‘课程’ ‘学习’的IDF值高，相对于助词来说，被认为是关键词，加之出现频率高，所以出现在第一第二名，但是我们更希望得到的是‘Excel’ ‘PS’这样的具体的关键词，得到当下学习的热点。

下一节会用余弦定理和层次聚类来处理这些数据。