今日目标：爬取CVPR2018论文，进行分析总结出提到最多的关键字，生成wordCloud词云图展示，并且设置点击后出现对应的论文以及链接

对任务进行分解：

①爬取CVPR2018的标题，简介，关键字，论文链接

②将爬取的信息生成wordCloud词云图展示

③设置点击事件，展示对应关键字的论文以及链接

一、爬虫实现

由于文章中并没有找到关键字，于是将标题进行拆分成关键字，用逗号隔开

import requests

from bs4 import BeautifulSoup

import demjson

import pymysql

import os

headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息

url='http://openaccess.thecvf.com/CVPR2018.py'

r=requests.get(url,headers=headers)

content=r.content.decode('utf-8')

soup = BeautifulSoup(content, 'html.parser')

dts=soup.find_all('dt',class_='ptitle')

hts='http://openaccess.thecvf.com/'

#数据爬取

alllist=[]

for i in range(len(dts)):

print('这是第'+str(i)+'个')

title=dts[i].a.text.strip()

href=hts+dts[i].a['href']

r = requests.get(href, headers=headers)

content = r.content.decode('utf-8')

soup = BeautifulSoup(content, 'html.parser')

#print(title,href)

divabstract=soup.find(name='div',attrs={"id":"abstract"})

abstract=divabstract.text.strip()

#print('第'+str(i)+'个：',abstract)

alllink=soup.select('a')

link=hts+alllink[4]['href'][6:]

keyword=str(title).split(' ')

keywords=''

for k in range(len(keyword)):

if(k==0):

keywords+=keyword[k]

else:

keywords+=','+keyword[k]

value=(title,abstract,link,keywords)

alllist.append(value)

print(alllist)

tuplist=tuple(alllist)

#数据保存

db = pymysql.connect("localhost", "root", "fengge666", "yiqing", charset='utf8')

cursor = db.cursor()

sql_cvpr = "INSERT INTO cvpr values (%s,%s,%s,%s)"

try:

cursor.executemany(sql_cvpr,tuplist)

db.commit()

except:

print('执行失败，进入回调3')

db.rollback()

二、将数据进行wordCloud展示

首先找到对应的包，来展示词云图

然后通过异步加载，将后台的json数据进行展示。

由于第一步我们获得的数据并没有对其进行分析，因此我们在dao层会对其进行数据分析，找出所有的关键字的次数并对其进行降序排序(用Map存储是最好的方式)

public Mapgetallmax()

{

String sql="select * from cvpr";

Mapmap=new HashMap();

Mapsorted=new HashMap();

Connection con=null;

Statement state=null;

ResultSet rs=null;

con=DBUtil.getConn();try{

state=con.createStatement();

rs=state.executeQuery(sql);while(rs.next())

{

String keywords=rs.getString("keywords");

String[] split= keywords.split(",");for(int i=0;i

{if(map.get(split[i])==null)

{

map.put(split[i],0);

}else{

map.replace(split[i], map.get(split[i])+1);

}

}

}

}catch(SQLException e) {//TODO Auto-generated catch block

e.printStackTrace();

}

DBUtil.close(rs, state, con);

sorted=map

.entrySet()

.stream()

.sorted(Collections.reverseOrder(comparingByValue()))

.collect(

toMap(Map.Entry::getKey, Map.Entry::getValue, (e1, e2)->e2,

LinkedHashMap::new));returnsorted;

}

到servlet层后，我们还需对数据进行一定的筛选(介词，a，等词语应该去除掉，要不然会干扰我们分析关键字)，取前30名关键字，在前台进行展示

aracterEncoding("utf-8");

MapsortMap=dao.getallmax();

JSONArray json=newJSONArray();int k=0;for (Map.Entryentry : sortMap.entrySet())

{

JSONObject ob=newJSONObject();

ob.put("name", entry.getKey());

ob.put("value", entry.getValue());if(!(entry.getKey().equals("for")||entry.getKey().equals("and")||entry.getKey().equals("With")||entry.getKey().equals("of")||entry.getKey().equals("in")||entry.getKey().equals("From")||entry.getKey().equals("A")||entry.getKey().equals("to")||entry.getKey().equals("a")||entry.getKey().equals("the")||entry.getKey().equals("by")))

{

json.add(ob);

k++;

}if(k==30)break;

}

System.out.println(json.toString());

response.getWriter().write(json.toString());

三、设置点击事件，展示对应关键字的论文以及链接

//设置点击效果 var ecConfig = echarts.config; myChart.on('click', eConsole);

用函数来实现点击事件的内容：通过点击的关键字，后台进行模糊查询，找到对应的论文题目以及链接，返回到前端页面

function eConsole(param) {if (typeof param.seriesIndex == 'undefined') {return;

}if (param.type == 'click') {var word=param.name;var htmltext="

$.post('findkeytitle',

{'word':word},

function(result)

{

json=JSON.parse(result);for(i=0;i

{

htmltext+="

"+json[i].Title+"";

}

htmltext+="

"$("#show").html(htmltext);

}

)

}

}

成果展示：

前台页面代码：

background-color: black;

}

#main {

width:70%;

height:100%;

margin:0;float:right;

background: black;

}

#show{

overflow-x: auto;

overflow-y: auto;

width:30%;

height:100%;float:left;

margin-top:100dp;

padding-top:100dp;

background: pink;

}

echartsCloud();

});//点击事件

function eConsole(param) {if (typeof param.seriesIndex == 'undefined') {return;

}if (param.type == 'click') {var word=param.name;var htmltext="

$.post('findkeytitle',

{'word':word},

function(result)

{

json=JSON.parse(result);for(i=0;i

{

htmltext+="

"+json[i].Title+"";

}

htmltext+="

"$("#show").html(htmltext);

}

)

}

}

function echartsCloud(){

$.ajax({

url:"getmax",

type:"POST",

dataType:"JSON",async:true,

success:function(data)

{var mydata = new Array(0);for(var i=0;i

{var d ={

};

d["name"] = data[i].name;//.substring(0, 2);

d["value"] =data[i].value;

mydata.push(d);

}var myChart = echarts.init(document.getElementById('main'));//设置点击效果

var ecConfig =echarts.config;

myChart.on('click', eConsole);

myChart.setOption({

title: {

text:''},

tooltip: {},

series: [{

type :'wordCloud', //类型为字符云

shape:'smooth', //平滑

gridSize : 8, //网格尺寸

size : ['50%','50%'],//sizeRange : [ 50, 100 ],

rotationRange : [-45, 0, 45, 90], //旋转范围

textStyle : {

normal : {

fontFamily:'微软雅黑',

color: function() {return 'rgb(' +Math.round(Math.random()* 255) +

',' + Math.round(Math.random() * 255) +

',' + Math.round(Math.random() * 255) + ')'}

},

emphasis : {

shadowBlur :5, //阴影距离

shadowColor : '#333' //阴影颜色

}

},

left:'center',

top:'center',

right:null,

bottom:null,

width:'100%',

height:'100%',

data:mydata

}]

});

}

});

}