lucene-使用htmlparser解析未设定编码页面

一、

1、使用htmlparser解析网页，如果页面没有设定编码，那么htmlparser将会iso-8859-1和编码方式解析网页

2、本例假定网页没有指定编码，将http://hao.360.cn/主页另存在本地，为360a.htm，然后删除下面一行

<META content="text/html; charset=gb2312" http-equiv=Content-Type>。程序目的是解析出文本

二、使用org.htmlparser.beans.StringBean

1、代码

package extract;
import java.io.UnsupportedEncodingException;

import org.htmlparser.beans.StringBean;

public class extracthtmlcon {

/**
* @param args
*/
public static String getText(String f){
StringBean sb=new StringBean();
sb.setLinks(false);
sb.setReplaceNonBreakingSpaces(true);
sb.setCollapse(true);
sb.setURL(f);
String s=sb.getStrings();
try {
s=new String(s.getBytes("ISO-8859-1"));
} catch (UnsupportedEncodingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return s;

}
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/360a.htm");
System.out.print(s);

}

2、效果如下：

360网址导航－实用网址大全,安全上网从360开始
起始页搜索页网址导航设置 | 设为主页 | 收藏
选择邮箱@163.com网易@126.com网易@qq.com@yeah.net邮箱@sina.com 新浪@sina.cn 新浪@vip.sina.com@yahoo.com.cn@yahoo.cn@gmail.com@sohu.com搜狐@vip.sohu.com@tom.com@21cn.com@263.net@china.com 中华@139.com-其他服务-百度账号51帐号chinaren校友录校内网
关闭页面设置
运程
闹钟
网页|图片|音乐|视频|贴吧|知道
公安部公布赌球案进展 “裸体官员”(不能任正职) 捡钱归还反成被告信春哥不挂科专家建议准生二胎(少儿人口大降) 房补饭补缴税更多>>
百度谷歌奇虎购物
百度
新浪--微博
搜狐--白社会
网易--邮箱
凤凰网
腾讯QQ--空间
校内-人人网
开心网
智联招聘
谷歌
奇虎问答
360安全卫士
淘宝网
优酷视频
土豆网
迅雷看看
东方财富网
京东网上商城
新华网
人民网
CCTV
证券之星
彩票大赢家
中国新闻网
51个人空间
猫扑大杂烩
天涯社区
世纪佳缘交友
百合婚恋网
起点中文网
易车网
电脑之家
中国移动
工商银行
招商银行
搜房网
E家网购物
当当购物
凡客诚品服饰
58 同城
摩尔庄园
中国供应商
安居客二手房
卓越网
东京时尚内衣
佳人女性网
No5化妆品网
百姓网
赶集网
多玩游戏网
360游戏中心
易购打折网
大众点评网
宝宝树育儿网
A 股
实时行情大盘荐股提示
基金
净值排名盘中净值回报排行
消息
股市播报股吧热贴论坛精华
新闻
滚动新闻媒体头条新闻排行
环球
港股美股美股评论外汇
彩票
每日开奖统计列表彩民论坛
福彩
双色球 3D 十一夺金时时彩
体彩
大乐透排列三排列五七星彩
足彩
胜负彩进球彩任九场六场半
酷讯特价机票
酷讯特惠酒店
玛萨玛索男装
麦网时尚购物
麒迅打折机票
齐购手机商城
乐行精品鞋包
名牌特卖会
vancl男装商城
热门分类
彩票
查询
股票
女性
两性
音乐
视频
游戏
购物
电影
图片
更多
生活服务
天气
基金
银行
NBA
票务
充值
汽车
房产
手机
数码
健康
美食
亲子
旅游
宠物
电视
法律
招聘
娱乐休闲
新闻
小说
军事
体育
足球
娱乐
动漫
交友
社区
闪游
笑话
星座
美女
减肥
地方网站
北京
天津
上海
河南
湖北
湖南
广东
广西
海南
四川
贵州
云南
陕西
甘肃
宁夏
山东
江西
重庆
河北
山西
辽宁
吉林
黑龙江
更多
电脑网络
软件
电脑
博客
黑客
BT
聊天
硬件
搜索
编程
建站
杀毒
设计
动画
资源
文化教育
教育
科技
外语
考试
论文
校园
爱好
人文
公益
留学
其它类别
黄页
政府
地方
行业
国外
WAP
酷站
欧美冬季服装3折限量热卖游戏-小说-音乐-视频-图片-闪游
更多>>
[游戏]
商业大亨
武林英雄
德州扑克
弹弹堂
三国风云
幸福厨房
更多>>
[小说]
起点中文网
新浪小说
小说阅读网
榕树下
幻剑书盟
看书小说网
更多>>
[音乐]
QQ163音乐
我爱音乐
一听音乐
谷歌音乐
搜刮音乐下载
爱听音乐
更多>>
[视频]
优酷网
土豆网
激动网
酷6网
六间房
56网
更多>>
[图片]
口袋酷图
美空美图
蜂鸟影像
大旗贴图
POCO摄影网
新华图片
更多>>
[闪游]
4399小游戏
17173小游戏
7k7k
JJ斗地主
新浪小游戏
地瓜小游戏
最新万人在线网游新闻-体育-军事-房产-财经-招聘
更多>>
[新闻]
新浪新闻
搜狐新闻
新华网
联合早报
百度新闻
CCTV新闻
更多>>
[体育]
搜狐体育
网易体育
NBA中文网
ESPN中文网
新传NBA
新浪体育
更多>>
[军事]
中华网军事
新浪军事
环球网军事
西陆军事
新华网军事
铁血军事
更多>>
[房产]
搜房网
焦点房产
新浪房产
房价网
易居房产
安居客二手房
更多>>
[财经]
东方财富网
金融界
和讯财经
凤凰财经
和瑞财经
中金在线
更多>>
[招聘]
中华英才网
前程无忧
智联招聘
中国人才热线
职酷招聘
上海第一招聘
玩网游卡吗？看这里！购物-旅游-生活-亲子-宠物-女性
更多>>
[购物]
淘宝网
当当网
京东商城
E家购物网
名牌折扣网
广购网名品
更多>>
[旅游]
酷讯折扣机票
携程旅行网
艺龙旅行网
去哪儿酒店
芒果网
到到酒店网
更多>>
[生活]
赶集网
58同城
百姓网
大众点评网
爱帮网
701生活搜索
更多>>
[亲子]
妈妈说
红孩子
摇篮网
中国早教网
宝宝树
CCTV少儿点播
更多>>
[宠物]
新浪宠物
宠物中国
中国名犬网
爱狗网
宠物之家
海网宠物
更多>>
[女性]
yoka时尚网
瑞丽女性网
太平洋女性网
新浪女性
闺密女性网
网易女人
邮箱-银行-社区-博客-交友-两性
更多>>
[邮箱]
163邮箱
126邮箱
QQ邮箱
雅虎邮箱
新浪邮箱
Hotmail
更多>>
[银行]
工商银行
招商银行
农业银行
建设银行
中国银行
交通银行
更多>>
[社区]
百度贴吧
天涯社区
搜狐社区
猫扑大杂烩
139社区
开心网
更多>>
[博客]
QQ空间
网易博客
新浪博客
百度空间
搜狐博客
新浪微博
更多>>
[交友]
世纪佳缘
珍爱婚恋网
嫁我网
百合网
赛我网
爱情公寓
更多>>
[两性]
腾讯健康
女娲健康网
新浪两性学堂
搜狐两性
人民网两性
39健康网
玩游戏必备杀软汽车-手机-数码-软件-票务-酷站
更多>>
[汽车]
易车网
太平洋汽车
搜狐汽车
新浪汽车
汽车用品
汽车之家
更多>>
[手机]
新浪手机
手机世界
泡泡手机
太平洋手机
友人网
塞班手机论坛
更多>>
[数码]
泡泡网
电脑之家
太平洋电脑
中关村在线
IT168
天极网
更多>>
[软件]
天空软件
腾讯下载
华军软件
非凡软件
太平洋下载
新浪下载
更多>>
[票务]
票务通
携程机票
去哪儿机票
酷讯火车票
火车票网
中国票务网
更多>>
[酷站]
阿里巴巴
星岛新闻网
MSN中文网
金蝶友商网
汽车点评网
手机中国
Copyright ?360网址导航. All Rights Reserved. | 申请收录网站 | 有奖挑错 | 意见反馈 | 广告销售
京ICP备06060858号
当前时间：2009年09月14日 18时41分15秒
定时闹钟
提醒时间：
23 时 45 分
闹钟铃声：
爱如潮水春江花月夜二泉映月回家卡农梁祝浏阳河茉莉花南泥湾起床号千里之外上海滩水边的阿迪丽娜天仙配甜蜜蜜土耳其进行曲我只在乎你星语心愿致爱丽丝猪八戒背媳妇最浪漫的事试听
提示文字：
重复提醒：
不重复每天提醒
隐藏
温馨提示：
·如关闭360网址导航首页，闹钟功能将失效。
·需要打开音响或佩戴耳机，以便听到提示铃声。
'+solarDay2()+'';getObj('chineseCalendar').innerHTML = ''+weekday()+'
黄历'; setTimeout('$("#xxadboo").html("");' , 1000); (function(){try{g_securityId = external.twGetSecurityID( window );g_strTwVersion = external.twGetVersion( g_securityId );PATH =external.twGetRunPath; is360SE=PATH.toLowerCase().indexOf('360se')>-1?true:flase; if(g_strTwVersion && is360SE){getObj('m5').style.display='';}}catch(e){}})();

二、使用org.htmlparser.visitors.TextExtractingVisitor

1、代码

package extract;
import java.io.UnsupportedEncodingException;

import org.htmlparser.Parser;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.TextExtractingVisitor;

public class extracthtmlparcon {
public static String getText(String f) {
String s="";
try {
Parser parser=new Parser(f);
TextExtractingVisitor visitor=new TextExtractingVisitor();
parser.visitAllNodesWith(visitor);
s=visitor.getExtractedText();
s=new String(s.getBytes("iso-8859-1"));
} catch (ParserException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
catch (UnsupportedEncodingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}

return s;

}
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/360a.htm");
System.out.print(s);

}

2、效果

360网址导航－实用网址大全,安全上网从360开始

起始页搜索页网址导航设置 | 设为主页 | 收藏
选择邮箱@163.com网易@126.com网易@qq.com@yeah.net邮箱@sina.com
新浪@sina.cn 新浪@vip.sina.com@yahoo.com.cn@yahoo.cn@gmail.com@sohu.com搜狐@vip.sohu.com@tom.com@21cn.com@263.net@china.com 中华@139.com-其他服务-百度账号51帐号chinaren校友录校内网

<!--

hr0 ='<a href="http://koudai.360.cn/u/22629655/article_230993554.html?k=ac10" target="_blank">妻子生了个“也好”</a>';
hr1 ='<a href="http://koudai.360.cn/u/22629655/article_230993361.html?k=90fb" target="_blank">深夜遇到一赤身裸体的男子</a>';
hr2 ='<a href="http://koudai.360.cn/u/22629655/article_230993249.html?k=e6d2" target="_blank">学生的巧辩</a>';
hr3 ='<a href="http://koudai.360.cn/u/22629655/article_230993117.html?k=11e7" target="_blank">老大爷的银行密码</a>';
hr4 ='<a href="http://koudai.360.cn/u/22629655/article_230992900.html?k=f80d" target="_blank">上帝无所不在无所不知</a>';

function getunum(){
var now=new Date();
var number = now.getSeconds()%5;
document.write(eval('hr'+number));
}
getunum();
//-->

关闭页面设置

运程闹钟

网页|图片|音乐|视频|贴吧|知道

公安部公布赌球案进展 “裸体官员”(不能任正职) 捡钱归还反成被告信春哥不挂科专家建议准生二胎(少儿人口大降) 房补饭补缴税更多>>
百度谷歌奇虎购物

init();
highlightSearchTab();
showSehomeMode();

百度
新浪--微博

搜狐--白社会

网易--邮箱
凤凰网
腾讯QQ--空间
校内-人人网

开心网
智联招聘

谷歌
奇虎问答
360安全卫士
淘宝网
优酷视频
土豆网
迅雷看看
东方财富网
京东网上商城

新华网
人民网
CCTV
证券之星
彩票大赢家
中国新闻网
51个人空间
猫扑大杂烩
天涯社区
世纪佳缘交友

百合婚恋网

起点中文网

易车网
电脑之家
中国移动
工商银行
招商银行
搜房网

E家网购物
当当购物

凡客诚品服饰

58 同城
摩尔庄园
中国供应商
安居客二手房

卓越
网
东京时尚内衣

佳人女性网
No5化妆品网
百姓网
赶集网

多玩游戏网
360游戏中心
易购打折网
大众点评网
宝宝树育儿网

A
股
实时行情大盘荐股提示

基金
净值排名盘中净值回报排行

消息
股市播报股吧热贴论坛精华

新闻
滚动新闻媒体头条新闻排行

环球
港股美股美股评论外汇

彩票
每日开奖统计列表彩民论坛

福彩
双色球 3D 十一夺金时时彩

体彩
大乐透排列三排列五七星彩

足彩
胜负彩进球彩任九场六场半

酷讯特价机票

酷讯特惠酒店

玛萨玛索男装

麦网时尚购物

麒迅打折机票

齐购手机商城

乐行精品鞋包

名牌特卖会

vancl男装商城

热门分类

彩票
查询
股票
女性
两性
音乐
视频
游戏
购物
电影
图片
更多

生活服务

天气
基金
银行
NBA
票务
充值
汽车
房产
手机
数码
健康
美食
亲子
旅游
宠物
电视
法律
招聘

娱乐休闲

新闻
小说
军事
体育
足球
娱乐
动漫
交友
社区
闪游
笑话
星座
美女
减肥

地方网站

北京
天津
上海
河南
湖北
湖南
广东
广西
海南
四川
贵州
云南
陕西
甘肃
宁夏
山东
江西
重庆
河北
山西
辽宁
吉林
黑龙江
更多

电脑网络

软件
电脑
博客
黑客
BT
聊天
硬件
搜索
编程
建站
杀毒
设计
动画
资源

文化教育

教育
科技
外语
考试
论文
校园
爱好
人文
公益
留学

其它类别

黄页
政府
地方
行业
国外
WAP
酷站

欧美冬季服装3折限量热卖游戏-小说-音乐-视频-图片-闪游

更多>>
[游戏]
商业大亨
武林英雄
德州扑克
弹弹堂
三国风云
幸福厨房
更多>>
[小说]
起点中文网
新浪小说
小说阅读网
榕树下
幻剑书盟
看书小说网
更多>>
[音乐]
QQ163音乐
我爱音乐
一听音乐
谷歌音乐
搜刮音乐下载
爱听音乐
更多>>
[视频]
优酷网
土豆网
激动网
酷6网
六间房
56网
更多>>
[图片]
口袋酷图
美空美图
蜂鸟影像
大旗贴图
POCO摄影网
新华图片
更多>>
[闪游]
4399小游戏
17173小游戏
7k7k
JJ斗地主
新浪小游戏
地瓜小游戏

最新万人在线网游新闻-体育-军事-房产-财经-招聘

更多>>
[新闻]
新浪新闻
搜狐新闻
新华网
联合早报
百度新闻
CCTV新闻
更多>>
[体育]
搜狐体育
网易体育
NBA中文网
ESPN中文网
新传NBA
新浪体育
更多>>

[军事]
中华网军事
新浪军事
环球网军事
西陆军事
新华网军事
铁血军事
更多>>

[房产]
搜房网
焦点房产
新浪房产
房价网
易居房产
安居客二手房

更多>>
[财经]
东方财富网
金融界
和讯财经
凤凰财经
和瑞财经
中金在线
更多>>

[招聘]
中华英才网
前程无忧
智联招聘
中国人才热线
职酷招聘
上海第一招聘

玩网游卡吗？看这里！购物-旅游-生活-亲子-宠物-女性

更多>>
[购物]
淘宝网
当当网
京东商城
E家购物网
名牌折扣网
广购网名品

更多>>

[旅游]
酷讯折扣机票
携程旅行网
艺龙旅行网
去哪儿酒店
芒果网
到到酒店网
更多>>

[生活]
赶集网
58同城
百姓网
大众点评网
爱帮网
701生活搜索

更多>>
[亲子]
妈妈说
红孩子
摇篮网
中国早教网
宝宝树
CCTV少儿点播
更多>>
[宠物]
新浪宠物
宠物中国
中国名犬网
爱狗网
宠物之家
海网宠物
更多>>
[女性]
yoka时尚网
瑞丽女性网
太平洋女性网
新浪女性
闺密女性网
网易女人

邮箱-银行-社区-博客-交友-两性

更多>>

[邮箱]
163邮箱
126邮箱
QQ邮箱
雅虎邮箱
新浪邮箱
Hotmail
更多>>
[银行]

工商银行
招商银行
农业银行
建设银行
中国银行
交通银行
更多>>
[社区]
百度贴吧
天涯社区
搜狐社区
猫扑大杂烩
139社区
开心网
更多>>
[博客]
QQ空间
网易博客
新浪博客
百度空间
搜狐博客
新浪微博

更多>>

[交友]
世纪佳缘
珍爱婚恋网
嫁我网
百合网
赛我网
爱情公寓
更多>>
[两性]
腾讯健康
女娲健康网
新浪两性学堂
搜狐两性
人民网两性
39健康网

玩游戏必备杀软汽车-手机-数码-软件-票务-酷站

更多>>
[汽车]
易车网
太平洋汽车
搜狐汽车
新浪汽车
汽车用品
汽车之家
更多>>

[手机]
新浪手机
手机世界
泡泡手机
太平洋手机
友人网
塞班手机论坛
更多>>
[数码]
泡泡网
电脑之家
太平洋电脑
中关村在线
IT168
天极网
更多>>
[软件]
天空软件
腾讯下载
华军软件
非凡软件
太平洋下载
新浪下载
更多>>
[票务]
票务通
携程机票
去哪儿机票
酷讯火车票
火车票网
中国票务网
更多>>
[酷站]
阿里巴巴
星岛新闻网
MSN中文网
金蝶友商网
汽车点评网
手机中国

当前时间：2009年09月14日
18时41分15秒

定时闹钟

提醒时间：
23 时
45 分

闹钟铃声：
爱如潮水春江花月夜二泉映月回家卡农梁祝浏阳河茉莉花南泥湾起床号千里之外上海滩水边的阿迪丽娜天仙配甜蜜蜜土耳其进行曲我只在乎你星语心愿致爱丽丝猪八戒背媳妇最浪漫的事试听

提示文字：

重复提醒：
不重复每天提醒

隐藏

温馨提示：
·如关闭360网址导航首页，闹钟功能将失效。
·需要打开音响或佩戴耳机，以便听到提示铃声。

document.getElementById("rightBo").style.height=document.getElementById("left").offsetHeight-2+"px";

getObj('solarYear').innerHTML = '<a href="http://hao.360.cn/tools/wnl.htm">'+YYMMDD()+''+solarDay2()+'';getObj('chineseCalendar').innerHTML = ''+weekday()+'黄历';
setTimeout('$("#xxadboo").html("");' , 1000);
(function(){try{g_securityId = external.twGetSecurityID( window );g_strTwVersion = external.twGetVersion( g_securityId );PATH =external.twGetRunPath; is360SE=PATH.toLowerCase().indexOf('360se')>-1?true:flase; if(g_strTwVersion && is360SE){getObj('m5').style.display='';}}catch(e){}})();

var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www.");document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));

try {var pageTracker = _gat._getTracker("UA-6143502-1");pageTracker._trackPageview();} catch(err) {}

lucene-使用htmlparser解析未设定编码页面相关推荐

htmlparser解析网站时服务器返回的文件编码和页面编码不一致问题
1.用htmlparser解析http://gz.fang.com/抛出如下异常: Exception in thread "main" org.htmlparser.util.E ...
浏览器跳出HTML编码,浏览器如何解析HTML字符编码
浏览器如何解析HTML字符编码概述为HTML文档尽早指定字符编码,可以让浏览器立刻开始执行脚本. 细节 HTML文档是作为带有字符编码信息的字节流序列在互联网中传送的.字符编码信息可以在随文档发送 ...
浏览器如何解析HTML字符编码
浏览器如何解析HTML字符编码概述为HTML文档尽早指定字符编码,可以让浏览器立刻开始执行脚本. 细节 HTML文档是作为带有字符编码信息的字节流序列在互联网中传送的.字符编码信息可以在随文档发送 ...
java 拦截指定jsp_详解Struts2中对未登录jsp页面实现拦截功能
struts2中拦截器大家都很经常使用,但是拦截器只能拦截action不能拦截jsp页面.这个时候就有点尴尬了,按道理来说没登录的用户只能看login界面不能够通过输入url进行界面跳转,这显然是不合 ...
Drf从入门到精通四（Drf请求与响应、Drf能够解析的请求编码与响应编码、Drf视图、Drf视图基类）
文章目录一.Drf请求与响应 1.Request类和Response类 2.Drf能够解析的请求编码与相应编码二.Drf视图组件四.Drf视图基类 1.基于APIView写5个接口 2.基于Ge ...
怎样将网站未收录的页面重新收录？
众所周知,新网站在刚开始的优化中,对于网站的收录是非常慢的,也很难被搜索引擎收录,因为搜索引擎要对网站进行一段时间的考察,所以新网站往往收录会很低.但同样也要注意网站所更新内容的高质量性,接下来就教大 ...
Lucene 全文搜索解析
一.创建查询对象的方式对要搜索的信息创建 Query 查询对象,Lucene 会根据 Query 查询对象生成最终的查询语法.类似关系数据库 Sql 语法一样,Lucene 也有自己的查询语法,比如 ...
html页脚显示不出来,CSS实例:让页脚保持在未满屏页面的底部
CSS实例:让页脚保持在未满屏页面的底部互联网发布时间:2008-10-17 19:20:27 作者:佚名我要评论在内容不超过一屏的情况下,当浏览器窗口变小那行页脚文字会跟着向上浮 ...
用HTMLParser解析html时报错：No module named 'htmlentitydefs'
python3.6用HTMLParser解析html时报错 No module named 'htmlentitydefs'或No module named 'markupbase' 先上代码 fro ...
润乾报表：com.runqian report4.dataset.SQLDataSetFactory 失败：数据集中，数据集ds1 中未设定数据源名称，且无默认数据源，请检查数据源设定
润乾报表产生数据工厂:com.runqian report4.dataset.SQLDataSetFactory 失败:数据集中,数据集ds1 中未设定数据源名称,且无默认数据源,请检查数据源设定 ...

lucene-使用htmlparser解析未设定编码页面

lucene-使用htmlparser解析未设定编码页面相关推荐

最新文章

热门文章