lucene-使用lius解析html

1、代码

package liusextract;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.UnsupportedEncodingException;

import lius.index.html.JTidyHtmlIndexer;
import lius.index.html.NekoHtmlIndexer;

public class extracthtml {

/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
JTidyHtmlIndexer ji=new JTidyHtmlIndexer();
File f=new File("./htmls/hao123.htm");
try {
ji.setStreamToIndex(new FileInputStream(f));
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
String text1=ji.getContent();
try {
text1=new String(text1.getBytes("ISO-8859-1"));
} catch (UnsupportedEncodingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println(text1);
NekoHtmlIndexer ni=new NekoHtmlIndexer();
try {
ni.setStreamToIndex(new FileInputStream(f));
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
String text2=ni.getContent();
System.out.println(text2);

}

}
2、效果

hao123－－我的上网主页 Config.FormConfig.web.content = '<a href="http://www.baidu.com/s?wd=%BD%D7%CC%DD%CA%BD%B5%E7%BC%DB&tn=sitehao123">阶梯式电价<\/a>   <a href="http://top.baidu.com/once/index2.html?c=0&s=1">风云榜 »<\/a>  ';
Config.FormConfig.tieba.content = '<a href="http://tieba.baidu.com/f?kw=%B0%AC%B7%F0%C9%AD">艾佛森<\/a>   <a href="http://tieba.baidu.com/f?kw=%BB%F0%D3%B0%C8%CC%D5%DF">火影忍者<\/a>   <a href="daquan/02tieba.htm">更多 »<\/a>  ';
Config.FormConfig.zhidao.content = '<a href="http://zhidao.baidu.com/question/75035132.html">雾是怎样形成的？<\/a>   <a href="http://zhidao.baidu.com/q?ct=21&cm=14&rn=25&tn=ikcommend">更多 »<\/a>  ';
Config.FormConfig.mp3.content = '<a href="http://mp3.baidu.com/m?f=ms&rf=idx&tn=baidump3&ct=134217728&lf=&rn=&word=%BF%B4%B5%C3%D7%EE%D4%B6%B5%C4%B5%D8%B7%BD&lm=-1">看得最远的地方<\/a>   <a href="http://mp3.baidu.com/m?f=ms&rf=idx&tn=baidump3&ct=134217728&lf=&rn=&word=%C4%BE%C0%BC%D0%C7&lm=-1">木兰星<\/a>   <a href="http://list.mp3.baidu.com/list/topmp3.html"><font class=blackfont>更多 »<\/font><\/a>  ';
Config.FormConfig.image.content = '<a href="http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&word=%B0%AC%B7%F0%C9%AD&s=0">艾佛森<\/a>   <a href="http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&z=0&word=%C1%F5%D2%E0%B7%C6&s=0">刘亦菲<\/a>   <a href="http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&z=0&word=%C0%EE%D3%EE%B4%BA&s=0">李宇春<\/a>   <a href="http://www.baidu.com/search/image_wallpaper.html">更多 »<\/a>  ';
Config.FormConfig.video.content = '<a href="http://video.baidu.com/v?word=%B9%AC%D0%C4%BC%C6">宫心计<\/a>   <a href="2012   http://video.baidu.com/v?word=2012">2012<\/a>   <a href="http://list.video.baidu.com/videostar.html">更多 »<\/a>  ';
Config.FormConfig.news.content = '<a href="http://news.baidu.com/ns?word=%BD%D7%CC%DD%CA%BD%B5%E7%BC%DB">阶梯式电价<\/a>   <a href="http://news.baidu.com/">更多 »<\/a>  ';
设为主页牋主页修复牋我的hao123 牋网友留言帐号邮箱 --请选择-- @163.com 网易 @126.com 网易 @sina.com 新浪 @yahoo.com.cn @yahoo.cn @sohu.com 搜狐 @tom.com @188.com @21cn.com @yeah.net 百度帐号 ChinaRen校友录人人网 51.com --在弹出页登录-- @qq.com @gmail.com @hotmail.com @139.com 密码登录网页 MP3 视频图片贴吧知道新闻更多空间百科有啊地图财经词典说说您平时如何保护电脑安全? 百度一下 ? DynamicForm.tab(G("webTab"),"web","stop") 我喜欢的网站：我定制的网站：娱乐休闲音乐视频游戏电影新闻小说军事图片动漫星座体育 NBA 交友明星社区搞笑生活服务天气彩票查询手机股票基金银行移动房产菜谱汽车地图健康两性女性时尚儿童电视旅游购物大学招聘宠物保险地方网站北京上海广东湖北山东广西湖南四川江苏河南河北山西浙江辽宁安徽福建陕西黑龙江更多 ? 电脑网络软件邮箱空间杀毒闪游硬件桌面聊天其他摄影英语考试教学曲艺琴棋行业国外法律政府公益百　度新　浪腾　讯搜　狐网　易谷　歌凤凰网央视网新华网人民网中国移动中国政府网人人网开心网湖南卫视汽车之家赶集网太平洋电脑网东方财富中华英才网中彩网赛尔号智联招聘携程旅行网百度有啊百姓网 360安全卫士淘宝网 51个人空间工商银行永恒之塔天龙八部中关村在线安居客房产网太平洋汽车网去哪儿网京东网上商城乐淘族鞋城前程无忧人才网卓越网上购物当当网上购物世纪佳缘交友趣玩百货网　　艺龙旅行网　　到到酒店网　　蜀门Online 　　好乐买鞋城　　淘宝皇冠店　　No5化妆品　　名鞋库鞋城　　酷讯飞机票小说起点小说阅读网潇湘书院红袖添香逐浪小说网新浪读书言情小说吧更多 ? 游戏 17173 小游戏天龙八部 7k7k游戏魔域征途问道刀剑英雄2 更多 ? 新闻新浪新闻搜狐新闻新华网联合早报路透中文网中国网更多 ? 军事中华网军事新浪军事网易军事铁血军事凤凰网军事国防部更多 ? 音乐 QQ163音乐网一听音乐爱听音乐可可西音乐百度MP3 酷我音乐盒更多 ? 邮箱 163邮箱雅虎邮箱 126邮箱新浪邮箱 QQ邮箱 Hotmail 139邮箱更多 ? 视频优酷网土豆网新浪视频酷6网迅雷看看 PPLive 风行影视更多 ? 闪游 4399游戏三国风云武侠风云天书奇谈摩尔庄园 265G游戏明朝时代更多 ? 软件天空软件华军软件非凡软件中关村下载太平洋下载新浪下载更多 ? 社区百度贴吧天涯社区 QQ校友猫扑白社会新浪微博更多 ? 财经东方财富 FT中文网金融界华尔街日报新浪财经百度财经更多 ? 交友世纪佳缘珍爱婚恋网嫁我网 360圈交友 9158交友百合网绝对100 更多 ? 硬件太平洋电脑网中关村在线泡泡网 IT168网电脑之家天极网更多 ? 空间 QQ空间网易博客新浪博客 51博客百度空间搜狐博客更多 ? 银行工商银行招商银行农业银行建设银行中国银行交通银行更多 ? 体育新浪体育搜狐体育中国体彩网 NBA中文网虎扑体育网易体育体坛网更多 ? 购物当当网红孩子商城京东商城逛街网鲜花礼品网卓越网百度有啊更多 ? 手机新浪手机手机世界泡泡手机 ZOL手机太平洋手机手机中国 139说客更多 ? 招聘中华英才网前程无忧智联招聘中国人才热线上海第一招聘大街招聘网更多 ? 汽车太平洋汽车新浪汽车汽车之家易车网车168网网上车市爱卡汽车网更多 ? 酷站 Qunar机票新浪女性互动百科女人志千寻服饰爱美女性国家公务员网更多 ? 生活 58同城生活我爱打折网瑞丽搜房网百姓网安居客太平洋亲子网更多 ? 实用查询：快递手机号码天气身份证航班列车时刻在线翻译万年历 IP地址繁体字解梦基金净值网速网页QQ 运程更多 ? 常用软件：迅雷暴风影音 QQ WinRAR 360卫士搜狗拼音千千静听大智慧飞信酷狗驱动精灵在线杀毒 PPS MSN UUSee 更多 ? 游戏专区：魔兽世界 DNF 梦幻西游奥比岛牧场ONWEB 武林英雄商业大亨蜀门穿越火线赛尔号口袋精灵2 91玩游戏 5173 连连看 QQ炫舞冒险岛跑跑卡丁车 QQ飞车诛仙2 开心农场彩虹岛武林外传神鬼传奇反恐精英ol 街头篮球丝路英雄英雄之城更多 ? 关键字：百度一下百度 Google 狗狗地图百科站内关于hao123 --主页修复 --网站提交 --挑错有礼 --宽屏版 --百度版京ICP证030173号 randomPlay();
hao123?????????????÷?? Config.FormConfig.web.content = '<a href="http://www.baidu.com/s?wd=%BD%D7%CC%DD%CA%BD%B5%E7%BC%DB&tn=sitehao123">阶梯式电价</a>   <a href="http://top.baidu.com/once/index2.html?c=0&s=1">风云榜 »</a>  ';Config.FormConfig.tieba.content = '<a href="http://tieba.baidu.com/f?kw=%B0%AC%B7%F0%C9%AD">艾佛森</a>   <a href="http://tieba.baidu.com/f?kw=%BB%F0%D3%B0%C8%CC%D5%DF">火影忍者</a>   <a href="daquan/02tieba.htm">更多 »</a>  ';Config.FormConfig.zhidao.content = '<a href="http://zhidao.baidu.com/question/75035132.html">雾是怎样形成的？</a>   <a href="http://zhidao.baidu.com/q?ct=21&cm=14&rn=25&tn=ikcommend">更多 »</a>  ';Config.FormConfig.mp3.content = '<a href="http://mp3.baidu.com/m?f=ms&rf=idx&tn=baidump3&ct=134217728&lf=&rn=&word=%BF%B4%B5%C3%D7%EE%D4%B6%B5%C4%B5%D8%B7%BD&lm=-1">看得最远的地方</a>   <a href="http://mp3.baidu.com/m?f=ms&rf=idx&tn=baidump3&ct=134217728&lf=&rn=&word=%C4%BE%C0%BC%D0%C7&lm=-1">木兰星</a>   <a href="http://list.mp3.baidu.com/list/topmp3.html"><font class=blackfont>更多 »</font></a>  ';Config.FormConfig.image.content = '<a href="http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&word=%B0%AC%B7%F0%C9%AD&s=0">艾佛森</a>   <a href="http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&z=0&word=%C1%F5%D2%E0%B7%C6&s=0">刘亦菲</a>   <a href="http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&z=0&word=%C0%EE%D3%EE%B4%BA&s=0">李宇春</a>   <a href="http://www.baidu.com/search/image_wallpaper.html">更多 »</a>  ';Config.FormConfig.video.content = '<a href="http://video.baidu.com/v?word=%B9%AC%D0%C4%BC%C6">宫心计</a>   <a href="2012   http://video.baidu.com/v?word=2012">2012</a>   <a href="http://list.video.baidu.com/videostar.html">更多 »</a>  ';Config.FormConfig.news.content = '<a href="http://news.baidu.com/ns?word=%BD%D7%CC%DD%CA%BD%B5%E7%BC%DB">阶梯式电价</a>   <a href="http://news.baidu.com/">更多 »</a>  '; ?????? 设为主页主页修复我的hao123 网友留言帐号邮箱 --请选择-- @163.com 网易 @126.com 网易 @sina.com 新浪 @yahoo.com.cn @yahoo.cn @sohu.com 搜狐 @tom.com @188.com @21cn.com @yeah.net 百度帐号 ChinaRen校友录人人网 51.com --在弹出页登录-- @qq.com @gmail.com @hotmail.com @139.com 密码登录网页 MP3 视频图片贴吧知道新闻更多空间百科有啊地图财经词典说说您平时如何保护电脑安全? 百度一下 ? DynamicForm.tab(G("webTab"),"web","stop") 我喜欢的网站：我定制的网站：娱乐休闲音乐视频游戏电影新闻小说军事图片动漫星座体育 NBA 交友明星社区搞笑生活服务天气彩票查询手机股票基金银行移动房产菜谱汽车地图健康两性女性时尚儿童电视旅游购物大学招聘宠物保险地方网站北京上海广东湖北山东广西湖南四川江苏河南河北山西浙江辽宁安徽福建陕西黑龙江更多 ? 电脑网络软件邮箱空间杀毒闪游硬件桌面聊天其他摄影英语考试教学曲艺琴棋行业国外法律政府公益百　度新　浪腾　讯搜　狐网　易谷　歌凤凰网央视网新华网人民网中国移动中国政府网人人网开心网湖南卫视汽车之家赶集网太平洋电脑网东方财富中华英才网中彩网赛尔号智联招聘携程旅行网百度有啊百姓网 360安全卫士淘宝网 51个人空间工商银行永恒之塔天龙八部中关村在线安居客房产网太平洋汽车网去哪儿网京东网上商城乐淘族鞋城前程无忧人才网卓越网上购物当当网上购物世纪佳缘交友　　　　　　　　　　　　　　　　趣玩百货网艺龙旅行网到到酒店网蜀门Online 好乐买鞋城淘宝皇冠店 No5化妆品名鞋库鞋城酷讯飞机票小说起点小说阅读网潇湘书院红袖添香逐浪小说网新浪读书言情小说吧更多 ? 游戏 17173 小游戏天龙八部 7k7k游戏魔域征途问道刀剑英雄2 更多 ? 新闻新浪新闻搜狐新闻新华网联合早报路透中文网中国网更多 ? 军事中华网军事新浪军事网易军事铁血军事凤凰网军事国防部更多 ? 音乐 QQ163音乐网一听音乐爱听音乐可可西音乐百度MP3 酷我音乐盒更多 ? 邮箱 163邮箱雅虎邮箱 126邮箱新浪邮箱 QQ邮箱 Hotmail 139邮箱更多 ? 视频优酷网土豆网新浪视频酷6网迅雷看看 PPLive 风行影视更多 ? 闪游 4399游戏三国风云武侠风云天书奇谈摩尔庄园 265G游戏明朝时代更多 ? 软件天空软件华军软件非凡软件中关村下载太平洋下载新浪下载更多 ? 社区百度贴吧天涯社区 QQ校友猫扑白社会新浪微博更多 ? 财经东方财富 FT中文网金融界华尔街日报新浪财经百度财经更多 ? 交友世纪佳缘珍爱婚恋网嫁我网 360圈交友 9158交友百合网绝对100 更多 ? 硬件太平洋电脑网中关村在线泡泡网 IT168网电脑之家天极网更多 ? 空间 QQ空间网易博客新浪博客 51博客百度空间搜狐博客更多 ? 银行工商银行招商银行农业银行建设银行中国银行交通银行更多 ? 体育新浪体育搜狐体育中国体彩网 NBA中文网虎扑体育网易体育体坛网更多 ? 购物当当网红孩子商城京东商城逛街网鲜花礼品网卓越网百度有啊更多 ? 手机新浪手机手机世界泡泡手机 ZOL手机太平洋手机手机中国 139说客更多 ? 招聘中华英才网前程无忧智联招聘中国人才热线上海第一招聘大街招聘网更多 ? 汽车太平洋汽车新浪汽车汽车之家易车网车168网网上车市爱卡汽车网更多 ? 酷站 Qunar机票新浪女性互动百科女人志千寻服饰爱美女性国家公务员网更多 ? 生活 58同城生活我爱打折网瑞丽搜房网百姓网安居客太平洋亲子网更多 ? ：实用查询快递手机号码天气身份证航班列车时刻在线翻译万年历 IP地址繁体字解梦基金净值网速网页QQ 运程更多 ? ：常用软件迅雷暴风影音 QQ WinRAR 360卫士搜狗拼音千千静听大智慧飞信酷狗驱动精灵在线杀毒 PPS MSN UUSee 更多 ? ：游戏专区魔兽世界 DNF 梦幻西游奥比岛牧场ONWEB 武林英雄商业大亨蜀门穿越火线赛尔号口袋精灵2 91玩游戏 5173 连连看 QQ炫舞冒险岛跑跑卡丁车 QQ飞车诛仙2 开心农场彩虹岛武林外传神鬼传奇反恐精英ol 街头篮球丝路英雄英雄之城更多 ? 关键字：百度一下百度 Google 狗狗地图百科站内 ---------- 关于hao123 主页修复网站提交挑错有礼宽屏版百度版京ICP证030173号 randomPlay();

lucene-使用lius解析html相关推荐

Lucene 全文搜索解析
一.创建查询对象的方式对要搜索的信息创建 Query 查询对象,Lucene 会根据 Query 查询对象生成最终的查询语法.类似关系数据库 Sql 语法一样,Lucene 也有自己的查询语法,比如 ...
Lucene学习总结之七：Lucene搜索过程解析
一.Lucene搜索过程总论搜索的过程总的来说就是将词典及倒排表信息从索引中读出来,根据用户输入的查询语句合并倒排表,得到结果文档集并对文档进行打分的过程. 其可用如下图示: 总共包括以下几个过程: ...
lucene-使用lius解析word、excel
下载lius http://sourceforge.net/projects/lius/ 1.解析word package liusextract; import java.io.File; impo ...
lucene .doc文件格式解析——见图
摘自:http://forfuture1978.iteye.com/blog/546841 4.2.2. 文档号及词频(frq)信息文档号及词频文件里面保存的是倒排表,是以跳跃表形式存在的. 此文件 ...
Lucene源码解析--TokenStream和AttributeSource
转 http://blog.itpub.net/28624388/viewspace-765691/ 一:Lucene 的概况<style. /* Style. Definitions */ t ...
lucene-使用lius解析pdf、ppt、rtf、txt、xml
1.代码 package liusextract; import java.io.File; import java.io.FileInputStream; import java.io.FileNo ...
标准查询分析器：Solr的默认查询解析器也称为“Lucene”解析器。
标准查询分析器:Solr的默认查询解析器也称为"Lucene"解析器. 标准查询解析器的主要优点是,它支持一种健壮且相当直观的语法,允许您创建各种结构化查询.最大的缺点是,与设计为 ...
Lucene 开发手册
1.1 前言 l 编制本手册的目的: 1．描述Lucene用途,使开发人员依据本手册初步认识Lucene: 2．描述Lucene的API,使开发人员可以快速认识并利用Lucene开发搜索引擎: 3 ...
Lucene学习总结之八：Lucene的查询语法，JavaCC及QueryParser
一.Lucene的查询语法 Lucene所支持的查询语法可见http://lucene.apache.org/java/3_0_1/queryparsersyntax.html (1) 语法关键字 + ...

lucene-使用lius解析html

lucene-使用lius解析html相关推荐

最新文章

热门文章