目录

Lucene.net站内搜索—1、SEO优化
Lucene.net站内搜索—2、Lucene.Net简介和分词
Lucene.net站内搜索—3、最简单搜索引擎代码
Lucene.net站内搜索—4、搜索引擎第一版技术储备(简单介绍Log4Net、生产者消费者模式)
Lucene.net站内搜索—5、搜索引擎第一版实现
Lucene.net站内搜索—6、站内搜索第二版

  • 站内搜索模块:生产者、消费者,多线程。复习多线程,用多线程做一个winform的生产者、消费者的例子,有任务的时候(点按钮给整数)就处理任务,没任务的时候就每次扫描都说“还是没任务,睡会再看”,用Sleep模拟耗时操作,线程中操作UI线程的代码见备注。
  • 派一个人来管理索引库,想向索引库中写数据的地方都向这个人来发出请求。
  • 由于索引库同时只能有一个IndexWriter进行写,所以有一个消费者线程一直保持对IndexWriter写的状态,有新任务进入的时候对IndexWriter写入。如果IndexWriter一直保持打开状态的话,新添加的文档是不会被搜索到的,因此必须处理完队列中的任务后关闭writer,然后下次while循环扫描的时候判断如果队列汇总没有任务,则sleep5秒钟后再判断,防止不断判断给服务器cpu压力
  • IndexManager做成单例。维持一个任务的Queue,Thread thread = new Thread(ScanThread); thread.Start();启动一个线程,在ScanThread方法中不断遍历Queue ,当有新任务加入的时候把新任务加入索引库,当要删除文章的时候也是加入一个jobType == JobType.Delete的内容。UpdateDocument
  • 文章的更新和删除。

1、线程访问UI线程:

 ParameterizedThreadStart threadStart = (obj) =>{txtLog.AppendText(obj + "\n");};txtLog.Invoke(threadStart, item);

详细代码如下:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Threading;
using log4net;
using System.Configuration;
using System.Web.Hosting;
using RuPeng.Utils;
using RuPengSite.DataTier.DataSetThreadTableAdapters;
using System.Text;
using Lucene.Net.Store;
using Lucene.Net.Index;
using System.IO;
using Lucene.Net.Analysis.PanGu;
using Lucene.Net.Documents;
namespace RuPengSite.Search
{public class IndexManager{public readonly static IndexManager Instance = new IndexManager();private HashSet<IndexJobItem> jobs = new HashSet<IndexJobItem>();//任务的集合private bool isStopped;//任务是否停止private static ILog log = LogManager.GetLogger(typeof(IndexManager));private IndexManager(){            }//启动任务public void Start(){isStopped = false;Thread thread = new Thread(ScanThread);thread.Start();            }//停止任务public void Stop(){isStopped = true;}/// <summary>/// 扫描线程/// </summary>private void ScanThread(){//如果停止,则不再无限循环while (!isStopped){Thread.Sleep(5000);//休息5秒钟,尽可能多的累积任务if (jobs.Count <= 0){continue;//如果没任务继续睡
                }log.Debug("开始索引预处理");string indexPath = SearchHelper.GetSearchIndexFullPath();log.Debug("索引路径是:" + indexPath);FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//判断索引目录是否已经存在bool isUpdate = IndexReader.IndexExists(directory);log.Debug("索引路径存在状态是" + isUpdate);if (isUpdate){//如果索引目录被锁定(比如索引过程中程序异常退出),则首先解锁if (IndexWriter.IsLocked(directory)){log.Debug("开始解锁索引路径");IndexWriter.Unlock(directory);}}IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);try{ProcessJobItems(directory, writer);}finally{log.Debug("开始关闭reader、writer");writer.Close();directory.Close();log.Debug("完成关闭reader、writer");}                       }}/// <summary>/// 处理队列中的任务/// </summary>/// <param name="directory"></param>/// <param name="writer"></param>private void ProcessJobItems(FSDirectory directory, IndexWriter writer){log.Debug("开始处理队列中的"+jobs.Count+"个任务");foreach (var jobItem in jobs.ToArray())//转换为数组,避免读的时候不能修改的问题
            {try{ProcessJobItem(writer, jobItem);jobs.Remove(jobItem);//将处理完成的任务移除
                }catch (Exception ex){log.Error("对任务进行处理失败" + jobItem, ex);}                }log.Debug("队列中的任务处理完毕");}private static void ProcessJobItem(IndexWriter writer, IndexJobItem jobItem){long threadId = jobItem.ThreadId;JobType jobType = jobItem.ItemType;string url = SearchHelper.GetThreadUrl(threadId);if (jobType == JobType.Delete)//判断任务的类型
            {log.Debug("将帖子从索引中移除,threadId=" + threadId);writer.DeleteDocuments(new Term(SearchHelper.URL, url));//删除旧的收录
            }else if (jobType == JobType.Add){writer.DeleteDocuments(new Term(SearchHelper.URL, url));//删除旧的收录var threads = new rp_threadsTableAdapter().GetDataById(threadId);if (threads.Count <= 0){log.Debug("id为"+threadId+"的帖子不存在!");return;}string body = SearchHelper.GetThreadContent(threadId);//帖子内容string title = threads.Single().Subject;//主题Document document = new Document();document.Add(new Field(SearchHelper.URL, url, Field.Store.YES, Field.Index.NOT_ANALYZED));document.Add(new Field(SearchHelper.TITLE, title, Field.Store.YES, Field.Index.NOT_ANALYZED));document.Add(new Field(SearchHelper.BODY, body, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));writer.AddDocument(document);log.Debug("索引帖子" + threadId+"完成");}else{throw new Exception("错误的jobType:" + jobType);}}/// <summary>/// 添加帖子的索引任务/// </summary>/// <param name="threadId"></param>public void AddThread(long threadId){IndexJobItem jobItem = new IndexJobItem() { ItemType=JobType.Add,ThreadId=threadId};jobs.Add(jobItem);}/// <summary>/// 移除帖子的索引任务/// </summary>/// <param name="threadId"></param>public void DeleteThread(long threadId){IndexJobItem jobItem = new IndexJobItem() { ItemType = JobType.Delete, ThreadId = threadId };jobs.Add(jobItem);}class IndexJobItem{public JobType ItemType { get; set; }public long ThreadId { get; set; }public override bool Equals(object obj){IndexJobItem item = obj as IndexJobItem;if (item == null){return false;}return this.ItemType==item.ItemType&&this.ThreadId==item.ThreadId;}public override int GetHashCode(){return ToString().GetHashCode();}public override string ToString(){return ItemType+":"+ThreadId;}}enum JobType {Delete,Add }//任务类型
    }
}

多条件查询

我看了下淘宝,淘宝的站内搜索只实现了且条件:

或条件查询可以来看看百度,当然,百度是同时采用了且条件和或条件查询的:

在标题和正文中查找

PhraseQuery queryMsg = new PhraseQuery();foreach (string word in CommonHelper.SplitWords(txtKW.Text)){queryMsg.Add(new Term("msg", word));}queryMsg.SetSlop(100);
PhraseQuery queryTitle = new PhraseQuery();foreach (string word in CommonHelper.SplitWords(txtKW.Text)){queryTitle.Add(new Term("title", word));}queryTitle.SetSlop(100);
BooleanQuery query = new BooleanQuery();query.Add(queryMsg, BooleanClause.Occur.SHOULD);
query.Add(queryTitle, BooleanClause.Occur.SHOULD);

BooleanQuery相当于盛放其他查询条件的容器,类似于div。第二个参数:Must为必须有,Must_Not为必须没有,Should为可以有

高亮显示

  • 高亮显示,只显示包含关键词的部分。参考盘古分词的文档。
  • 从网上、文档找来的代码不用细读每行代码,先把它拿过来运行通过再说。
  • 不用每次改代码都重启,在项目的属性页面的Web中选中“启用编辑并继续(Enable Edit and Continue)”
  • 把font控制颜色改成通过style控制颜色,原则“不要在正文中控制格式”。不推荐使用font、b、i、br等。
private static String highLight(string keyword,String content){PanGu.HighLight.SimpleHTMLFormatter formatter = new PanGu.HighLight.SimpleHTMLFormatter("<font color='red'>", "</font>");PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(formatter, new Segment());highlighter.FragmentSize = 500;string msg = highlighter.GetBestFragment(keyword,content);if (string.IsNullOrEmpty(msg)){return content;}else{return msg;}}String hightlightTitle = highLight(keyword, title);String hightlightBody = HttpUtility.HtmlEncode(body);//防止XSS攻击hightlightBody = highLight(keyword, hightlightBody);

路径可配置化

  • 连接配置信息放到Web.Config的ConnectionStrings段中,而普通的自定义配置则可以写到AppSettings段中,哪些需要配置:索引的路径,被索引的网站url,索引的时间间隔。
  • 读取string indexPath = ConfigurationManager.AppSettings["IndexPath"],使用ConfigurationManager添加引用System.Configuration
  • 使用request.MapPath或者Server.MapPath把相对于网站根路径的路径转换为绝对路径(不是转换为http://www.baidu.com/a.aspx,转换为c:/baidu_com/a.aspx)。在定时任务等不在Http线程中取HttpContext.Current得到的是null,因此在定时任务中不能用HttpContext.Current.Server.MapPath方法来转换,要用HostingEnvironment.MapPath,因此可以在其他地方也用HostingEnvironment.MapPath。
  • 修改Web.config会造成IIS重启,这样会立即加载新的任务

解决:地址无法发给好友

我们先看下淘宝的站内搜索:

细心看,我们会发现url是一连串的字符串,可以肯定这是采用了get请求的方式。

  • 用户没法把搜索结果页面发给好友,要用Get提交,这样才能得到搜索页面地址。如果采用Get方式的话,要删掉form的runat=server,变成HTML的form、method改为get,所有控件都要用HTML控件。因为只有去掉runat=server的form,才会完全去掉ViewState
  • 注意input不能只指定id,而应该指定name,否则不会出现在querystring中。Id是供Javascript用的,name是供querystring/Request用的。对于type=submit的input来说,只有被点击的input的name、value才会被提交给服务器。
  • method改为get
  • 1、要删掉form的runat=server。(唯一去掉viewstate的方法)
  • 2、所有除了DataBound控件(比如GridView、Repeater等)都要用HTML控件。Repeater、ObjectDataSource之类控件不需要runat=server的form也可以,但是VS总是提示,去源代码视图拖放、让他生成再手动删掉。
  • 3、控件注意要给表单name属性赋值。
  • 4、在后台Page_Load代码中进行响应
  • 5、IsPostBack不再有用,只能通过判断参数是否为空来判断是否是提交的页面。
  • 点搜索按钮以后如何显示搜索关键字:在aspx.cs中定义一个GetKeyWord方法,<input type="text" id="kw1" name="kw" value='<%=Request["kw"] %>'/>

只要有runat=server的form就会产生__VIEWSTATE等,所以去掉form的runat=server,这样除了Repeater等少数控件之外服务端控件都没法使用,只能使用html标签。这是为什么说“要求高的互联网项目不用服务端控件”。面试时候说:我在有的项目中没有用服务端控件的例子。

为了能让查询参数显示在地址栏中,方便传播地址,把form的method改为get;因为ViewState太长,所以影响美观,因此禁用ViewState;但是发现哪怕禁用ViewState,ViewState也没有完全消失;研究发现,只有去掉form的runat=server后才能完全干掉ViewState;但是,一旦去掉form的runat=server后几乎所有的WebForm控件都用不了(除了Repeater等少数几个和input无关的之外),只能用html控件,然后在Page_Load中进行响应。

转载于:https://www.cnblogs.com/jiekzou/p/4381649.html

Lucene.net站内搜索—5、搜索引擎第一版实现相关推荐

  1. ajax+lucene pdf,基于Ajax/Lucene的站内搜索技术研究

    摘要: 站内搜索引擎是找出网站重要信息的必要工具,高效的站内搜索将有助于提升网站的价值,发挥网站应有的作用.虽然现在一些网络巨头已开始研究并应用这类工具,但整个互联网行业中,受制于技术的门槛,真正的站 ...

  2. 用全文检索构建站内搜索和大数据搜索引擎

    全文检索首先对要搜索的文档进行分词,然后形成索引,通过查询索引来查询文档.全文检索是目前搜索引擎,大数据搜索的关键技术.全文检索系统可实现亚秒级的检索速度以及每秒上百次的并发检索支持. 需求: 实现淘 ...

  3. 站内搜索——Lucene +盘古分词

    为了方便的学习站内搜索,下面我来演示一个MVC项目. 1.首先在项目中[添加引入]三个程序集和[Dict]文件夹,并新建一个[分词内容存放目录] Lucene.Net.dll.PanGu.dll.Pa ...

  4. 几个主要搜索引擎(Google和百度、雅虎)的站内搜索代码

    几个主要搜索引擎(Google和百度.雅虎)的站内搜索代码,使用时只需要将代码里的"www.williamlong.info"替换成你的网址即可.<!--Google站内搜索 ...

  5. html目录框中增加搜索引擎,网站如何添加搜索框?百度站内搜索安装技巧

    站内搜索基本上是网站的一个标配了,几乎所有的大型网站都有一个站内搜索框供读者搜索使用,方便用户查找到自己需要的内容.(当然个别网站除外,如单页面网站)写这篇文章是碰到一位网友说他做的织梦站搜索框失效了 ...

  6. 各个搜索引擎提供的站内搜索地址入口

    (1)百度的站内搜索 http://zhannei.baidu.com/cse/site?q=%E8%94%A1%E5%A5%87%E8%90%A5%E9%80%A0%E8%89%AF%E5%A5%B ...

  7. 一步步开发自己的博客 .NET版(5、Lucenne.Net 和 必应站内搜索)

    前言 这次开发的博客主要功能或特点:     第一:可以兼容各终端,特别是手机端.     第二:到时会用到大量html5,炫啊.     第三:导入博客园的精华文章,并做分类.(不要封我)     ...

  8. 站内搜索--3--之Lucene.Net使用

    上一篇 站内搜索---2----之Log4Net使用 Lucene.Net是由Java版本的Lucene移植过来的,所有的类.方法都几乎和Lucene一模一样. Lucene.Net只是一个全文检索开 ...

  9. -gMIS持续优化更新, +InSiteSearch站内搜索

    2019独角兽企业重金招聘Python工程师标准>>> -gMIS 部署和应用的场景越来越多,最近在考虑为所有gMIS承载管理的数据库系统增加一个站内搜索功能, +InSiteSea ...

最新文章

  1. ATS中用到的sscanf高级用法说明
  2. call( )、apply( )
  3. 【Python】format()中槽的嵌套以及range()函数用法
  4. python数据分享人力资源_Python数据分析帮你清晰的了解整理员工们的工作效率和整体满意度...
  5. C++primer 第四版6.12:练习题
  6. jzoj1471-Y【bitset,dp,状压】
  7. 怎么判断我选了多少个复选框_7~8个月宝宝一天吃多少辅食,怎么安排?妈妈这样做,养出健康娃...
  8. sql server 替换有反斜杠的字符串_字符串提取,到底谁是你的菜?
  9. java钓鱼_基于java的鱼友约钓鱼的系统
  10. 2008R2Win7管理八DNS新功能及常规管理
  11. html文本延迟加载,LazyLoad 延迟加载(按需加载)
  12. 交叉编译mpg123
  13. TM1620 led显示芯片用stm8来驱动
  14. 无法启动此程序因为计算机丢失msvcr110.dll,计算机中丢失msvcr110.dll怎么办
  15. 华清远见-重庆中心-JAVA基础阶段技术总结/知识点梳理/个人总结/关于JAVA技术的解析(看法)/面试题解析
  16. 女生学软件测试难不难 培训出来能找到工作吗?
  17. 大学学计算机7代i5够吗,学生党必看:最新的7代酷睿与Core i5相比该选谁?
  18. android 旋转屏幕全屏,重新组合活动布局以在旋转屏幕时全屏播放video
  19. aliyun短信及短信模板操作
  20. 【Python 实战基础】Flask 蓝图 Blueprint 怎么用以及怎么集成 Bootstrap

热门文章

  1. python聚类分析成绩反思_机器学习python实践——二分K-means聚类
  2. 【音视频安卓开发 (四)】AndroidStudio项目配置权限、jni库路径、ABI
  3. 优朋普乐大数据_优朋普乐邵以丁:用大数据全面洞察需求
  4. iphone屏幕录制_iPhone怎么内录声音?怎么录制苹果手机内部声音?
  5. ps图片拖不进去_PS教学:你的logo还不够高大上?7步教做出黄色金属质感logo
  6. 3-pycharm找不到库的解决办法
  7. 音频光端机简单故障处理
  8. 工业级光纤收发器的“附加属性“功能介绍
  9. [渝粤教育] 沈阳农业大学 有机化学 参考 资料
  10. 【渝粤题库】国家开放大学2021春2223物业管理财税基础题目