Solr+Hbase多条件查（优劣互补）

为什么要使用solr+hbase组合：

某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证。

solr+habse组合的原理：

基于Solr的HBase多条件查询原理很简单，将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。

环境

1. 已搭建好的hadoop集群，3节点hadoop测试集群（见文档hadoop2.5完全分布式集群搭建）

2. 在hadoop集群之上搭建hbase集群（文档中hadoop2.5分布式中已包含）

3. 已搭建好的solrcloud集群，3节点solrcloud集群（见文档solrcloud分布式集群）

4. 从oracle中导入数据到hbase中（可以通过普通java代码或mapreduce，也可以直接使用工具sqoop）

5. 使用sqoop将oracle中的数据导入hbase中

sqoop实现数据从oracle导入hdfs(hbase)

sqoop import --append --connect jdbc:oracle:thin:@192.168.0.20:1521:orcl --username yqdev --password yq --m 1 --table c_text --columns id,url,title --hbase-create-table --hbase-table c_text --hbase-row-key id --column-family textinfo

注：需要在hbase中先创建c_text表，创建列族textinfo；我只导入了id,url,title三列，其中id为rowkey.

6. 创建索引

从hbase中读取数据，将需要用作查询字段添加索引到solr中（例如title）

  /**
* create solrIndex
*
* @throws IOException
* @throws SolrServerException
*/
public static void addIndex() throws IOException, SolrServerException {
// hbase
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes(FAMILY_NAME));
// scan.setCaching(500);
scan.setCacheBlocks(false);
ResultScanner rs = table.getScanner(scan);
System.out.println("start......");
Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
Long totalCount = 0l;
for (Result r : rs) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", new String(r.getRow()));
for (KeyValue kv : r.raw()) {
String fieldName = new String(kv.getQualifier());
String fieldValue = new String(kv.getValue());
if (fieldName.equalsIgnoreCase("id")
|| fieldName.equalsIgnoreCase("title")
|| fieldName.equalsIgnoreCase("url")) {
doc.addField(fieldName, fieldValue);
}
docs.add(doc);
}
if (docs.size() >= 1000) {
cloudSolrServer.add(docs);
cloudSolrServer.commit();
totalCount = totalCount + docs.size();
docs = new ArrayList<SolrInputDocument>();
System.out.println("already deal with : " + totalCount);
}
}
}

7. 查询测试

 /**
* 1.query solrIndex pass some condition 2.query data from hbase pass rowkey
*
* @throws IOException
* @throws SolrServerException
*/
public static void query() throws IOException, SolrServerException {
Get get = null;
List<Get> list = new ArrayList<Get>();
SolrQuery query = new SolrQuery("title:基金");
query.setStart(0);
query.setRows(40);
QueryResponse response = cloudSolrServer.query(query);
SolrDocumentList docs = response.getResults();
System.out.println("total:" + docs.getNumFound());
System.out.println("query time:" + response.getQTime());
//get rowkey from solr
for (SolrDocument doc : docs) {
get = new Get(Bytes.toBytes((String) doc.getFieldValue("id")));
list.add(get);
}
//order rowkey query data from hbase
for (Get gt : list) {
Result result = table.get(gt);
byte[] value = result.getValue("textinfo".getBytes(),
"title".getBytes());
System.out.println("title------- \t" + new String(value));
}
}

hbase+solr多条件查询的设计方案：

（利用hbase的大数据存储和solr的强大的索引，达到互补的效果）

参考：http://www.cnblogs.com/chenz/articles/3229997.html