solr dih mysql 注意事项

1、当import大数据时，记住设置 batchSize="-1"。

<dataSource name="sourcename" driver="com.mysql.jdbc.Driver" batchSize="-1" url="jdbc:mysql://localhost/dbname?useUnicode=yes&amp;char
acterEncoding=UTF-8" user="username" password="password" />

2、最好将mysql所有涉及编码的地方都设置为UTF8。

3、将solrconfig.xml 中的autoCommit打开，默认未必是打开的。

4、多表联合的时候注意列名的覆盖问题，比如主表有一个外键user字段是users表的主键，若想引用users表中的name，则不可再使用user。

5、在solr默认的测试环境中，batchSize、autoCommit等参数均无效，需要将solr部署到tomcat下

附完整的db-data-configure.xml

<dataConfig><dataSource name="sourcename" driver="com.mysql.jdbc.Driver" batchSize="-1" autoCommit="true" url="jdbc:mysql://localhost/weibo?useUnicode=yes&amp;characterEncoding=UTF-8" user="user" password="passwd" /><document><entity name="msg" dataSource="weibo" pk="mid" query="select * from message"deltaImportQuery="select * from message where mid='${dih.delta.mid}'"deltaQuery="select mid from solrmonitor where last_modified > '${dih.last_index_time}'"><field column="mid" name="mid" /><field column="text" name="text" /><field column="favorited" name="favorited" /><field column="comments" name="comments" /><field column="popularity" name="popularity" /><field column="attitudes" name="attitudes" /><field column="content" name="content" /><entity name="usr" query="select name from user where id='${msg.user}'"><field name="username" column="name" /></entity></entity></document>
</dataConfig>

转载于:https://www.cnblogs.com/learnthenknow/p/3666484.html

solr dih mysql 注意事项相关推荐

基于Solr DIH实现MySQL表数据全量索引和增量索引
实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data Import Handler)组件,对data-config.xml进行简单 ...
solr mysql 增量索引_基于Solr DIH实现MySQL表数据全量索引和增量索引
实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data Import Handler)组件,对data-config.xml进行简单 ...
solr dih有子查询时速度慢
这是我遇到的问题, 我有1千万条数据 ,以前的业务涉及多表我都是用联合查询,都是多对一模式,现在公司要对业务改造,产品做成京东那种多特征类似这种,每种商品的特征是不一样(可能会有多个特征),根据分片出 ...
数据索引---Solr DIH
Solr DIH就是Data Import Handler.由于很多时候我们的数据在数据库里面,需要将数据库里面的数据导出进行索引.Solr提供了一个很方便的接口来从数据库生成索引.DIH支持从单表和 ...
SQL Server改MySQL注意事项
主要是NHibernate连接MySQL注意事项: 在website的bin目录里添加MySql.Data.dll(可在官方下载)和hibernate.cfg.xml 启用新的OpenSession( ...
oracle导入solr,从Oracle数据库导入XML数据时solr dih会变慢
我正在执行一个solr-dih(dataimporthandler)任务,导入存储在Oracle数据库中的大约2000万个文档.最初,这些进口每秒将增加到500多个文档,但在前150000个文档中,速 ...
oracle变mysql,Oracle变换成为Mysql注意事项
做项目的时候发现当要将Oracle数据库转换为Mysql需要将SQL语句中二者不兼容的方面需要修改下面列出自己总结的注意事项: 1.日期格式的转换: Oracle Mysql 注意事项 to_cha ...
solr mysql 导入命令_Solr 07 - Solr从MySQL数据库中导入数据 (Solr DIH的使用示例)
1 加入数据导入处理器的jar包复制Solr解压后dist目录中的:solr-dataimporthandler-4.10.4.jar; 粘贴到contrib/dataimporthandler/l ...
Solr 07 - Solr从MySQL数据库中导入数据 (Solr DIH的使用示例)
目录 1 加入数据导入处理器的jar包 2 加入数据库驱动包 3 配置solrconfig.xml文件 3.1 配置lib标签 - 加入驱动jar包 3.2 配置requestHandler标签 - ...

solr dih mysql 注意事项

solr dih mysql 注意事项相关推荐

最新文章

热门文章