网上看见一篇博文,详细讲了MongoDB读写策略,将来生产会遇到类似的问题,转来备查。

指定新mongo实例:

Mongo m = new Mongo();

Mongo m = new Mongo( "localhost" );

Mongo m = new Mongo( "localhost" , 27017 );

// or, to connect to a replica set, supply a seed list of members

Mongo m = new Mongo(Arrays.asList(new ServerAddress("localhost", 27017),

new ServerAddress("localhost", 27018),

new ServerAddress("localhost", 27019)));

然后发起连接(必须指定数据库名,可以不存在)

DB db = m.getDB( "mydb" );

注意Mongo已经实现了连接池,并且是线程安全的。

大部分用户使用mongodb都在安全内网下,但如果将mongodb设为安全验证模式,就需要在客户端提供用户名和密码:

boolean auth = db.authenticate(myUserName, myPassword);

获取集合(collection)的名称列表(类似show databases):

Set colls = db.getCollectionNames();

获取一个集合(以便增删改查操作):

DBCollection coll = db.getCollection("testCollection")

-------------------------------------------------------------

先假设要插入的json数据如下:

{

"name" : "MongoDB",

"type" : "database",

"count" : 1,

"info" : {

x : 203,

y : 102

}

}

将其插入数据库:

BasicDBObject doc = new BasicDBObject();

doc.put("name", "MongoDB");

doc.put("type", "database");

doc.put("count", 1);

BasicDBObject info = new BasicDBObject();

info.put("x", 203);

info.put("y", 102);

doc.put("info", info);

coll.insert(doc);

-------------------------------------------------------------

设定write concern,以便操作失败时得到提示:

m.setWriteConcern(WriteConcern.SAFE);

-------------------------------------------------------------

查找一个/第一个记录:

DBObject myDoc = coll.findOne();

System.out.println(myDoc);

注意:属性名不能以下划线或者美元符号开始,mongodb自己保留。

获取总记录数:

System.out.println(coll.getCount());

使用游标操作查询结果:

DBCursor cursor = coll.find();

try {

while(cursor.hasNext()) {

System.out.println(cursor.next());

}

} finally {

cursor.close();

}

条件查询:

BasicDBObject query = new BasicDBObject();

query.put("i", 71);

cursor = coll.find(query);

try {

while(cursor.hasNext()) {

System.out.println(cursor.next());

}

} finally {

cursor.close();

}

如果想使用shell里的类似以下语句的功能:

db.things.find({j: {$ne: 3}, k: {$gt: 10} });

在java驱动里,{$ne: 3}也是一个普通的DBObject:

BasicDBObject query = new BasicDBObject();

query.put("j", new BasicDBObject("$ne", 3));

query.put("k", new BasicDBObject("$gt", 10));

cursor = coll.find(query);

try {

while(cursor.hasNext()) {

System.out.println(cursor.next());

}

} finally {

cursor.close();

}

条件查询一批数据:

以下是查询i > 50的记录:

query = new BasicDBObject();

query.put("i", new BasicDBObject("$gt", 50));  // e.g. find all where i > 50

cursor = coll.find(query);

try {

while(cursor.hasNext()) {

System.out.println(cursor.next());

}

} finally {

cursor.close();

}

以下是查询20 < i <= 30的记录:

query = new BasicDBObject();

query.put("i", new BasicDBObject("$gt", 20).append("$lte", 30));  // i.e.   20 < i <= 30

cursor = coll.find(query);

try {

while(cursor.hasNext()) {

System.out.println(cursor.next());

}

} finally {

cursor.close();

}

-------------------------------------------------------------

创建索引:

指定collection和要index的列即可,1代表升序,-1代表降序。

coll.createIndex(new BasicDBObject("i", 1));  // create index on "i", ascending

获取索引列表:

List list = coll.getIndexInfo();

for (DBObject o : list) {

System.out.println(o);

}

-------------------------------------------------------------

数据库管理相关的命令:

获取数据库名称列表:

m.getDatabaseNames()

删除数据库:

m.dropDatabase("my_new_db");

-------------------------------------------------------------

聚合函数:使用DBCollection.aggregate()产生聚合任务:

http://www.mongodb.org/display/DOCS/Using+The+Aggregation+Framework+with+The+Java+Driver

// create our pipeline operations, first with the $match

DBObject match = new BasicDBObject("$match", new BasicDBObject("type", "airfare") );

// build the $projection operation

DBObject fields = new BasicDBObject("department", 1);

fields.put("amount", 1);

fields.put("_id", 0);

DBObject project = new BasicDBObject("$project", fields );

// Now the $group operation

DBObject groupFields = new BasicDBObject( "_id", "$department");

groupFields.put("average", new BasicDBObject( "$avg", "$amount"));

DBObject group = new BasicDBObject("$group", groupFields);

// run aggregation

AggregationOutput output = collection.aggregate( match, project, group );

返回结果是一个AggregationOutput对象,可以用以下方式获取其中信息:

public Iterable results()

public CommandResult getCommandResult

public DBObject getCommand()

示例:

System.out.println(output.getCommandResult());

{

"serverUsed" : "/127.0.0.1:27017" ,

"result" : [

{"_id" : "Human Resources" , "average" : 74.91735537190083} ,

{"_id" : "Sales" , "average" : 72.30275229357798} ,

{"_id" : "Engineering" , "average" : 74.1}

] ,

"ok" : 1.0

}

-------------------------------------------------------------

使用DBObject存取对象:

http://www.mongodb.org/display/DOCS/Java+-+Saving+Objects+Using+DBObject

假设一个类叫做twitter,存储前必须实现DBObject接口:

public class Tweet implements DBObject {

/* ... */

}

然后就可以存了:

Tweet myTweet = new Tweet();

myTweet.put("user", userId);

myTweet.put("message", msg);

myTweet.put("date", new Date());

collection.insert(myTweet);

一个文档从数据库取出时,自动被转为DBObject。如果想取出时转为需要的类,可以先调用DBCollection.setObjectClass(),然后再进行类型强制转换:

collection.setObjectClass(Tweet.class);

Tweet myTweet = (Tweet)collection.findOne();

如果想要改变Tweet类的属性,可以改完后再存入:

Tweet myTweet = (Tweet)collection.findOne();

myTweet.put("message", newMsg);

collection.save(myTweet);

-------------------------------------------------------------

JAVA驱动的并发:

http://www.mongodb.org/display/DOCS/Java+Driver+Concurrency

mongodb的java驱动是线程安全的,如果是在web服务环境下,应该创建单例的mongo对象,用这个对象处理每一个请求。mongo对象维护一个内部连接池(默认大小为10),对于每个请求(查找插入等),java线程会从线程池取一个连接,执行操作,然后释放连接——这意味着每次操作所使用的连接很有可能是不同的。

------------------------------

在复制(replica)模式下,如果设置slaveOK选项为on,那么读操作会被均匀的分布到各个slave上。这意味着对于同一个线程,一个写操作后紧跟着的一个读操作,有可能被发送到不同的服务器上(写操作发送到master上,读操作发送到slave上),这样读操作有可能不会立刻反映出上一个写操作的数据(因为主从的异步性)。

如果你想要确保在一个session中完整的一致性(例如在一个http请求中),你可能希望java驱动是用同一个socket连接,这时你可以通过使用"consistent request"来达到目的——在操作前后分别调用requestStart()和requestDone()。

DB db...;

db.requestStart();

try {

//Ensures that a connection exists for the "consistent request"

db.requestEnsureConnection();

code....

} finally {

db.requestDone();

}

------------------------------

在单独写操作上的WriteConcern选项:

默认情况下,每次写操作后,连接就被释放回连接池——此时你调用getLastError()是没用的。

所以可以采用两种方式:

1,使用类似WriteConcern.SAFE这样的写策略来代替默认策略,这样java驱动会自动首先调用getLastError(),然后才将连接放回连接池。

DBCollection coll...;

coll.insert(..., WriteConcern.SAFE);

2,采用上述的requestStart()和requestDone()方式来维持连接不被释放,中间调用getLastError()获取错误信息。

DB db...;

DBCollection coll...;

db.requestStart();

try {

coll.insert(...);

DBObject err = db.getLastError();

} finally {

db.requestDone();

}

这两种方式等价。

-------------------------------------------------------------

java类型:

http://www.mongodb.org/display/DOCS/Java+Types

----------------------------

Object id被用来自动生成唯一的ID:

ObjectId id = new ObjectId();

ObjectId copy = new ObjectId(id);

----------------------------

正则表达式:

java驱动使用JDK的java.util.regex.Pattern表达正则:

Pattern john = Pattern.compile("joh?n", CASE_INSENSITIVE);

BasicDBObject query = new BasicDBObject("name", john);

// finds all people with "name" matching /joh?n/i

DBCursor cursor = collection.find(query);

----------------------------

java驱动使用JDK的 java.util.Date表示日期时间:

Date now = new Date();

BasicDBObject time = new BasicDBObject("ts", now);

collection.save(time);

----------------------------

com.mongodb.DBRef被用来表示数据库引用(官方一般建议手动引用):

DBRef addressRef = new DBRef(db, "foo.bar", address_id);

DBObject address = addressRef.fetch();

DBObject person = BasicDBObjectBuilder.start()

.add("name", "Fred")

.add("address", addressRef)

.get();

collection.save(person);

DBObject fred = collection.findOne();

DBRef addressObj = (DBRef)fred.get("address");

addressObj.fetch()

----------------------------

二进制数据:

java中的字节数组会自动被包装成二进制数据存入数据库。

二进制类可以被用来表示二进制对象,这可以用来取一个自定义类型的字节。

----------------------------

时间戳数据(BSONTimestamp对象):

时间戳数据是一个mongoDB使用的特殊对象,表示一个(以秒为单位的时间,自增ID)的键值对,这被用于主从复制的操作日志中。

----------------------------

代码对象:

用于表示javascript代码,例如保存可执行的方法到system.js集合中。

Code和CodeWScope类用来表示这种数据。

注意有些方法(比如map/reduce)接收字符串,但是在驱动中将其包装为代码对象。

----------------------------

嵌套对象:

在javascript里面这样一个json文档:

{

"x" : {

"y" : 3

}

}

在java中对应的形式是:

BasicDBObject y = new BasicDBObject("y", 3);

BasicDBObject x = new BasicDBObject("x", y);

----------------------------

数组:

java中所有实现List接口的都被以数组形式在数据库中保存:

所以如果想保存这样一个json:

{

"x" : [

1,

2,

{"foo" : "bar"},

4

]

}

在java中可以这么做:

ArrayList x = new ArrayList();

x.add(1);

x.add(2);

x.add(new BasicDBObject("foo", "bar"));

x.add(4);

BasicDBObject doc = new BasicDBObject("x", x);

-------------------------------------------------------------

在java驱动中的优先读取策略(Read Preferences)和节点标记(Tagging)

http://www.mongodb.org/display/DOCS/Read+Preferences+and+Tagging+in+The+Java+Driver

用来允许应用程序开发者能将读写操作指定在某个主从集合的成员节点上。

2.2版本在节点标记(node tagging)带来些新的东西让你能更好的控制你的数据的读写。

java驱动的2.9.0集成了mongodb2.2提供的所有新特性。

----------------------------

优先读取策略(Read Preferences):

用于提供客户端程序选择那个节点来读取,有以下五个选择:

PRIMARY : 默认方式,从主节点读取,如果主节点不可用则抛出异常,无法与标签(tags)一起使用。

PRIMARY PREFERRED : 优先读取主节点,失败的话从副节点读取。

SECONDARY : 从副节点读取,失败则抛异常。

SECONDARY PREFERRED : 优先读取副节点,失败则从主节点读取。

NEAREST : 从最近的节点读取,“最近”的定义为ping的响应时间最短(也得满足15毫秒以内)。

java实现:类ReadPreference的工厂模式可以创建对应上述五种策略的对象:

ReadPreference.primary();

ReadPreference.primaryPreferred();

ReadPreference.secondary();

ReadPreference.secondaryPreferred();

ReadPreference.nearest();

例如:假设我们的应用需要保持强一致性(写入的数据立即可以被读出),但是我们又希望万一主库挂掉以后,从库依然可以读取。这种情况下,我们需要选择PRIMARY PREFERRED模式:

ReadPreference preference = ReadPreference.primaryPreferred();

DBCursor cur = new DBCursor(collection, query, null, preference);

java驱动保持着各个节点的状态信息(每隔一段时间ping一次所有节点),在这个例子中,java驱动会检测到主库的挂掉,从而将读操作指向从节点。

----------------------------

节点标记(Tags):

在mongoDB2.0之后,主从集群中的每一个节点都可以被标记一个描述,称为tags。可以用来标记一个节点的位置,和在集群中的从属关系或者特性。这可以让你的应用程序从指定节点中读写。

例子:

假设我们要运行一个三节点的主从集群,三个节点分别在三个不同地理位置的数据中心当中。我们希望确保我们的数据在灾难中也可以恢复,所以我们对每一个节点标记其地理位置,配置文件样例如下:

foo:SECONDARY> rs.conf()

{

"_id":"foo",

"version":103132,

"members":[

{

"_id":0,

"host":"localhost:27017",

"priority":10,

"tags":{

"datacenter":"Los Angeles",

"region":"US_West"

}

},

{

"_id":1,

"host":"localhost:27018",

"tags":{

"datacenter":"San Jose",

"region":"US_West"

}

},

{

"_id":2,

"host":"localhost:27019",

"tags":{

"datacenter":"Richmond",

"region":"US_Eest"

}

}

],

"settings":{

"getLastErrorModes":{

"DRSafe":{

"region":2

}

}

}

}

foo:SECONDARY>

注意上面settings字段,我们定义了一个新的getLastErrorModes对象,键为DRSafe。当我们客户端采用此错误模式作为WriteConcern的时候,它会使写操作在完成前复制到至少两个节点上。下面是使用的例子:

//使用自定义的getLastErrorMode创建WriteConcern

WriteConcern concern = new WriteConcern("DRSafe");

//使用自定义的WriteConcern进行写操作

coll.insert(new BasicDBObject("name", "simple doc"), concern);

----------------------------

在优先读取策略(Read Preferences)中使用节点标记(Tags):

假如我们想要将读请求发送到最近的节点上以便减少请求延时:

DBObject query = new BasicDBObject("name", "simple doc")

DBObject result = coll.findOne(query, null, ReadPreference.nearest());

这样java驱动会自动将读请求发送到ping值最小的节点(也有可能是主节点)。

但是,如果我们的java驱动可以确定自己的请求发送源位置,那么就可以明确指定将读请求发送到距离最近的数据中心。再看上面的例子,假如这个读请求来自南加利福尼亚,我们就明确指定这个读请求到Los Angeles数据中心:

// initialize a properly tagged read preference

ReadPreference tagged_pref = ReadPreference.secondaryPreferred(new BasicDBObject("datacenter", "Los Angeles"));

// include the tagged read preference in this request}}

DBObject result = coll.findOne(}}

new BasicDBObject("name", "simple doc"), null, tagged_pref);

下面的例子指定多个tag,如果读请求在Los Angeles失败,则发送到"US_West"区域的某个节点:

// read from either LA or US_West

DBObject tagSetOne = new BasicDBObject("datacenter", "Los Angeles"):

DBObject tagSetTwo = new BasicDBObject("region", "US_West");

ReadPreference pref = ReadPreference.primaryPreferred(tagSetOne, tagSetTwo);

下面的例子同样指定多个tag,首先请求"datacenter=Los Angeles"且"rack=1"的节点,如果失败则查找"region=US_West"的节点

// read from either LA or US_West

DBObject tagSetOne = new BasicDBObject("datacenter", "Los Angeles");

tagSetOne.put("rack", "1");

DBObject tagSetTwo = new BasicDBObject("region", "US_West");

ReadPreference pref = ReadPreference.primaryPreferred(tagSetOne, tagSetTwo);

优先读取策略(Read Preferences)可以在operation, collection, DB, Mongo, MongoOptions, MongoURI各个级别来设置,而且设置会以slaveOK和WriteConcer类似的方式来继承。

优先读取策略(Read Preferences)在支持主从复制的服务器上(1.6+)都可以使用。

在优先读取策略(Read Preferences)中使用节点标记(Tags)在所有支持节点标记的服务器(2.0+)都可以使用。

在分片(shard)上使用节点标记(Tags),必须是2.2+版本的服务器才可以。

mongodb java驱动_Java的MongoDB驱动及读写策略相关推荐

  1. mongodb java查询_java操作mongoDB查询的实例详解

    java操作mongo查询的实例详解 前言: MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB是一个介于关系数据库 ...

  2. mongodb java连接数_Java监控MongoDB空间使用量、连接数

    获取到的数据如下: { "serverUsed": "172.1.1.3:15080", "db": "monitor" ...

  3. mongodb的java驱动_Java访问MongoDB:安装驱动

    引用 原帖收藏于IT老兵驿站. 前言 Spring项目中可能需要用到MongoDB,要了解一下Java项目如何连接MongoDB,查了查google,对比了一下,发现官网的讲解非常清楚,这样的话,直接 ...

  4. java调用驱动_Java中间件及其驱动调用、加载方法及转换装置的制造方法

    Java中间件及其驱动调用.加载方法及转换装置的制造方法 [技术领域] [0001]本发明涉及移动通信技术领域,尤其涉及Java中间件及其驱动调用.加载方法及转换装置. [背景技术] [0002]Ja ...

  5. sql2008java驱动_java连接sqlserver2008驱动包

    java连接sqlserver2008一直说驱动不匹配,后来知道需要一个驱动包,找了下,果断有用啊~~分享给大家~ java连接sqlserver2008驱动包 java连接sql server200 ...

  6. mongodb java驱动_Java操作MongoDB之mongodb-driver(一)

    1. mongodb-driver是mongo官方推出的java连接mongoDB的驱动包,相当于JDBC驱动. (1)通过maven仓库导入:https://mvnrepository.com/ar ...

  7. java mongodb排序查询_java操作mongodb基础(查询 排序 输出list)

    代码如下: package com.infomorrow.webroot; import java.util.List; import com.mongodb.BasicDBObject; impor ...

  8. java mongodb 模糊查询_Java操作MongoDB插入数据进行模糊查询与in查询功能的方法

    Java操作MongoDB插入数据进行模糊查询与in查询功能 由于需要用MongoDB缓存数据,所以自己写了一套公共的存放和读取方法 具体如下: 存放mongodb: /** * 公共方法:设置Obj ...

  9. java操作mongodb查询总数_java操作mongodb——查询数据

    field为查询字段,value为查询值,也可以通过过滤器Filters,Filters提供了一系列查询条件的静态方法 相等 - = FindIterable iter = doc.find(new ...

最新文章

  1. Linux内存管理 (2)页表的映射过程
  2. 一场低调的逆袭:清华文化如何改变了王兴和美团?
  3. react(95)--外部定义变量
  4. Spring Boot 10:处理Json数据中的null值
  5. 神奇的css3(2)动画
  6. Arthas实践--获取到Spring Context,然后为所欲为
  7. Struts2使用Interceptor实现权限控制的应用实例详解
  8. docker 守护进程
  9. Python多任务——进程
  10. php短链接api,PHP通过调用新浪API生成t.cn格式短网址链接的方法详解
  11. Mycat读写分离笔记Windows
  12. caffe中网络结构参数详解
  13. javascript 图片上传并显示
  14. [LTE] RRU BBU 和 前传(fronthaul)
  15. close 和 shutdown
  16. 如何在Commander One中显示隐藏文件?
  17. 最简单DIY基于C#和51单片机上下位机一体化的PCA9685舵机控制程序
  18. python两个等于号是代表什么_python两个等于号是什么意思_等于号表示什么意思...
  19. window nginx关闭后,访问代理仍成功
  20. C++常用数据结构或技巧

热门文章

  1. 老是说我编译版本不够_编译etcd出现的cannot load bufio的错误解决办法
  2. java反射经典实例 Java Reflection Cookbook
  3. 微信小程序css篇----flex模型
  4. 智能数据引擎Dataphin重磅发布,提供一站式的技术管理能力
  5. 为什么需要一个激励函数
  6. 解决在Windows 2003的 IIS 6.0 中无法上传超过200K的附件以及无法下载超过4M的附件问题...
  7. 决策的五个要素 by 彼得。德鲁克
  8. 为nopcommerce自定义用户积分功能(1)
  9. 不可错过的MSDN TV —— IronPython: Python on the .NET Framework (中)
  10. PHP修复输入验证代码中的漏洞