orm基本概念

ORM，即Object-Relational Mapping(对象关系映射)，它的作用是在关系型数据库和业务实体对象之间作一个映射，这样，我们在具体的操作业务对象的时候，就不需要再去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。

简单轻量的orm框架，对于提高整个团队的开发效率及代码可维护性具有很大的意义，下面介绍一下大搜车基于mybatis开发的orm框架开发出发点及基本的设计思路，希望能够给大家带来一些启发。

开发自己的orm框架的起因

大搜车的线上业务是从2013年6月份开始的，那时候我们做的业务是寄售业务，最多的业务场景是集中在后台业务逻辑处理及报表统计上面，开始的时候，我们的数据库操作是基于mybatis的底层来做的，mybatis本身是java领域最常用的一个轻量半自动数据库orm持久层框架，从oobject-relational-mapping的角度来说，它主要是解决数据返回层的java类映射的问题。从开发模式上，mybatis是把开发人员的sql放到xml配置文件中，任何对表的操作，事实还是需要自行写大量的sql来进行操作的。

在我们开始使用mybatis的过程中，虽然业务上看起来还不是很复杂，但是事实上开发人员在编写sql的过程中，已经开始突显很多问题：

由于业务一直在迭代，我们的表结构经常需要做一些调整，但是在调整表结构的时候，开发人员经常会漏调整部分sql中的字段，导致部分逻辑出现问题

由于业务逻辑的关系，有的表字段有好几十个，编写插入及查询sql时，很考验开发人员的细心程度，而且写sql的工作量也比较大，不同人写的sql方法，风格各异。

那时候我们后台管理系统中，大量使用了join的操作，从整体系统的可维护性来说，对一个表进行查询操作的sql落在不同xml文件中，系统极难维护，对系统后续的调整和升级埋下了很多隐患。 下面是我们当时一个典型的sql例子：

SELECT a.id,a.car_brand AS brand,a.car_series AS series,a.car_model AS model,a.first_register_date AS register,

a.license_plate_province AS province,a.license_plate_city AS city,a.car_mileage AS mileage,a.flag AS flag,

a.car_new_price AS carNewPrice,a.car_now_price AS carNowPrice,a.insure_expire_date AS insureExpireDate, a.year_check_date AS yearCheckDate,a.car_status AS carStatus,

a.car_input_user AS USER,a.car_deadline AS deadline, a.car_parking_space AS carParkingSpace,a.car_source AS carSource,a.car_trans_fee AS carTransFee,a.car_store AS carStore, a.lushi_describe AS lushiDescribe,a.engine_describe AS engineDescribe,a.body_trim_describe AS bodyTrimDescribe,

a.painting_describe AS paintingDescribe,a.date_create AS dateCreate,a.date_update AS dateUpdate,a.souche_number AS soucheNumber, a.date_up AS dateUp,a.date_down AS dateDown,

a.date_trade AS dateTrade,a.car_discount AS carDiscount, b.car_level AS carLevel,b.car_age AS carAge, c.picture_url_big AS carPicture, f.car_transmission_type as carTransmissionType, h.begin_date AS flashBeginDate,h.end_date AS flashEndDate

FROM car_basic_info a LEFT JOIN car_library_level b ON a.id=b.carId LEFT JOIN car_pictures c ON a.id=c.carId

left join carlibrary_label_info g on a.id=g.carId and other_label is null

left join carview_basic_parameter f on a.id=f.carId

LEFT JOIN index_car h ON a.id=h.car_id AND h.type ='3' AND h.date_delete is NULL

WHERE a.date_delete IS NULL AND a.car_status='zaishou'

AND a.car_brand = #{brand}

AND a.car_series = #{series}

AND f.car_model = #{model}

...

当时从整个业务逻辑sql的编写上，事实上我们虽然还是处于最早期的阶段，但是sql的维护上我认为我们已经开始有明显趋于混乱的迹象。为了尽量从根源上解决问题，我们开始尝试寻找一种更好的真正的orm策略，我们先思考了自己开发的基本方案，同时也对hibernate做了初步的调研，也想过是否直接使用hibernate来替换掉mybatis，但是最终还是决定自己开发。没有直接采用hibernate，主要是基于下面的几点考虑：

hibernate配置上，还是很难真正达到极简或完全不需要配置的程度

hibernate的使用上过于灵活，实现同一种目的可能会有很多种不同的写法，使用上不规范的话，可能会带来极大的性能问题，而且事实上我们整体要往hibernate上迁的话，业务sql上要做不少改动。

我们团队没有完全吃透hibernate的人

而从另一方面，mybatis本身透露给外面的接口会简单得多，所以我们决定基于mybatis进行二次开发。我们希望自研的orm策略需要含有下面的基本原则：

能够规范开发人员编写普通业务的sql，不需要直接写sql(或写很少的sql)，能够极大简化开发人员编写业务sql的时间

开发人员在使用时，调试上比较便利，而且不容易出错。

原有的业务sql，能够比较便利地迁移到新的orm框架上面

对一条数据进行insert/update时，把创建时间/更新时间自动填入默认的数据库字段中

尽量基于mybatis进行二次开发

基本设计思路

下面说一下大搜车orm的基本设计思路：

基于annotation自动进行or-mapping映射的操作，在对java bean有操作需求时，加载对应的table，自动去映射表结构与java bean的关系。

定义几个通用的mybatis数据库操作，把所有对数据库表的增删改查操作，都映射到这几个mybatis配置文件里定义的sql上去。

对mybatis的返回结果，默认使用map进行传递，我们再自行做map2Object的java bean转化，从而保证与mybatis内部的传递及对外部接口返回的透明。

下面是我们定义的通用mybatis sql：

show tables

desc ${table}

${sql}

${sql}

${sql}

${sql}

数据表关系映射

在要操作的object中，加上@SqlTable映射，表示某一个java bean与表的映射关系。另外在做具体映射时，基于下面的规则进行表与数据字段的映射：

如果bean中的字段上有定义@SqlColumn的声明，则使用表中的字段名与该字段做为映射关系。

如果bean中对应的的字段没有定义@SqlColumn，则把javaObject中的字段名及表中的字段名都同步做同样的normalize，再进行字段比对。normalize的规则是去除掉下划线及中划线，然后同步转化为大写字母。如果两个的字段名一样，则认为它们是匹配上的。

如java bean中有dateCreate字段，数据库中有date_create字段，则它们都normalize成DATECREATE，这样就表示javabean中的dateCreate与数据库中的date_create是映射上的

下面是一个简单的映射例子：

CREATE TABLE `test` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`user_id` varchar(45) DEFAULT NULL,

`numbers` varchar(45) DEFAULT NULL,

`date_create` timestamp NULL DEFAULT NULL,

`date_update` timestamp NULL DEFAULT NULL,

`date_delete` timestamp NULL DEFAULT NULL,

PRIMARY KEY (`id`),

KEY `date_create` (`date_create`)

);

@SqlTable("test")

public class TestDO implements Serializable {

private Long id; // 对应表中的主键id

private String userId; // 对应表中的字段user_id

@SqlField("numbers")

private String nnn; // 对应numbers字段

private Timestamp dateCreate; // 对应date_create字段

private Timestamp dateUpdate;

private Timestamp dateDelete;

...

get/set函数

}

基本实现策略

@Override

public List findListByQuery(QueryObj query, Class extends E> cls) {

Map queryMap = Maps.newHashMap();

// 构建查询的sql生成器

SqlBuilder sqlBuilder = new QuerySqlBuilder(query, cls);

// queryMap中，产生sql语句及要送入mybatis中的查询参数

sqlBuilder.buildSql(queryMap);

// 执行mybatis中的orm.select语句，得到返回结果

List> retMaps = sqlSession.selectList("orm.select", queryMap);

List rets = new ArrayList();

for(Map map : retMaps) {

// 把返回结果映射为cls类

E ret = SqlAnnotationResolver.convertToObject(map, cls);

if(ret != null) {

rets.add(ret);

}

}

return rets;

}

上面这段代码片断，是产生查询语句的代码片断，从代码片断中可以基本看出我们的实现思路：

构建一个map，用于传递mybatis中的上下文

对于不同的数据库查询操作，构建不同的SqlBuilder，所有sqlBuilder执行完以后，在map对象中，会产生一个key为"sql"的值，用于表示要执行的sql语句。另外map对象中，还会包含要传递进入mybatis中的参数列表

执行完mybatis以后，把返回的结构转化为需要的对象。

基本使用例子

假设要操作一个用户表，表的基本定义及javabean定义是

CREATE TABLE `user` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户id',

`phone` varchar(20) NOT NULL DEFAULT '' COMMENT '电话',

`name` varchar(64) DEFAULT NULL COMMENT '姓名',

`age` int(5) DEFAULT '0' COMMENT '年龄',

`sallary` float(12) DEFAULT '0' COMMENT '薪水',

`height` float(5) DEFAULT NULL comment '身高',

`weight` float(5) DEFAULT NULL comment '体重',

`date_create` datetime DEFAULT NULL,

`date_update` datetime DEFAULT NULL,

PRIMARY KEY (`id`),

unique KEY (`phone`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户表';

要对该表进行操作，只需要定义一个java bean及声明：

@SqlTable("user")

public class UserDO extends BaseVo {

private Integer id; //ID

private String phone;

private String name; //姓名

private Integer age; //年龄

private Date birthday; //生日

private BigDecimal sallary; //薪水

private Double height; //身高

private Float weight; //体重

private Timestamp dateCreate;

private Timestamp dateUpdate;

}

基本的增删改查

下面以用户表的简单操作为例子，说明一下orm的基本用法。

插入一条新的用户

UserDO user = new UserDO();

user.setPhone("13735914821");

user.setName("hello world");

user.setAge(20);

user.setHeight(1.75);

user.setWeight(65.1f);

int id = basicDao.insert(user); // 返回的用户id

产生的sql：

insert into user(name, age, height, weight, phone, date_create, date_update) values (#{name}, #{age}, #{height}, #{weight}, #{phone}, #{dateCreate}, #{dateUpdate})

查询主键id为4的用户

UserDO u = basicDao.findObjectByPrimaryKey(4, UserDO.class);

上面的语句产生的sql为：

select a.name as name, a.id as id, a.age as age, a.birthday as birthday, a.sallary as sallary, a.height as height, a.weight as weight, a.phone as phone, a.date_create as dateCreate, a.date_update as dateUpdate from user a where a.id = #{id}

根据电话查询用户

UserDO sample = new UserDO();

sample.setPhone("13735914822");

UserDO ret = basicDao.findObjectBySample(sample, UserDO.class);

产生的sql为：

select a.name as name, a.id as id, a.age as age, a.birthday as birthday, a.sallary as sallary, a.height as height, a.weight as weight, a.phone as phone, a.date_create as dateCreate, a.date_update as dateUpdate from user a where 1=1 and a.phone = #{phone} order by a.date_create desc limit 0, 1

根据特定条件使用like查询

查询年龄为20岁，且手机号以137开头，且体重大于60公斤的用户：

String key = "137";

UserDO sample = new UserDO();

sample.setAge(20);

QueryObj queryObj = new QueryObj(sample);

queryObj.addQuery("weight >= #{weight}", 60);

queryObj.addQuery("phone like #{query}", key + "%");

List user = basicDao.findListByQuery(queryObj, UserDO.class);

产生的sql：

select a.name as name, a.id as id, a.age as age, a.birthday as birthday, a.sallary as sallary, a.height as height, a.weight as weight, a.phone as phone, a.date_create as dateCreate, a.date_update as dateUpdate from user a where 1=1 and a.age = #{age} and ((a.weight >= #{_weight}) and (a.phone like #{_query})) order by a.date_create desc limit 0, 1000

其中，查询map中，age为20， _weight为60， _query为137%

join查询的使用说明

大搜车orm框架中，对表的join操作策略，设计得是相对比较简洁的一个点，下面以一个简单的例子，来说明一下orm join的用法

假设在上面用户表的基础上增加一个用户操作记录表，表的结构及java bean的定义如下：

CREATE TABLE `user_operator` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`user_id` int(11) COMMENT '用户id',

`operate_type` varchar(20) DEFAULT NULL COMMENT '用户操作类型',

`app_name` varchar(20) DEFAULT '' COMMENT 'app name',

`op_time` datetime default null comment '用户操作时间',

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户操作表';

用户操作记录bean:

@SqlTable("user_operator")

public class UserOpteratorDO {

private Integer id; //ID

private Integer userId; // user id

private String operateType; // 操作类型

private String appName; // 应用名

private Timestamp opTime; // 操作时间

... // getter setter

}

用户操作记录传输dto：

public class UserOpteratorDTO {

private UserDO user;

private UserOpteratorDO operator;

public void setUser(UserDO user) {

this.user = user;

}

public UserDO getUser() {

return user;

}

public UserOpteratorDO getOperator() {

return operator;

}

public void setOperator(UserOpteratorDO operator) {

this.operator = operator;

}

}

下面要查询用户操作类型为add或者click，操作时间为2017-03-20 00:00 ~ 2017-03-21 10:00，且用户的手机号以"137"开头的所有用户操作记录

// 以UserDO为主表进行查询

QueryObj queryObj = new QueryObj(new UserDO());

// 对主表加上phone的like语句

queryObj.addQuery("UserDO.phone like #{phone}", "137%");

// 加上对表UserOpteratorDO的join操作，join操作为inner join，表的级联以主表的id和operator表的user_id作为关联主键

JoinParam joinParam = new JoinParam(UserOpteratorDO.class, JoinType.INNER_JOIN, new JoinPair("id", "userId"));

queryObj.addJoinParam(joinParam);

// 加上操作类型列表

List typeList = new ArrayList();

typeList.add("add");

typeList.add("click");

// 对UserOpteratorDO表的查询语句

queryObj.addQuery("UserOpteratorDO.operateType in #{type}", typeList);

queryObj.addQuery("UserOpteratorDO.opTime >= #{startTime}", "2017-03-20 00:00");

queryObj.addQuery("UserOpteratorDO.opTime <= #{endTime}", "2017-03-20 10:00");

// 操作1，返回结果为UserOpteratorDTO类型

List operators = basicDao.findListByQuery(queryObj, UserOpteratorDTO.class);

返回的sql语句为：

select a.name as __user_name, a.id as __user_id, a.age as __user_age, a.birthday as __user_birthday, a.sallary as __user_sallary, a.height as __user_height, a.weight as __user_weight, a.phone as __user_phone, a.date_create as __user_dateCreate, a.date_update as __user_dateUpdate, b.id as __operator_id, b.user_id as __operator_userId, b.operate_type as __operator_operateType, b.app_name as __operator_appName, b.op_time as __operator_opTime from user a INNER JOIN user_operator b on a.id = b.user_id where 1=1 and ((a.phone like #{_phone}) and (b.operate_type in ('add','click')) and (b.op_time >= #{_startTime}) and (b.op_time <= #{_endTime})) order by a.date_create desc limit 0, 1000

其中，_phone的值为137%， _startTime的值为 2017-03-20 00:00

操作2，最后一步查询操作，如果返回结果为UserDO类型

// generate query

List operators = basicDao.findListByQuery(queryObj, UserDO.class);

对应的sql为：

select a.name as name, a.id as id, a.age as age, a.birthday as birthday, a.sallary as sallary, a.height as height, a.weight as weight, a.phone as phone, a.date_create as dateCreate, a.date_update as dateUpdate from user a INNER JOIN user_operator b on a.id = b.user_id where 1=1 and ((a.phone like #{_phone}) and (b.operate_type in ('add','click')) and (b.op_time >= #{_startTime}) and (b.op_time <= #{_endTime})) order by a.date_create desc limit 0, 1000

操作3，最后一步的查询操作，如果返回的结果为UserOperateDO类型

// generate query

List operators = basicDao.findListByQuery(queryObj, UserOpteratorDO.class);

对应的sql为：

select a.id as id, b.user_id as userId, b.operate_type as operateType, b.app_name as appName, b.op_time as opTime from user a INNER JOIN user_operator b on a.id = b.user_id where 1=1 and ((a.phone like #{_phone}) and (b.operate_type in ('add','click')) and (b.op_time >= #{_startTime}) and (b.op_time <= #{_endTime})) order by a.date_create desc limit 0, 1000