实现一个数据库迁移的案子。有些知识点值得记录。

技术框架

github.com/go-xorm/xorm：数据库操作

github.com/denisenkom/go-mssqldb：sqlserver驱动

github.com/go-sql-driver/mysql：mysql驱动

方案设计

使用 sql 语句查询原数据库数据，再插入新数据库。

查询新数据库表最后一条记录。

根据条件是否创建新数据表，再查询新数据库最后一条记录的 ID 值，以此为起点查询旧数据库，因为迁移只需要从已导入的最后一条开始即可，如果表不存在，则从 0 开始。

使用回调函数，获取旧数据库，处理数据(或舍弃，或修改，等)，再插入到新数据库，直接用 xorm 的结构体即可。xorm 可批量插入，但是旧数据库无法做到批量获取，查询并存储到切片中，到达一定数量(如3000条)，再插入新数据库。

选择记录

原数据库为 sqlserver，表和列部分有中文，不符合 xorm 要求。只能使用 sql 语句操作。

新数据库为 mysql，全英文，可用 xorm 结构体映射，查询、插入较方便。

试过将 xorm 的结构体成员变量改为中文，在 Golang 中使用中文作为变量名是可以的，只是反射不成功。

实践过程及知识点

数据库连接

// mysql

root:root@tcp(8.8.8.8:3305)/mydb?charset=utf8&interpolateParams=true&parseTime=true&loc=Local

// mssql

server=8.8.8.8;user id=latelee;password=123456;database=mydb;encrypt=disable;

注意，使用github.com/denisenkom/go-mssqldb时，需要添加encrypt=disable;，否则加不上。

xorm小知识

设置时区：

engine.DatabaseTZ = time.UTC // time.Local

engine.TZLocation = time.UTC

是否显示 sql 语句：

//engine.ShowSQL(true)

engine.ShowSQL(false)

xorm结构体映射

xorm 使用结构体与数据库字段映射，各种操作十分方便。

设置完全映射：

engine.SetMapper(core.SameMapper{})

定义示例：

type TheData struct {

Id int `xorm:"int pk not null autoincr 'id'"` // autoincr

Money sql.NullFloat64 `xorm:"float default null"`

}

第一成员带 id，在数据库即为此名，第二成员不带，将映射为 Money。

结构体成员需大写，否则反射失败。

新数据库创建

一般创建表使用其它的方法，但为了方便使用，直接在代码中创建。

var sqlstr string

//sqlstr = "show tables like 'xxx'"

sqlstr = fmt.Sprintf("show tables like '%s'", newTableName)

_, err = engine.SQL(sqlstr).Count()

if err != nil { // 没有找到现成函数判断，用返回值

log.Printf("table %v exist\n", newTableName)

} else {

log.Printf("create table for %v\n", newTableName)

err = engine.Sync2(vnewtable)

if err != nil {

log.Println("create table failed: ", err.Error(), "will exit")

return

}

}

代码先判断是否存在数据表，不存在再调用engine.Sync2创建，该函数可同时创建多个数据表。不过似乎没有直接的 API 接口判断是否存在数据表，只好用 sql 语句查询，判断其返回值。

数据库为空值

如果读取到数据库中的空值，会返回错误：

Scan failed: sql: Scan error on column index 26, name "测试空值": converting driver.Value type string ("NULL") to a float32: invalid syntax

此问题可用 sql 包提供的类型解决。如sql.NullString、sql.NullFloat64等。这些类型实际是结构体，包括了Valid成员，通过该值可判断。

代码重用

由于迁移过程是完全一样的，只是数据库、表名、字段等不同。可以将共用部分抽象成函数，具体操作使用回调函数解决。

至于不同之处，则由调用者将其传递到共用函数中即可。

回调函数定义和使用

type DataCb func (rows *sql.Rows, engine *xorm.Engine, totalCnt int64) int

func MigrateDB(olddb, oldtable, newdb string, vnewtable interface{}, datacb DataCb) {

...

datacb(rows, engin, cnt)

}

在回调函数中，根据旧数据库字段扫描，示例如：

for rows.Next() {

err := rows.Scan(&a, &b, &c, &d)

}

注意，Scan 参数个数和数据库的列数相同，否则出错。可直接用新数据库结构体成员，如果不需要，可以使用其它变量。

结构体映射

结构体用指针传递，这样可进行通用处理，即 MigrateDB 不再与具体结构体关联。

// 获取新表结构体名称

atype := reflect.TypeOf(vnewtable)

if atype.Kind() == reflect.Ptr { // 如果是结构体指针，再获取结构体

atype = atype.Elem()

}

// 如果还不是结构体，出错

if atype.Kind() != reflect.Struct {

log.Println("Check type error not Struct")

return

}

newTableName := atype.Name()

// 取第N个字段及值

idx := 0

var newIDName string = atype.Field(idx).Name// 此处为ID值，如果获取不到tag，选择变量名

// 查找单引号，得到tag

xormStr := atype.Field(idx).Tag.Get("xorm")

idx1 := strings.Index(xormStr, "'")

idx2 := strings.LastIndex(xormStr, "'")

if idx1 != -1 && idx2 != -1 && idx1 < idx2 {

newIDName = xormStr[idx1+1:idx2]

}

log.Println("debug new table: ", newTableName, newIDName)

功能有二：获取结构体名称，因为 sql 语句需要使用该名称。获取第 0 个字段名称，结合实际情况，数据库第 0 个字段为 ID，故设计上，将结构体第 0 个字段置为 ID。

注意，这里使用结构体指针形式传递，不需要额外声明结构体变量，代码较整洁。