用gin+xorm+docker编写Online Judge后端

项目链接: https://github.com/Myriad-Dreamin/core-oj/tree/develop

思路：

将worker分为两种, compiler & judger
compiler负责隔离编译环境，设置编译资源限制，权限限制
judger负责隔离运行环境，sandboxize
设计结构体管理compilers/judgers
gin-server只是作为core的测试服务器，可以利用compiler/judger的daemon自行编写服务

compiler

daemon与compilers之间用grpc通信。
compiler的资源受到daemon管理，当compiler超时无反应时，直接摧毁compiler重建一个新的compiler，并向上级报告严重错误
compiler的language config可自定义，暴露的接口可以定义新的编译类型。

judger

隔绝所有网络环境。
daemon与judgers之间用unix-socket通信。
资源限制与judger类似。
使用docker的用户映射，docker根用户root为物理机普通用户，除了共享容器的完全访问权限，没有其他任何权限。judger开辟子进程运行程序时，改变其uid-gid为运行时用户worker。worker只有目标程序的100权限，没有judger以及物理机其他的任何权限。

docker configuration

采用alpine最小镜像
支持c/c++/java/python2/python3的编译及运行。
c/c++编译器为g++，java sdk为openjdk8，python2,3版本分别为2.7,3.7。
单个compiler占用外存273M，单个judger占用外存197M。

problem/code api

problem orm模型如下。

// Problem example
type Problem struct {ID       int    `xorm:"not null pk autoincr 'id'"`Name     string `xorm:"'name'"`OwnerUID int    `xorm:"owner_uid"`
}

OwnerUID为预设的用户uid。
大部分配置位于path/to/problem/Problem.ID/problem_config.xxx中。
problem-config支持yaml/xml/toml/json。
yaml的配置示例如下：

judge:judge-type: acmtasks:- name: tasktime-limit: 1000000000memory-limit: 262144input-path: /codes/output-path: /codes/
special-judge:enable: truelanguage-type: c++11file-path: /spj.cpp

查看源码: https://github.com/Myriad-Dreamin/core-oj/blob/develop/problem-config/problem-config.example.yml
judge支持多种类型acm (目前只支持acm类型，未来可能支持ioi, interactive类型等)，可以将问题分为多个子类型。每个子类型允许设置时间限制/空间限制，输入/输出路径。
special judge支持多种语言类型的special judge，目前只支持testlib.lib(c++)

Example

目前项目编写了一个使用core编写Online Judge后端的示例。
查看源码: https://github.com/Myriad-Dreamin/core-oj/tree/develop/gin-server

支持的api接口如下：

codeService.Get /code/:id@GET

查询code信息

codeService.GetContent /code/:id/content@GET

查询code代码

codeService.GetResult /code/:id/result@GET

查询code judge的结果

codeService.PostForm /code/postform@POST

添加code

codeService.Delete /code/:id@DELETE

删除code

problemService.Get /problem/:id@GET

获取problem信息

problemService.PostForm /problem/postform@POST

添加problem

problemService.Delete /problem/:id@DELETE

删除problem

problemService.Stat /problemfs/:id/stat@GET

查询problem所属文件夹的文件信息

problemService.Mkdir /problemfs/:id/mkdir@PUT

查询problem所属文件夹的文件信息

problemService.Ls /problemfs/:id/ls@GET

查看problem所属文件夹下某文件夹所有文件

problemService.Read /problemfs/:id/read@GET

查看problem所属文件夹的文件内容

problemService.Write /problemfs/:id/write@POST

上传文件到problem所属文件夹

problemService.Writes /problemfs/:id/writes@POST

上传多个文件到problem所属文件夹

problemService.Zip /problemfs/:id/zip@POST

上传压缩包到problem所属文件夹并解压

problemService.ReadConfigV2 /problemfs/:id/config@GET

读取problem-config

problemService.PutConfig /problemfs/:id/config@PUT

修改problem-config

注意事项：

Alpine可运行文件需要经过linux,i386交叉编译，否则可能无法识别
合理配置Docker，防止远程代码恶意行为