一、背景

订单系统存在于各行各业，如电商订单、银行流水、运营商话费账单等，是一个非常广泛、通用的系统。对于这类系统，在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展，以及各企业对数据的重视，需要存储和持久化的订单量越来越大。数据的重视程度与数据规模的膨胀带来了新的挑战，原有的系统是否还能继续满足需求成了焦点？

需求场景

某电商平台A，需要进行持久化所有平台产生的订单数据。同时，基于所有的订单数据，系统又需要向外提供面向多种角色：消费者、店家、平台三类人群的多元化的查询服务。消费者可以查询自己的历史订单，商家可以统计热销产品，平台也可以分析用户行为、平台交易规模等。主要查询方式涵盖订单的多维度检索，以及订单数据的分析、统计等，例如：
面向消费者：【A消费者】*【近1年】*【产品名含'电脑'字段】订单查询；
面向店家：【B店家】*【近1个月】*【每个产品】销售量排名；
......

技术点

在订单场景中，技术上通常需要考虑的技术点，主要包含如下几个方面：

查询能力：需要具备丰富的查询类型，如多维度、范围、模糊查询等，同时具备排序、统计等功能；
数据量：存储海量数据的同时，满足强一致、高可用、低成本等要求；
服务性能：应对高并发请求高并发的同时，保证低延迟；

二、方案演进

应对订单场景，电商通常会采用MySQL传统方案。借助关系型数据库强大的查询能力，用户可直接通过SQL语句实现订单数据的多维度查询、数据统计等。所谓数据膨胀，分为横向、纵向两种，横向即不断迭代引入的新字段维度，纵向即总的存储数据量。在面对这两种订单数据膨胀上，单MySql方案逐渐变得吃力。 SQL + NoSQL的组合方案（以下称：组合方案）便应运而生，借助两个数据库各自的优势分别解决不同场景各自的需求。但组合方案同样也带来了新的问题，组合方案牺牲空间成本，同时也增加了开发工作量与运维复杂度。在保证数据一致性上产生额外开销。

下面让我们看一下如下几个常规方案：

常规方案

1、MySql分库分表方案

MySql自身拥有强大的数据查询、分析功能，基于MyQql创建订单系统，可以应对订单数据多维查询、统计场景。伴随着订单数据量的增加，用户会采取分库、分表方案应对，通过这种伪分布式方案，解决数据膨胀带来的问题。但数据一旦达到瓶颈，便需要重新创建更大规模的分库+数据的全量迁移，麻烦就会不断出现。数据迭代、膨胀带来的困扰，是MySql方案难于逾越的。仅仅依靠MySql的传统订单方案短板凸显。
1、数据纵向（数据规模）膨胀：采用分库分表方案，MySql在部署时需要预估分库规模，数据量一旦达到上限后，重新部署并做数据全量迁移；
2、数据横向（字段维度）膨胀：schema需预定义，迭代新增新字段变更复杂。而维度到达一定量后影响数据库性能；

2、MySql+HBase方案

引入双数据的方案应运而生，通过实时数据、历史数据分存的方案，可以一定程度解决数据量膨胀问题。该方案将数据归类成两部分存储：实时数据、历史数据。同时通过数据同步服务，将过期数据同步至历史数据。
1、实时订单数据（例如：近3个月的订单）：将实时订单存入MySql数据库。实时订单的总量膨胀的速度得到了限制，同时保证了实时数据的多维查询、分析能力；
2、历史订单数据（例如：3个月以前的订单）：将历史订单数据存入HBase，借助于HBase这一分布式NoSql数据库，有效应对了订单数据膨胀困扰。也保证了历史订单数据的持久化；
但是，该方案牺牲了历史订单数据对用户、商家、平台的使用价值，假设了历史数据的需求频率极低。但是一旦有需求，便需要全表扫描，查询速度慢、IO成本很高。而维护数据同步又带来了数据一致性、同步运维成本飙升等难题；

3、MySql+Elasticsearch方案

组合方案还有MySql+Elasticsearch，该方案同样是将数据分两部分存储，可以一定程度解决订单索引维度增长问题。用户自己维护数据同步服务，保证两部分数据的一致性；
1、全量数据：将全量的订单数据存入MySql数据库，订单ID之外的数据整体存为一个字段。该全量数据作为持久化存储，也用于非索引字段的反查；
2、查询数据：仅将需要检索的字段存入Elasticsearch（基于Lucene分布式索引数据库），借助于Elasticsearch的索引能力，提供可以应付维度膨胀的订单数据，然后必要时反查MySql获取订单完整信息；
该方案应付了数据维度膨胀带来的困扰，但是随着订单量的不断膨胀，MySql扩展性差的问题再次暴露出来。同时数据同步至Elasticsearch的方案，开发、运维成本很高，方案选择也存在弊端。

能力分析	MySql	HBase	Elasticsearch	TableStore
存储方式	行存储	列存储	索引存储	列存储+索引存储
扩展性	单机、扩展性差	水平扩展	水平扩展	（自动）水平扩展
一致性	强一致性	强一致性、时序一致性		强一致性、时序一致性
检索	较弱的支持	不支持	支持	支持
数据量	~ 1T，~亿行	~10 PB，~万亿行	~1 PB，~千亿行	~10 PB，~万亿行

TableStore方案

如果使用表格存储（TableStore）研发的多元索引（SearchIndex）方案，则可以完美地解决以上问题。TableStore具有即开即用，按量收费等特点。多元索引随时创建，是海量电商订单元数据管理的优质方案。
TableStore作为阿里云提供的一款全托管、分布式NoSql型数据存储服务，具有【海量数据存储】、【热点数据自动分片】、【海量数据多维检索】等功能，天然地解决了订单数据大爆炸这一挑战；
同时，SearchIndex功能在保证用户数据高可用的基础上，提供了数据多维度搜索、统计等能力。针对多种场景创建多种索引，实现多种模式的检索。用户可以仅在需要的时候创建、开通索引。由TableStore来保证数据同步的一致性，这极大的降低了用户的方案设计、服务运维、代码开发等工作量。

三、基于表格存储实现的订单场景Demo

业务描述：

每成功完成一笔交易，就会生成一笔交易数据。交易数据包含了交易中的必要元素，如：交易时间、交易的双方、交易的产品、数量、价格等，这里选择最基本元素举例，仅将必要字段简历索引，格式如下：

订单持久化数据

表名："order_table"

列名	索引类型	类型	索引字段
order_id(主键列)	KEYWORD	String	均匀散列的字符串
time_stamp	LONG	long	交易时间戳
consumer_id	KEYWORD	String	消费者
seller_id	KEYWORD	String	商家unique编号
product_id	KEYWORD	String	产品unique编号
product_name	KEYWORD	String	产品名
product_type	KEYWORD	String	产品类型
product_price	DOUBLE	double	产品单价
product_count		double
total_pay		double
description		String
......	......	......	......

创建订单表

用户仅需维护一个数据库，按如下方式创建：用户可以通过控制台创建、管理Table，也可通过SDK

List<PrimaryKeySchema> primaryKey = Arrays.asList(new PrimaryKeySchema("order_id", PrimaryKeyType.STRING)
);TableMeta tableMeta = new TableMeta(tableName);
tableMeta.addPrimaryKeyColumns(primaryKey);
CreateTableRequest request = new CreateTableRequest(tableMeta, new TableOptions(-1, 1));
CreateTableResponse createTableResponse = otsClient.createTable(request);

创建索引

用户根据自身需求，在需要的时候随时创建索引。TableStore自动做全量、增量的索引数据同步：用户可以通过控制台创建、管理SearchIndex，也可通过SDK按如下方式创建（索引暂不支持update）

CreateSearchIndexRequest createSearchIndexRequest = new CreateSearchIndexRequest();
createSearchIndexRequest.setTableName("tableName");
createSearchIndexRequest.setIndexName("indexName");IndexSchema indexSchema = new IndexSchema();
indexSchema.setIndexSetting(new IndexSetting(1));//必写
indexSchema.setFieldSchemas(Arrays.asList(new FieldSchema("product_id", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),new FieldSchema("product_name", FieldType.TEXT).setIndex(true),//TEXT不能设置docValuesnew FieldSchema("product_type", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),new FieldSchema("product_count", FieldType.DOUBLE).setIndex(true).setEnableSortAndAgg(true).setStore(true),new FieldSchema("consumer_id", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),new FieldSchema("seller_id", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),new FieldSchema("total_pay", FieldType.DOUBLE).setIndex(true).setEnableSortAndAgg(true).setStore(true),new FieldSchema("time_stamp", FieldType.LONG).setIndex(true).setEnableSortAndAgg(true).setStore(true)
));
createSearchIndexRequest.setIndexSchema(indexSchema);CreateSearchIndexResponse createSearchIndexResponse = otsClient.createSearchIndex(createSearchIndexRequest);

数据读取

数据读取分为两类：
1、基于原生表格存储的主键列获取：getRow, getRange, batchGetRow等;
2、基于新SearchIndex功能Query：search;

主键读取

GetRowRequest getRowRequest = new GetRowRequest();PrimaryKey pk = new PrimaryKey(new PrimaryKeyColumn[]{new PrimaryKeyColumn("order_id", PrimaryKeyValue.fromString("fa960b5af"))
});SingleRowQueryCriteria singleRowQueryCriteria = new SingleRowQueryCriteria("order_table", pk);
singleRowQueryCriteria.setMaxVersions(1);
getRowRequest.setRowQueryCriteria(singleRowQueryCriteria);GetRowResponse rowResponse = otsClient.getRow(getRowRequest);

Search读取

新增的search接口，通过设置QueryRequest实现不同query，不同aggregation，不同sort的功能

SearchQuery searchQuery = new SearchQuery();//设置查询条件，用户发挥
searchQuery.setQuery(Query anyQuery);//做分页
searchQuery.setLimit(10);
searchQuery.setOffSet(0);SearchRequest searchRequest = new SearchRequest("tableName", "indexName", searchQuery);SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
columnsToGet.setColumns(columnsToShow);//List<String> columnsToShow
searchRequest.setColumnsToGet(columnsToGet);SearchResponse resp = otsClient.search(searchRequest);

返回结构

SearchResponse extends Response {private long totalCount;//query匹配成功数据总数private List<Row> rows;//query匹配数据列表（1）private boolean isAllSuccess;
}

场景Demo

search功能主要分为三种：（多维度）查询，排序，聚合，使用上通过三种功能的组合来实现；

场景1：多维度查询

【"consumer_001"用户】【上个月】购买【产品名含某"牙膏"字段】的订单记录
使用：BoolQuery, TermQuery, RangeQuery, MatchPhraseQuery

BoolQuery boolQuery = new BoolQuery();TermQuery termQuery = new TermQuery();
termQuery.setFieldName("consumer_id");
termQuery.setTerm(ColumnValue.fromString("consumer_001"));RangeQuery rangeQuery = new RangeQuery();
rangeQuery.setFieldName("time_stamp");
rangeQuery.greaterThanOrEqual(ColumnValue.fromLong(fromTime));
rangeQuery.lessThanOrEqual(ColumnValue.fromLong(toTime));MatchPhraseQuery matchPhraseQuery = new MatchPhraseQuery();
matchPhraseQuery.setFieldName("product_name");
matchPhraseQuery.setText("牙膏");boolQuery.setMustQueries(Arrays.asList(termQuery, rangeQuery, matchPhraseQuery
));SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(boolQuery);
searchQuery.setLimit(10);//仅构建Query
SearchRequest searchRequest = new SearchRequest("tableName", "indexName", searchQuery);

场景2：查询，排序

整个平台【上个月】【单订单支付金额】排行榜Top10
使用：RangeQuery, FieldSort

RangeQuery rangeQuery = new RangeQuery();
rangeQuery.setFieldName("time_stamp");
rangeQuery.greaterThanOrEqual(ColumnValue.fromLong(fromTime));
rangeQuery.lessThanOrEqual(ColumnValue.fromLong(toTime));//排序因子
FieldSort fieldSort = new FieldSort("total_pay");
fieldSort.setOrder(SortOrder.DESC);SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(rangeQuery);
searchQuery.setSort(new Sort(Arrays.asList(fieldSort)));
searchQuery.setLimit(10);//构建Query+Sort
SearchRequest searchRequest = new SearchRequest("tableName", "indexName", searchQuery);

原文链接
本文为云栖社区原创内容，未经允许不得转载。

基于TableStore的海量电商订单元数据管理相关推荐

vue尚品汇商城项目-day00【项目介绍：此项目是基于vue2的前台电商项目和后台管理系统】
文章目录本人其他相关文章链接项目介绍:此项目是基于vue2的前台电商项目和后台管理系统此项目为在线电商Web App (SPA) 包括首页, 搜索列表, 商品详情, 购物车, 订单, 支付, 用 ...
基于SSM框架的电商平台后台管理系统
基于SSM框架的电商平台后台管理系统 1.主要技术: 2.需求分析数据库表结构项目目录结构运行效果: 源码获取两种方式下载地址: 源码在这里 1.主要技术: Spring SpringMVC ...
电商后台商品管理和订单管理分享
因负责公司的教育电商后台产品的重构和设计,在商品管理和订单管理上踩了一些坑,积累了一些自己的思考,现在整理出来,分享给大家. 对于后台产品经理来说,有面向业务方的内部后台系统,也有面向c端用户的后台支 ...
[Camunda BPMN进阶] 电商订单流程设计与调试
目录摘要基于BPMN的软件设计思想电商订单流程业务场景基本订单流程BPMN设计 1.最基本流程设计 2. 添加超时未付款自动取消功能 3. 添加15分钟付款提醒 4. 添加用户取消订单事件进 ...
得物购买截图生成_电商订单是如何生成的？它有何奥秘？
交易系统一直是电商的核心模块,几乎所有业务都围绕其展开,看似简单的下单流程,实际涉及的模块.内容也很庞杂.这次就把订单下单的整体链路抽象出来,与大家分享. 说到下单,对于用户而言就是选择商品-下单-支 ...
基于协同过滤的电商推荐系统（2）：用户对商品的偏好得分
目录 0. 相关文章链接 1. 为什么要计算用户对商品的偏好得分 2. 什么是用户对商品的偏好得分 2.1. 用户对商品的偏好得分概述 2.2. 行为类型权重 2.3. 行为次数 2.4. 时间衰减系 ...
基于微服务的电商系统架构
分层微服务设计微服务微内核基于微服务的电商系统架构转载于:https://www.cnblogs.com/davidwang456/articles/9221369.html
电商订单ElasticSearch同步解决方案--使用logstash
电商订单ElasticSearch同步解决方案--使用logstash 参考文章: (1)电商订单ElasticSearch同步解决方案--使用logstash (2)https://www.cnbl ...
Java电商平台-电商订单系统全解析
说明:Java电商平台-电商订单系统全解析主要讲解OMS的内容,设计,开发,架构等知识今天分享将会分为以下三个环节来阐述: 1.订单系统的介绍 2.订单系统的解构 3.垂直电商订单系统设计思路一. ...

基于TableStore的海量电商订单元数据管理