相关教程
相关文献
前言
从一个例子出发：Cutting Stock Problem
- 问题描述
- 分析
- 建模
- - Master Problem（MP）
  - Restricted Master Problem（RMP）
  - Restricted Linear Master Problem（RLMP）
  - Dual of Restricted Linear Master Problem
  - Subproblem
- 迭代
列生成：Cutting Stock Problem
- 问题描述
- 建模
- - Master Problem（MP）
  - Restricted Master Problem（RMP）
  - Dual of Restricted Master Problem
  - Subproblem
- 迭代
- 流程图
总结

列生成（Column generation）是一种解决大型线性程序的有效算法。

前言

之前一直想跟大家分享一下列生成（Column generation），也全网搜了许多文档、视频、论文等。大部分教程抽象程度较高，需要具备大量的基础知识才能看明白，于是写一篇尽可能0基础上手的分享，希望能帮到也在从事相关行业的你。

一定有人会问，有没有行生成算法？当然有啦！！！有机会之后给大家分享！！！——@小猪快跑

从一个例子出发：Cutting Stock Problem

问题描述

卖家有3种长度的木材：9cm（5元），14cm（9元），16cm（10元）。
买家需要木材：4cm（30根），5cm（20根），7cm（40根）。
于是卖家需要通过切割木材满足买家的需求，而且卖家希望成本最低从而达到受益最大。

分析

首先我们来简单思考下，一根9cm的木材能有多少种切法满足买家需要的4cm，5cm，7cm

cost（元）	切前木材长度（cm）	4cm木材数量	5cm木材数量	7cm木材数量
5	9	1	0	0
5	9	2	0	0
5	9	0	1	0
5	9	1	1	0
5	9	0	0	1

本着不浪费的中华传统美德，显然第二行的切法比第一行更好一些哟(＾Ｕ＾)ノ~ＹＯ
我们一般习惯称一种切割方法为cutting pattern。
好啦，之后就非常easy的搞定之后的（只保留比较好的pattern）。

All Cutting Pattern：

cost（元）	切前木材长度（cm）	4cm木材数量	5cm木材数量	7cm木材数量	符号
5	9	2	0	0	x1x_1x1
5	9	1	1	0	x2x_2x2
5	9	0	0	1	x3x_3x3
9	14	3	0	0	x4x_4x4
9	14	2	1	0	x5x_5x5
9	14	1	2	0	x6x_6x6
9	14	1	0	1	x7x_7x7
9	14	0	1	1	x8x_8x8
9	14	0	0	2	x9x_9x9
10	16	4	0	0	x10x_{10}x10
10	16	2	0	1	x11x_{11}x11
10	16	1	1	1	x12x_{12}x12
10	16	0	3	0	x13x_{13}x13

于是我们只需要从All Cutting Pattern里面确定每个Pattern需要几次就行了。（举个例子：比如x1=30\bm{x_1=30}x1=30代表我们使用第1种切法切了30根9cm长度的木材）。

我们目标是用最少的钱完成买家的需求，也就是每个Pattern的cost×数量\bm{cost\times }\textbf{数量}cost×数量的总和。

5x1+5x2+5x3+9x4+9x5+9x6+9x7+9x8+9x9+10x10+10x11+10x12+10x135x_1+5x_2+5x_3+9x_4+9x_5+9x_6+9x_7+9x_8+9x_9+10x_{10}+10x_{11}+10x_{12}+10x_{13}5x1+5x2+5x3+9x4+9x5+9x6+9x7+9x8+9x9+10x10+10x11+10x12+10x13

另外呢我们需要满足买家数量上的要求。
4cm要超过30根：

2x1+x2+0x3+3x4+2x5+x6+x7+0x8+0x9+4x10+2x11+x12+0x13≥302x_1+x_2+0x_3+3x_4+2x_5+x_6+x_7+0x_8+0x_9+4x_{10}+2x_{11}+x_{12}+0x_{13}\geq 302x1+x2+0x3+3x4+2x5+x6+x7+0x8+0x9+4x10+2x11+x12+0x13≥30

5cm要超过20根：

0x1+x2+0x3+0x4+x5+2x6+0x7+x8+0x9+0x10+0x11+x12+3x13≥200x_1+x_2+0x_3+0x_4+x_5+2x_6+0x_7+x_8+0x_9+0x_{10}+0x_{11}+x_{12}+3x_{13}\geq 200x1+x2+0x3+0x4+x5+2x6+0x7+x8+0x9+0x10+0x11+x12+3x13≥20

7cm要超过70根：

0x1+0x2+x3+0x4+0x5+0x6+x7+x8+2x9+0x10+x11+x12+0x13≥400x_1+0x_2+x_3+0x_4+0x_5+0x_6+x_7+x_8+2x_9+0x_{10}+x_{11}+x_{12}+0x_{13}\geq 400x1+0x2+x3+0x4+0x5+0x6+x7+x8+2x9+0x10+x11+x12+0x13≥40

建模

Master Problem（MP）

根据上面的分析，我们已经有了决策变量xix_ixi，我们有了目标函数最少的钱，我们也有了相应的约束满足买家数量上的要求，于是乎我们可以来建模啦！！！

定义决策变量xi\bm{x_i}xi为使用第iii种Pattern的根数。
min⁡5x1+5x2+5x3+9x4+9x5+9x6+9x7+9x8+9x9+10x10+10x11+10x12+10x13\min{5x_1+5x_2+5x_3+9x_4+9x_5+9x_6+9x_7+9x_8+9x_9+10x_{10}+10x_{11}+10x_{12}+10x_{13}}min5x1+5x2+5x3+9x4+9x5+9x6+9x7+9x8+9x9+10x10+10x11+10x12+10x13
s.t.s.t.s.t.
2x1+x2+0x3+3x4+2x5+x6+x7+0x8+0x9+4x10+2x11+x12+0x13≥302x_1+x_2+0x_3+3x_4+2x_5+x_6+x_7+0x_8+0x_9+4x_{10}+2x_{11}+x_{12}+0x_{13}\geq 302x1+x2+0x3+3x4+2x5+x6+x7+0x8+0x9+4x10+2x11+x12+0x13≥30
0x1+x2+0x3+0x4+x5+2x6+0x7+x8+0x9+0x10+0x11+x12+3x13≥200x_1+x_2+0x_3+0x_4+x_5+2x_6+0x_7+x_8+0x_9+0x_{10}+0x_{11}+x_{12}+3x_{13}\geq 200x1+x2+0x3+0x4+x5+2x6+0x7+x8+0x9+0x10+0x11+x12+3x13≥20
0x1+0x2+x3+0x4+0x5+0x6+x7+x8+2x9+0x10+x11+x12+0x13≥400x_1+0x_2+x_3+0x_4+0x_5+0x_6+x_7+x_8+2x_9+0x_{10}+x_{11}+x_{12}+0x_{13}\geq 400x1+0x2+x3+0x4+0x5+0x6+x7+x8+2x9+0x10+x11+x12+0x13≥40
xi∈Nx_i\in\mathbb{N}xi∈N
每一列： 一种可行的切割方案需要被执行的次数，或者多少根棒材使用这种切割方案
每一行：一种棒材的需求必须要被满足

Restricted Master Problem（RMP）

有时候MP的规模会非常大，于是我们考虑如果先用几种Pattern得到一个可行的方案（可能不是最优解），然后我们有了这个可行解后再去依次看如果增加其他Pattern会不会有更好的解，而直接求解MP可能在给定时间内无法得到可行解。

于是顺着这个思路我们构建RMP（要注意我们选择的Pattern至少能得到一个可行解）：

定义决策变量xi\bm{x_i}xi为使用第iii种Pattern的根数。
min⁡5x1+5x2+5x3\min{5x_1+5x_2+5x_3}min5x1+5x2+5x3
s.t.s.t.s.t.
2x1+x2+0x3≥302x_1+x_2+0x_3\geq 302x1+x2+0x3≥30
0x1+x2+0x3≥200x_1+x_2+0x_3\geq 200x1+x2+0x3≥20
0x1+0x2+x3≥400x_1+0x_2+x_3\geq 400x1+0x2+x3≥40
xi∈Nx_i\in\mathbb{N}xi∈N

Restricted Linear Master Problem（RLMP）

常规的列生成方法都是解决LP问题的，这时候我们做一些适当的松弛（也就是xi∈Nx_i\in\mathbb{N}xi∈N变成xi≥0x_i\geq 0xi≥0）。

于是顺着这个思路我们构建RLMP（要注意RLMP的可行解并不一定是RMP的可行解，但我们只需要把解上取整即可）：

定义决策变量xi\bm{x_i}xi为使用第iii种Pattern的根数。
min⁡5x1+5x2+5x3\min{5x_1+5x_2+5x_3}min5x1+5x2+5x3
s.t.s.t.s.t.
2x1+x2+0x3≥302x_1+x_2+0x_3\geq 302x1+x2+0x3≥30
0x1+x2+0x3≥200x_1+x_2+0x_3\geq 200x1+x2+0x3≥20
0x1+0x2+x3≥400x_1+0x_2+x_3\geq 400x1+0x2+x3≥40
xi≥0x_i\geq 0xi≥0

然后我们可以用LP求解器直接求解上述模型（这里我用Clp来举例，当然你可以使用你喜欢的求解器）

（为了排版整洁方便阅读，我会把代码放在文末）

直接运行得到

理论上来说我们应该对结果上取整，但我们将在得到松弛后的MP解之后再上取整会更方便高效，所以这里我们不进行上取整（不过好像刚好解是整数Σ(⊙▽⊙"a——@小猪快跑）：
Objectivevalue=325Objective \: value = 325Objectivevalue=325
x1=5x_1 = 5x1=5
x2=20x_2 = 20x2=20
x3=40x_3 = 40x3=40
我们试图来解释一下solution的含义：用5个Pattern 1（也就是说选了5根9cm的木材，每根都切成2个4cm），类似的又用了20个Pattern 2和40个Pattern 3，这样的选择能使我们总花费最少——325元。

Dual of Restricted Linear Master Problem

现在我们从另一个角度来考虑RMP。
【卖家】直接购买成品（切割后的木材），转手卖给客户，类似中间商。
【卖家】目标：最多花多少钱购买成品挣得要比自己生产多。
【卖家】约束：需要给成品定一个心理价位。这些心理价位必须满足：对于任意切割方案，购买成品的钱 <= 自己生产的钱。（比如说，卖家花5元买到1根9cm的木材可以切割成2个4cm成品，也就是说卖家如果直接购买2个4cm的成品价格超过5元那不如自己生产了。写成公式：2y1≤52y_1\leq 52y1≤5，其中y1\bm{y_1}y1为4cm木材的心理价格）
————————————————————————————————————————————————————————
定义决策变量yi\bm{y_i}yi分别为4cm（30根），5cm（20根），7cm（40根）木材的心理价格。
max⁡30y1+20y2+40y3\max{30y_1+20y_2+40y_3}max30y1+20y2+40y3
s.t.s.t.s.t.
2y1+0y2+0y3≤52y_1+0y_2+0y_3\leq 52y1+0y2+0y3≤5
y1+y2+0y3≤5y_1+y_2+0y_3\leq 5y1+y2+0y3≤5
0y1+0y2+y3≤50y_1+0y_2+y_3\leq 50y1+0y2+y3≤5
yi≥0y_i\geq 0yi≥0

直接求解：

Objectivevalue=325Objective \: value = 325Objectivevalue=325
y1=2.5y_1 = 2.5y1=2.5
y2=2.5y_2 = 2.5y2=2.5
y3=5.0y_3 = 5.0y3=5.0
我们试图来解释一下solution的含义：4cm、5cm、7cm成品木材的心理价格分别是2.5元、2.5元、5元，最多花325元购买成品挣得要比自己生产多。也就是说只要价格比2.5元、2.5元、5元低，卖家就赚了。

Subproblem

单纯形法检验数的含义：该产品（变量）的市场价格与该产品的隐含成本之差。市场价格高于隐含成本，即检验数大于零时，则可将该产品投入生产。
原问题检验数对应其对偶问题的一个基解

如果你知道检验数的概念，会很快理解subproblem，不过在这里我会假设你不知道，试图用最简单的方法让你理解——@小猪快跑

在dual问题中我们计算出成品的心理价格。接下来我们想知道是不是存在更省钱的Pattern。
首先我们来思考一下如何判定一个Pattern是不是更省钱。
例子1：9cm的木材完全浪费掉也是一种Pattern，但一根9cm的木材要5元，也就是说卖家损失了5元。
例子2：Pattern 9：14cm木材（9元）切割成2根7cm成品（使用Pattern 1、2、3的7cm心理价格是5元）。也就是卖家只用Pattern 1、2、3这三种切割方法的时候，只要用低于5元的价格购买7cm再卖掉就比自己切割赚钱了，而如果加上了Pattern 9，卖家如果用5元的价格就不如自己直接用Pattern 9来的赚钱，而是必须低于4.5元（9元/2）的价格购买7cm再卖掉才比自己切割赚钱。
有了上面两个例子我们已经逐渐清晰如何去判定一个Pattern是不是更省钱。
也就是说我们的目标是去寻找一个新Pattern：新Pattern切割后的成品在老Pattern下的心理价格 > 新Pattern的价格
定义决策变量aj\bm{a_{j}}aj是新Pattern切割后4cm，5cm，7cm木材的数量。
新Pattern切割后的成品在老Pattern下的心理价格【2.5a1+2.5a2+5a32.5a_1+2.5a_2+5a_32.5a1+2.5a2+5a3】>新Pattern的价格【9元（14cm）】
即：
2.5a1+2.5a2+5a3>92.5a_1+2.5a_2+5a_3>92.5a1+2.5a2+5a3>9
⇒9−(2.5a1+2.5a2+5a3)<0\Rightarrow 9-(2.5a_1+2.5a_2+5a_3)<0⇒9−(2.5a1+2.5a2+5a3)<0（不等号左边我们一般称之为检验数，这就是我们常说的检验数判定解是否是最优解）
这里我们用一个约束转换成目标函数的小技巧：令z=9−(2.5a1+2.5a2+5a3)z=9-(2.5a_1+2.5a_2+5a_3)z=9−(2.5a1+2.5a2+5a3)，如果min⁡z\min zminz比0还大，那说明不存在z>0z>0z>0的解，也就是不存在更省钱的Pattern。
新Pattern切割后总长度不能超过原始木材长度：4a1+5a2+7a3≤144a_1+5a_2+7a_3\leq 144a1+5a2+7a3≤14
综合起来就是：
min⁡9−(2.5a1+2.5a2+5a3)\min{9-(2.5a_1+2.5a_2+5a_3)}min9−(2.5a1+2.5a2+5a3)
4a1+5a2+7a3≤144a_1+5a_2+7a_3\leq 144a1+5a2+7a3≤14

于是我们分别建立9cm、14cm、16cm的Subproblem ：
————————————————————————————————————————————————————————
Subproblem 1（9cm，5元）
定义决策变量aj\bm{a_{j}}aj是Pattern切割后4cm，5cm，7cm木材的数量。
min⁡z=5−(2.5a1+2.5a2+5a3)\min{z=5-(2.5a_1+2.5a_2+5a_3)}minz=5−(2.5a1+2.5a2+5a3)
s.t.s.t.s.t.
4a1+5a2+7a3≤94a_1+5a_2+7a_3\leq 94a1+5a2+7a3≤9
ai∈Na_i\in\mathbb{N}ai∈N
求解得：a=(2,0,0)T,z=0a=(2,0,0)^T, z=0a=(2,0,0)T,z=0
————————————————————————————————————————————————————————
Subproblem 2（14cm，9元）
定义决策变量aj\bm{a_{j}}aj是Pattern切割后4cm，5cm，7cm木材的数量。
min⁡z=9−(2.5a1+2.5a2+5a3)\min{z=9-(2.5a_1+2.5a_2+5a_3)}minz=9−(2.5a1+2.5a2+5a3)
s.t.s.t.s.t.
4a1+5a2+7a3≤144a_1+5a_2+7a_3\leq 144a1+5a2+7a3≤14
ai∈Na_i\in\mathbb{N}ai∈N
求解得：a=(0,0,2)T,z=−1\bm{a=(0,0,2)^T, z=-1}a=(0,0,2)T,z=−1
————————————————————————————————————————————————————————
Subproblem 3（16cm，10元）
定义决策变量aj\bm{a_{j}}aj是Pattern切割后4cm，5cm，7cm木材的数量。
min⁡z=10−(2.5a1+2.5a2+5a3)\min{z=10-(2.5a_1+2.5a_2+5a_3)}minz=10−(2.5a1+2.5a2+5a3)
s.t.s.t.s.t.
4a1+5a2+7a3≤164a_1+5a_2+7a_3\leq 164a1+5a2+7a3≤16
ai∈Na_i\in\mathbb{N}ai∈N
求解得：a=(4,0,0)T,z=0a=(4,0,0)^T, z=0a=(4,0,0)T,z=0

迭代

我们发现Subproblem 2的z<0z<0z<0，于是我们把a=(0,0,2)Ta=(0,0,2)^Ta=(0,0,2)T这个Pattern加入到RLMP中，因为这就是我们找到的更省钱的Pattern。
定义决策变量xi\bm{x_i}xi为使用第iii种Pattern的根数。
min⁡5x1+5x2+5x3+9x9\min{5x_1+5x_2+5x_3+9x_9}min5x1+5x2+5x3+9x9
s.t.s.t.s.t.
2x1+x2+0x3+0x9≥302x_1+x_2+0x_3+0x_9\geq 302x1+x2+0x3+0x9≥30
0x1+x2+0x3+0x9≥200x_1+x_2+0x_3+0x_9\geq 200x1+x2+0x3+0x9≥20
0x1+0x2+x3+2x9≥400x_1+0x_2+x_3+2x_9\geq 400x1+0x2+x3+2x9≥40
xi≥0x_i\geq 0xi≥0

求解后得到：

Objectivevalue=305Objective \: value = 305Objectivevalue=305
x1=5x_1 = 5x1=5
x2=20x_2 = 20x2=20
x3=0x_3 = 0x3=0
x9=20x_9 = 20x9=20
y1=2.5y_1 = 2.5y1=2.5
y2=2.5y_2 = 2.5y2=2.5
y9=4.5y_9 = 4.5y9=4.5
由于x3=0x_3=0x3=0，所以我们可以从模型中舍去x3x_3x3。
于是我们分别建立9cm、14cm、16cm的Subproblem ：
————————————————————————————————————————————————————————
Subproblem 1（9cm，5元）
定义决策变量aj\bm{a_{j}}aj是Pattern切割后4cm，5cm，7cm木材的数量。
min⁡z=5−(2.5a1+2.5a2+4.5a9)\min{z=5-(2.5a_1+2.5a_2+4.5a_9)}minz=5−(2.5a1+2.5a2+4.5a9)
s.t.s.t.s.t.
4a1+5a2+7a9≤94a_1+5a_2+7a_9\leq 94a1+5a2+7a9≤9
ai∈Na_i\in\mathbb{N}ai∈N
求解得：a=(2,0,0)T,z=0a=(2,0,0)^T, z=0a=(2,0,0)T,z=0
————————————————————————————————————————————————————————
Subproblem 2（14cm，9元）
定义决策变量aj\bm{a_{j}}aj是Pattern切割后4cm，5cm，7cm木材的数量。
min⁡z=9−(2.5a1+2.5a2+4.5a9)\min{z=9-(2.5a_1+2.5a_2+4.5a_9)}minz=9−(2.5a1+2.5a2+4.5a9)
s.t.s.t.s.t.
4a1+5a2+7a9≤144a_1+5a_2+7a_9\leq 144a1+5a2+7a9≤14
ai∈Na_i\in\mathbb{N}ai∈N
求解得：a=(0,0,2)T,z=0a=(0,0,2)^T, z=0a=(0,0,2)T,z=0
————————————————————————————————————————————————————————
Subproblem 3（16cm，10元）
定义决策变量aj\bm{a_{j}}aj是Pattern切割后4cm，5cm，7cm木材的数量。
min⁡z=10−(2.5a1+2.5a2+4.5a9)\min{z=10-(2.5a_1+2.5a_2+4.5a_9)}minz=10−(2.5a1+2.5a2+4.5a9)
s.t.s.t.s.t.
4a1+5a2+7a9≤164a_1+5a_2+7a_9\leq 164a1+5a2+7a9≤16
ai∈Na_i\in\mathbb{N}ai∈N
求解得：a=(4,0,0)T,z=0a=(4,0,0)^T, z=0a=(4,0,0)T,z=0

所有的Subproblem目标z≥0z \geq 0z≥0，那就说明不存在更好的Pattern，于是最终的解（记得上取整）：x1=5,x2=20,x9=20x_1 = 5, x_2 = 20, x_9 = 20x1=5,x2=20,x9=20

以上整个算法过程我们就称之为——列生成

列生成：Cutting Stock Problem

本节需要一定的运筹学基础，但如果你已经看完上文的话，我相信理解起来也会非常简单了。——@小猪快跑

提出Gomory割的大佬Gomory在IBM的时候，与另一个大佬Gilmore 共同提出了著名的Column Generation：

参考文献：
@article{gilmore1961linear,
title={A linear programming approach to the cutting-stock problem},
author={Gilmore, Paul C and Gomory, Ralph E},
journal={Operations research},
volume={9},
number={6},
pages={849–859},
year={1961},
publisher={INFORMS}
}

问题描述

卖家有nnn种长度的木材：LiL_iLi m（cic_ici元）
买家需要mmm种长度的木材：lil_ili m（did_idi根）
于是卖家需要通过切割木材满足买家的需求，而且卖家希望成本最低从而达到受益最大。