RGW 的 Multisite 使用了boost asio 中的 coroutine 实现。coroutine 的特点是减少线程数量、线程切换和锁开销。
RGW用到的coroutine 库代码在Boost/boost/asio/coroutine.hpp 和 Boost/boost/asio/yield.hpp中。两个文件很简短，但非常精巧，通过嵌套使用 switch 、if 和 for 语句实现了 yield 等协程语意层面的关键字。
下面通过一个例子解释 coroutine 如何运行的。
1003 int RGWSimpleCoroutine::operate()
1004 {
1005 int ret = 0;
1006 reenter(this) {
1007 yield return state_init();
1008 yield return state_send_request();
1009 yield return state_request_complete();
1010 yield return state_all_complete();
1011 drain_all();
1012 call_cleanup();
1013 return set_state(RGWCoroutine_Done, ret);
1014 }
1015 return 0;
1016 }
这是一个 rgw coroutine 基类，继承自 boost 的 coroutine， yield 关键字效果就是这一行执行结束后“放弃 cpu”，将运行的机会让给其他 coroutine（实际就是停止，控制权回到 coroutine-manager）。rgw 的 coroutine-manager 是一个事件处理器，运行在一个 pthread 中，通过 for 循环遍历可以运行的 coroutine，每个 coroutine 只要实现自己的 operate() 接口供 manager 调用即可。
上面代码中 1007 行执行结束后，下一次 manager 再次调用coroutine 的operate()接口时，实际效果是从 1008 行继续执行，而1007 行不会再执行。这便是 yield 和 reenter 两个 boost 关键字 组合带来的效果。
先来看 reenter 关键字的实现
282 #define BOOST_ASIO_CORO_REENTER(c) \
283 switch (::boost::asio::detail::coroutine_ref _coro_value = c) \
284 case -1: if (_coro_value) \
285 { \
286 goto terminate_coroutine; \
287 terminate_coroutine: \
288 _coro_value = -1; \
289 goto bail_out_of_coroutine; \
290 bail_out_of_coroutine: \
291 break; \
292 } \
293 else /* fall-through */ case 0:
c 是一个coroutine指针，其内部有一个 int 型变量记录当前执行的行号，初始为 0。coroutine_ref 类型在赋值时实际会改变 cocourint 中的 int 变量。
当 coroutine 第一次运行时， reenter 展开成一个 switch 语句，命中 case 0 分支，随后便是业务代码中多行的 yield 语句。
yield 关键字实现如下
295 #define BOOST_ASIO_CORO_YIELD_IMPL(n) \
296 for (_coro_value = (n);;) \
297 if (_coro_value == 0) \
298 { \
299 case (n): ; \
300 break; \
301 } \
302 else \
303 switch (_coro_value ? 0 : 1) \
304 for (;;) \
305 /* fall-through */ case -1: if (_coro_value) \
306 goto terminate_coroutine; \
307 else for (;;) \
308 /* fall-through */ case 1: if (_coro_value) \
309 goto bail_out_of_coroutine; \
310 else /* fall-through */ case 0:
这段展开后刚好和 reenter 关键字展开的 switch case 0 分支接上。这里的 n 就是源文件行号，通过编译器的__LINE__关键字获取。当业务代码第一次执行时，即 1007 行，yield 展开后执行逻辑为：
- 296 行 for 语句赋值 _coro_value，导致 coroutine 记录执行位置的 int 变量更新为当前行号
- 297 行 if 语句判断失败（_coro_value在上一步刚赋值），跳转到 302 行的 else 分支
- else 分支从 303 行开始又是一个 switch 结构，这里由于_coro_value 有值，所以跳转到 310 行的
case 0分支 - 310 行的
case 0分支具体内容就是业务代码中 1007 行的return state_init(); - 上一步是个 return，因此到这里
operate()接口到这里就结束了，返回到上一层函数中。
当下一次再调用operate()接口时，仍然是先展开 reenter 宏，此时 283 行的 switch 值既不会命中 284行的 case -1 也不会命中 293 行的 case 0，但不妨碍继续展开后面的 yield 语句（编译器宏展开阶段早于编译阶段），仔细看 yield 宏定义，其中 299 行有一个神来之笔 case (n)，这刚好跟 reenter 展开的 switch 结构接上。虽然是第二次执行，但业务代码仍然要先展开 1007 行的 yield，代入进去会发现，上一次执行后 coroutine 的 int 变量就是 1007，现在展开 yiled，刚好命中 299行的 case (n) ，这里 n 刚好是 1007，所以执行 300 行break，但 break 并不是跳出 switch 结构，而是跳出 296 行定义的 for 循环，所以 1007 行中的 return state_init(); 不会被执行。 1008 行的 yield 仍然按定义展开，这里又是一次 yield 展开，展开后的执行流程和第一次执行operate() 接口时 1007 行执行逻辑一样：296 行 for 循环赋值，297 行 if 跳转到 302 else，进而又是一个 switch 结构，最终跳转到 310 行执行业务代码。
但这里还有个问题：为什么第二次执行operate()时，1007 行的 yield 展开后 break 掉后，会继续执行1008 行的 yield 展开？手动展开后代码如下
// reenter 关键字展开
283 switch (::boost::asio::detail::coroutine_ref _coro_value = c) \
284 case -1: if (_coro_value) \
285 { \
286 goto terminate_coroutine; \
287 terminate_coroutine: \
288 _coro_value = -1; \
289 goto bail_out_of_coroutine; \
290 bail_out_of_coroutine: \
291 break; \
292 } \
293 else /* fall-through */ case 0:
// 1007 行 yield 展开
1-296 for (_coro_value = (n);;) \ //此处 n=1007
1-297 if (_coro_value == 0) \
1-298 { \
1-299 case (n): ; \
1-300 break; \
1-301 } \
1-302 else \
1-303 switch (_coro_value ? 0 : 1) \
1-304 for (;;) \
1-305 /* fall-through */ case -1: if (_coro_value) \
1-306 goto terminate_coroutine; \
1-307 else for (;;) \
1-308 /* fall-through */ case 1: if (_coro_value) \
1-309 goto bail_out_of_coroutine; \
1-310 else /* fall-through */ case 0: return state_init();
// 1008 行 yield 展开
2-296 for (_coro_value = (n);;) \ //此处 n=1008
2-297 if (_coro_value == 0) \
2-298 { \
2-299 case (n): ; \
2-300 break; \
2-301 } \
2-302 else \
2-303 switch (_coro_value ? 0 : 1) \
2-304 for (;;) \
2-305 /* fall-through */ case -1: if (_coro_value) \
2-306 goto terminate_coroutine; \
2-307 else for (;;) \
2-308 /* fall-through */ case 1: if (_coro_value) \
2-309 goto bail_out_of_coroutine; \
2-310 else /* fall-through */ case 0: return state_send_request();
在 1-300 行 break 后，只是跳出了 1-296 的 for 循环，但仍然在 283 定义的 swtich 结构中，因此会继续执行 switch 结构中的下一个语句块，即 2-296 开始的 for 循环。可以用如下代码验证这个猜想
#include <iostream>
using namespace std;
int main() {
/* 模拟第二次执行 operate()函数时的展开 */
switch(int i=1) { //模拟 reenter 展开的 switch 结构，第二次执行时不会命中 case0，但会命中 case0 后面的 case
case 0:
{
for(;;) //模拟 1007 行展开
if(true) {
case 1:
cout << "case 1" << endl; //这一行会被执行
break;
} else {
cout << "impossible" << endl;
return 0;
}
for(;;) //模拟 1008 行展开
if(false){
} else {
cout << "execute here" << endl; //这一行会被执行
return 0;
}
}
}
return 0;
}
以上便是针对 yield return async_foo() 形式的调用进行的示例分析，除此之外，还有yield; ，yield break，yield async_foo()三种使用方式。
yield;和yield aysnc_foo() 效果都是中止operate()，控制权返回到 manager。实现原理是yield展开中310行结束后，由于307行的 for 结构导致跳转到 308 行，进而 309 行跳转到reenter展开中定义的bail_out_of_coroutine标签处，即290 行，此处 break跳出 switch 结构，reenter 语句块结束，但下次再次调用operate()时该 coroutine 仍可继续执行。
yield break; 在310 行因 break 关键字会跳出307 行定义的 for 结构，从而跳转到 304 行的 for 结构，然后调到 terminate_coroutine 标签处，即287 行，然后设置coroutine 内部记录代码执行位置的 int 变量为- 1，再 break 出 switch，结束 reenter 语句块。由于代码位置记录变为 -1，后续再次调用operate() 时会跳转到284 行，结束reenter语句块，相当于 coroutine 无法再执行。
总结
- boost 的 coroutine 是通过对 if 、switch 和 for 语句的巧妙安排，加上内部记录代码行号实现函数执行位置的跳转和记录。
- yeild 用于记录当前执行位置，并中止当前 coroutine 。
- yeild 后面的函数调用要用异步方式，否则会阻塞 manager 线程（本文没展开）。
