算法思路
拟合局部的时变线性动态模型,而不是学习一个全局模型。在全局动态模型复杂非线性并且不连续的情况下, 很难被成功学习(采集到的样本不足以充分反映系统动态分布)。该算法是model-based和model-free的混合方法,比model-free方法需求更少的样本,又能很好的解决model-based方法难以成功学习复杂不连续全局动态模型的问题。
利用当前的线性高斯控制器在实际机器人中运行次,获取轨迹分布,然后利用样本来估计该动态模型。只要我们估计每一时间步局部的线性高斯动态模型,接着就运行动态规划算法更新线性高斯控制器的参数。由于估计的动态模型是局部的,通过iLQG算法更新得到的新控制器参数可能与老控制器参数有很大变化,为了减小参数更新的方差,我们通过加入新老控制器的约束项来限制每一次动态规划的变化。
KL-Divergence 约束优化
Lagrange对偶问题:
假设前后两次的局部动态模型一致,即,则上述优化问题可化简为:
参考文献
[1]:https://blog.csdn.net/sunbibei/article/details/51558777
[2]:Kumar, Vikash, E. Todorov, and S. Levine. "Optimal control with learned local models: Application to dexterous manipulation." IEEE International Conference on Robotics and Automation IEEE, 2016.