[论文笔记]Web service composition using markov decision processes (WAIM 2005)
本文使用MDP方法对WSC进行建模, (S3.2)讨论了如何对Sequential结构进行建模, (S3.3)进一步讨论如何对conditional/parallel/iterative 结构进行建模. (S4)中则介绍了两个求解MDP的经典算法backward recursive value iteration和forward value iteration.
有几个notes:
1. 本文的目标是"minimizes response time"(S3.2), reward r(i, a) = response(s, op), 那么应该有个假设, 即调用了某个WS后, 不管调用是否成功, 都认为response是同一个固定值.
2. 本文中MDP的标准是finite horizon total expected reward.
有个不明白的地方是Decision Time Unit的个数N该如何确定?
还有在N步前组合成功以及N步时组合仍未成功这些情况涉及的细节问题.
转载于:https://www.cnblogs.com/yuquanlaobo/archive/2009/04/06/1430326.html
[论文笔记]Web service composition using markov decision processes (WAIM 2005)相关推荐
- 论文阅读 Current Solutions for Web Service Composition
简单信息 Title Current solutions for Web service composition Journal IEEE Internet Computing Year 2004 A ...
- David Silver强化学习笔记-Lecture 2: Markov Decision Processes
Lecture 2: Markov Decision Processes(马尔科夫决策过程) 一.Marokov Process (一)Introduction Introduction to MDP ...
- 3 有限马尔可夫决策过程（Finite Markov Decision Processes）
[上一篇 2 从Multi-arm Bandits问题分析 - RL进阶] [下一篇 4 动态编程(Dynamic Programming, DP)] 本次总结中的 1-4 小节主要介绍了增强学习中的 ...
- [论文摘录] Web Service QoS的几个研究方向
Time: 3 hours P. C. Xiong, Y. S. Fan, and M. C. Zhou, "Web Service Configuration under Multiple ...
- 论文笔记 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo （ICML 2008）
0 摘要 低秩矩阵逼近方法是协同过滤中最简单.最有效的方法之一.这类模型通常通过寻找模型参数的MAP估计来拟合数据,这一过程即使在非常大的数据集上也能有效地执行. 然而,除非正则化参数被仔细地调整,否 ...
- RL(Chapter 3): Finite Markov Decision Processes (有限马尔可夫决策过程)
本文为强化学习笔记,主要参考以下内容: Reinforcement Learning: An Introduction 代码全部来自 GitHub 习题答案参考 Github 目录 The Agent ...
- Markov Decision Processes
为了实现某篇论文中的算法,得先学习下马尔可夫决策过程~ 1. https://leonardoaraujosantos.gitbooks.io/artificial-inteligence/conte ...
- Reinforcement Learning for Non-Stationary Markov Decision Processes: The Blessing of (More) Optimism
Wang Chi Cheung 1 David Simchi-Levi 2 Ruihao Zhu 2 摘要 我们在漂移的非平稳性下考虑马尔可夫决策过程 (MDP) 中的未折现强化学习 (RL),即奖励 ...
- [综述泛读] A survey on web services composition (IJWGS, 2005)
Time: 2.5 hours Dustdar S, Schreiner W. "A survey on web services composition." Internatio ...
最新文章
- day16 递归函数
- A站、B站、C站、D站、E站、F站、G站、H站、I站、J站、J站、L站、M站、N站…Z站？...
- pyhton3 json.dumps 去除空格
- Redis专题-集群模式
- 数据挖掘与数据化运营实战. 3.8 用户（买家、卖家）分层模型
- 语法糖 python_Python___语法糖
- 再写dll 关于declspec(dllexport)和declspec(dllimport)
- 虚拟机无法联网解决方法
- php 魔术方法 多继承,PHP通过魔术方法实现多继承与重载
- c java交互,Java与C交互
- sudo: add-apt-repository:找不到命令_C++腾讯面试题库干货！作为程序员，这些都掌握了，还有什么理由拿不到offer?...
- 双耳节拍 枕头_枕头2-3-0不在
- java添加文本框和标签_如何在column.expression中插入文本框或标签的值？
- 如何注册微信小程序的开发账号
- 使用Rasterio读取栅格数据
- 新建Application 报错android.app.Application cannot be cast
- unable to load Private Key 6572:error:0906D06C:PEM routines:PEM_read_bio:no start line:.\crypto\pem\
- linux进化树分析的软件,进化树分析及相关软件使用说明
- NGS基础：测序原始数据下载
- Ueditor去掉图片之间的间隙