如果你也在 怎样代写强化学习reinforence learning这个学科遇到相关的难题，请随时右上角联系我们的24/7代写客服。
强化学习是一种基于奖励期望行为和/或惩罚不期望行为的机器学习训练方法。一般来说，强化学习代理能够感知和解释其环境，采取行动并通过试验和错误学习。
statistics-lab™ 为您的留学生涯保驾护航 在代写强化学习reinforence learning方面已经树立了自己的口碑, 保证靠谱, 高质且原创的统计Statistics代写服务。我们的专家在代写强化学习reinforence learning代写方面经验极为丰富，各种代写强化学习reinforence learning相关的作业也就用不着说。
我们提供的强化学习reinforence learning及其相关学科的代写，服务范围广, 其中包括但不限于:
- Statistical Inference 统计推断
- Statistical Computing 统计计算
- Advanced Probability Theory 高等概率论
- Advanced Mathematical Statistics 高等数理统计学
- (Generalized) Linear Models 广义线性模型
- Statistical Machine Learning 统计机器学习
- Longitudinal Data Analysis 纵向数据分析
- Foundations of Data Science 数据科学基础
机器学习代写|强化学习project代写reinforence learning代考|Bellman Equation and Temporal Differences
As an alternative to MC estimates, we can make use of the Bellman equation, that expresses a value function in a recursive way
$$
v_{\pi}(s)=\mathbb{E}{\mathcal{P}, \pi}\left[r\left(s{t}, a_{t}\right)+\gamma v_{\pi}\left(s_{t+1}\right) \mid s_{t}=s .\right]
$$
For any arbitrary value function, the mean squared error can be reformulated using the Bellman equation. That results in the mean squared Bellman error objective
$$
\overline{\mathrm{BE}}(\theta)=\mathbb{E}{\mu}\left[\left(\hat{v}{\theta}(s)-\mathbb{E}{\mathcal{P}, \pi}\left[r\left(s{t}, a_{t}\right)+\gamma \hat{v}{\theta}\left(s{t+1}\right) \mid \pi, s_{t}=s\right]\right)^{2}\right] .
$$
Again no parametric value function can achieve $\overline{\mathrm{BE}}(\theta)=0$, because then it would be identical to $v_{\pi}$, what is not possible for non-trivial value functions. The mean squared Bellman error can be simplified to $\overline{\mathrm{BE}}(\theta)=\mathbb{E}{\mu}\left[\left(\mathbb{E}{\mathcal{P}{, \pi}}\left[\delta{t} \mid s_{t}\right]\right)^{2}\right]$, where $\delta_{t}$ refers to the temporal-difference (TD) error
$$
\delta_{t}=r\left(s_{t}, a_{t}\right)+\gamma \hat{v}{\theta}\left(s{t+1}\right)-\hat{v}{\theta}\left(s{t}\right) .
$$
Taking a closer look at the simplified mean squared Bellman error points out the so called double sampling problem. The outer expectation value is taken concerning the multiplication of a random variable with itself. To get an unbiased estimator for the product of two random variables, two independently generated sample from the corresponding distribution are necessary. In case of the mean squared Bellman error that means, that for one state $s_{t}$, two successor states $s_{t+1}$ needs to be sampled independently. In most Reinforcement Learning settings, sampling such two successor states independently is not possible. Special cases overcoming the double sampling problem, e.g. cases, in which a model of the MDP is available or in which the MDP is deterministic, are usually less relevant in practice $[1,11]$.
In practice we often want to learn from experience, collected during single trajectories. Consequently only one successor state per state is available. When only using a single successor state for calculating the estimation value, the square of the mean squared Bellman error moves into the inner expectation value. The resulting formula is referred to as the mean squared temporal-difference error
$$
\begin{aligned}
\overline{\operatorname{TDE}}(\theta) &=\mathbb{E}{\mu}\left[\mathbb{E}{\mathcal{P}, \pi}\left[\delta_{t}^{2} \mid s_{t}\right]\right] \
&=\mathbb{E}{\mu}\left[\hat{v}{\theta}(s)-\mathbb{E}{\mathcal{P}, \pi}\left[\left(r\left(s{t}, a_{t}\right)+\gamma \hat{v}{\theta}\left(s{t+1}\right)\right)^{2} \mid \pi, s_{t}=s\right]\right] .
\end{aligned}
$$
The objectives of the mean squared temporal-difference error and the mean squared Bellman error differ and result in different approximate parametric value functions. Furthermore a parametric value function can now achieve $\overline{\mathrm{TDE}}(\theta)=0[3,11]$.
One last alternative to the stated objective functions is the mean squared projected Bellman error. It is related to the mean squared Bellman error. When constructing the mean squared Bellman error objective, first the Bellman operator is applied to the approximation function. In a second step the weighted estimation value of the difference between the resulting function and the approximation function is constructed. When defining the Bellman operator as $\left(B_{\pi} v_{\pi}\right)\left(s_{t}\right)=$
$\mathbb{E}{\mathcal{P}, \pi}\left[r\left(s{t}, a_{t}\right)+\gamma v_{\pi}\left(s_{t+1}\right) \mid \pi, s_{t}=s\right]$, the mean squared Bellman error can be rewritten as $\overline{\mathrm{BE}}(\theta)=\mathbb{E}{\mu}\left[\left(\hat{v}{\theta}(s)-\leftB_{\pi} \hat{v}{\theta}\right\right)^{2}\right]$. However often $\left(B{\pi} v_{\pi}\right)(s) \notin \mathcal{H}{\theta}$. But using the projection operator $\Pi,\left(B{\pi} v_{\pi}\right)(s)$ can be projected back into $\mathcal{H}{\theta}$. That results in the mean squared projected Bellman error $$ \overline{\operatorname{PBE}}(\theta)=\mathbb{E}{\mu}\left[\left(\hat{v}{\theta}(s)-\left\Pi\left(B{\pi} \hat{v}{\theta}\right)\right\right)^{2}\right] $$ Analogous to the mean squared temporal-difference error, approximate value functions can achieve $\overline{\mathrm{PBE}}(\theta)=0$. It is important to mention, that the optimization of all mentioned objective functions in general results in different approximation functions, i.e. $$ \begin{gathered} \arg \min {\theta} \overline{\mathrm{VE}}(\theta) \neq \arg \min {\theta} \overline{\mathrm{BE}}(\theta) \ \neq \arg \min {\theta} \overline{\mathrm{TDE}}(\theta) \neq \arg \min {\theta} \overline{\mathrm{PBE}}(\theta) . \end{gathered} $$ Only when $v{\pi} \in \mathcal{H}{\theta}$, then methods optimizing the $\overline{\mathrm{BE}}$ and the $\overline{\mathrm{PBE}}$ as an objective converge to the same and true value function $v{\pi}$, i.e. $\arg \min {\theta} \overline{\mathrm{VE}}(\theta)=\arg \min {\theta}$ $\overline{\mathrm{BE}}(\theta)=\operatorname{arg~min}_{\theta} \overline{\mathrm{PBE}}(\theta)[3,8,11]$.
机器学习代写|强化学习project代写reinforence learning代考|Error Sources of Policy Evaluation Methods
Three general, conceptual error sources of Policy Evaluation methods result from the previous explanations [3]:
- Objective bias: The minimum of the objective function often does not correspond with the minimum of the mean squared error, e.g. arg $\min {\theta} \overline{\mathrm{VE}} \neq$ $\arg {\min }^{\theta}$
- Sampling error: Since it is impossible to collect samples over the whole state set $\mathcal{S}$, learning the approximation function has to be done using only a limited number of samples.
- Optimization error: Optimization errors occur, when the chosen optimization methods does not find the (global) optimum, e.g. due to non-convexity of the objective function.
When trying to learn the value function of a target policy $\pi$ using samples collected by a behavior policy $b$, commonly referred to as off-policy learning, two main problems occur. First, the probability of a trajectory occurring after visiting a certain state might be different for $b$ and $\pi$. As a result the probability for the observed cumulative discounted reward might be different and more or less relevant for the
estimation of the true value of the state. This problem can easily be solved using importance sampling. As the stated objectives in this paper all make use of temporal differences, importance sampling simplifies to weighting only as many steps as used for bootstrapping.
The second problem occurs, because the stationary distributions for behavior policy $b$ and target policy $\pi$ differ, i.e. $d^{b}(s) \neq \mu(s)$. This disparity causes the order and frequency of updates for states to change in such a way, that some weights might diverge. There are very simple examples, e.g. the “star problem” introduced by Baird [1], which causes fundamental critic learning methods to diverge. In the next section some more details concerning to the off-policy case are discussed [11].
机器学习代写|强化学习project代写reinforence learning代考|Temporal Differences and Bellman Residuals
In the following, two basic fundamental critic-learning approaches are discussed, which aim to find the best possible parametric approximation function. They both use Stochastic Gradient Descent (SGD) to minimize an objective, thus the may suffer from optimization error, especially in the case of nonlinear function approximation.
Temporal-difference learning (TD-learning) was introduced by Sutton [10]. The simplest version of TD-learning, called TD $(0)$, tries to minimize the mean squared error. But instead of using MC estimates to approximate to true value function, it uses onestep temporal-differences estimates. The resulting parameter update function is
$$
\theta_{t+1}=\theta_{t}+\alpha_{t}\left[R_{t}+\gamma \hat{v}{\theta{\mathrm{r}}}\left(s_{t+1}\right)-\hat{v}{\theta{t}}\left(s_{t}\right)\right] \frac{\delta \hat{v}{\theta{\mathrm{r}}}\left(s_{t}\right)}{\delta \theta}
$$
where $\alpha$ is the learning rate of SGD. So a dependency on the quality of the function approximation is introduced. Since $R_{t}+\gamma \hat{v}{\theta{t}}\left(s_{t+1}\right)$ and $v_{\pi}(s)$ differ, Sutton and Barto [11] describe this procedure to be “semi-gradient” as the objective introduces a bias. Since TD $(0)$ converges to the fix-point of the $\overline{\mathrm{PBE}}$ objective, the often used term “TD-fix-point” simply refers to this fix-point [3]. The main problem with TDlearning is, that there are very simple examples, for which TD $(0)$ diverges, e.g. the already mentioned “star problem” introduced by Baird [1]. So TD-learning suffers from $d^{b}(s) \neq \mu(s)$ in the off-policy case and can diverge.
Due to the instability of TD-learning, Baird [1] introduced the Residual-Gradient algorithm (RG) with guaranteed off-policy convergence. RG directly performs SGD on the $\overline{\mathrm{BE}}$ objective. The resulting parameter update function is
$$
\theta_{t+1}=\theta_{t}+\alpha_{t}\left[R_{t}+\gamma \hat{v}{\theta{t}}\left(s_{t+1}\right)-\hat{v}{\theta{t}}\left(s_{t}\right)\right]\left(\frac{\delta \hat{v}{\theta{t}}\left(s_{t}\right)}{\delta \theta}-\gamma \frac{\delta \hat{v}{\theta{\mathrm{r}}}\left(s_{t+1}\right)}{\delta \theta}\right)
$$
The only difference between the updates of $\mathrm{TD}(0)$ and RG is a correction of the multiplicative term. A drawback of RG is, that it converges very slow and hence requires extensive interaction between actor and environment [1].
强化学习代写
机器学习代写|强化学习project代写reinforence learning代考|Bellman Equation and Temporal Differences
作为 MC 估计的替代方案，我们可以使用贝尔曼方程，它以递归方式表示值函数在圆周率(s)=和磷,圆周率[r(s吨,一种吨)+C在圆周率(s吨+1)∣s吨=s.]
对于任何任意值函数，均方误差可以使用贝尔曼方程重新表示。这导致均方贝尔曼误差目标
乙和¯(θ)=和μ[(在^θ(s)−和磷,圆周率[r(s吨,一种吨)+C在^θ(s吨+1)∣圆周率,s吨=s])2].
再次没有参数值函数可以实现乙和¯(θ)=0, 因为那样它就等同于在圆周率，对于非平凡的价值函数来说，什么是不可能的。均方贝尔曼误差可以简化为乙和¯(θ)=和μ[(和磷,圆周率[d吨∣s吨])2]， 在哪里d吨指时间差 (TD) 误差
d吨=r(s吨,一种吨)+C在^θ(s吨+1)−在^θ(s吨).
仔细研究简化的均方贝尔曼误差指出了所谓的双采样问题。外部期望值是关于随机变量与自身的乘积。为了获得两个随机变量乘积的无偏估计量，需要从相应分布中独立生成的两个样本。在均方贝尔曼误差的情况下，这意味着对于一个状态s吨, 两个后继状态s吨+1需要独立采样。在大多数强化学习设置中，不可能独立地对这两个后继状态进行采样。克服双重抽样问题的特殊情况，例如 MDP 模型可用或 MDP 是确定性的情况，在实践中通常不太相关[1,11].
在实践中，我们经常希望从单一轨迹中收集的经验中学习。因此，每个状态只有一个后继状态可用。当仅使用单个后继状态来计算估计值时，均方贝尔曼误差的平方移动到内部期望值。得到的公式称为均方时差误差
TDE¯(θ)=和μ[和磷,圆周率[d吨2∣s吨]] =和μ[在^θ(s)−和磷,圆周率[(r(s吨,一种吨)+C在^θ(s吨+1))2∣圆周率,s吨=s]].
均方时间差误差和均方贝尔曼误差的目标不同，导致不同的近似参数值函数。此外，现在可以实现参数值函数吨D和¯(θ)=0[3,11].
上述目标函数的最后一种替代方法是均方投影贝尔曼误差。它与均方贝尔曼误差有关。在构建均方贝尔曼误差目标时，首先将贝尔曼算子应用于逼近函数。在第二步中，构建结果函数和近似函数之间的差值的加权估计值。当定义贝尔曼算子为(乙圆周率在圆周率)(s吨)=
和磷,圆周率[r(s吨,一种吨)+C在圆周率(s吨+1)∣圆周率,s吨=s], 均方贝尔曼误差可以重写为 $\overline{\mathrm{BE}}(\theta)=\mathbb{E}{\mu}\left[\left(\hat{v}{\theta}( s)-\left B_{\pi} \hat{v}{\theta}\right \right)^{2}\right].H这在和在和r这F吨和n\left(B{\pi} v_{\pi}\right)(s) \notin \mathcal{H}{\theta}.乙在吨在s一世nG吨H和pr这j和C吨一世这n这p和r一种吨这r\Pi,\left(B{\pi} v_{\pi}\right)(s)C一种nb和pr这j和C吨和db一种Cķ一世n吨这\mathcal{H}{\theta}.吨H一种吨r和s在l吨s一世n吨H和米和一种nsq在一种r和dpr这j和C吨和d乙和ll米一种n和rr这r$ \overline{\operatorname{PBE}}(\theta)=\mathbb{E}{\mu}\left[\left(\hat{v}{\theta}(s)-\left \Pi\left( B{\pi} \hat{v}{\theta}\right)\right \right)^{2}\right]一种n一种l这G这在s吨这吨H和米和一种nsq在一种r和d吨和米p这r一种l−d一世FF和r和nC和和rr这r,一种ppr这X一世米一种吨和在一种l在和F在nC吨一世这nsC一种n一种CH一世和在和$磷乙和¯(θ)=0$.一世吨一世s一世米p这r吨一种n吨吨这米和n吨一世这n,吨H一种吨吨H和这p吨一世米一世和一种吨一世这n这F一种ll米和n吨一世这n和d这bj和C吨一世在和F在nC吨一世这ns一世nG和n和r一种lr和s在l吨s一世nd一世FF和r和n吨一种ppr这X一世米一种吨一世这nF在nC吨一世这ns,一世.和.参数分钟θ在和¯(θ)≠参数分钟θ乙和¯(θ) ≠参数分钟θ吨D和¯(θ)≠参数分钟θ磷乙和¯(θ).$$ 仅当在圆周率∈Hθ，然后方法优化乙和¯和磷乙和¯作为一个目标收敛到相同的真实价值函数在圆周率， IE参数分钟θ在和¯(θ)=参数分钟θ 乙和¯(θ)=一种rG 米一世nθ磷乙和¯(θ)[3,8,11].
机器学习代写|强化学习project代写reinforence learning代考|Error Sources of Policy Evaluation Methods
政策评估方法的三个一般概念性错误来源来自前面的解释 [3]：
- 客观偏差：目标函数的最小值通常与均方误差的最小值不对应，例如 arg分钟θ在和¯≠ 参数分钟θ
- 抽样错误：因为不可能在整个状态集上收集样本小号，学习近似函数必须仅使用有限数量的样本来完成。
- Optimization error: Optimization errors occur, when the chosen optimization methods does not find the (global) optimum, eg due to non-convexity of the objective function.
尝试学习目标策略的价值函数时圆周率使用行为策略收集的样本b，通常称为off-policy learning，主要出现两个问题。首先，访问某个状态后发生轨迹的概率可能不同b和圆周率. 因此，观察到的累积折扣奖励的概率可能不同，并且或多或少与
估计状态的真实值。使用重要性抽样可以很容易地解决这个问题。由于本文中所述的目标都利用了时间差异，因此重要性采样简化为仅对用于引导的步骤进行加权。
出现第二个问题，因为行为策略的平稳分布b和目标政策圆周率不同，即db(s)≠μ(s). 这种差异会导致状态更新的顺序和频率发生变化，以至于某些权重可能会发散。有非常简单的例子，例如 Baird [1] 引入的“明星问题”，它导致基本的批评家学习方法出现分歧。在下一节中，将讨论一些关于 off-policy 案例的更多细节 [11]。
机器学习代写|强化学习project代写reinforence learning代考|Temporal Differences and Bellman Residuals
在下文中，将讨论两种基本的批评学习方法，旨在找到最佳可能的参数逼近函数。它们都使用随机梯度下降 (SGD) 来最小化目标，因此可能会出现优化误差，尤其是在非线性函数逼近的情况下。
Sutton [10] 介绍了时差学习（TD-learning）。TD-learning 最简单的版本，称为 TD(0), 试图最小化均方误差。但它不是使用 MC 估计来逼近真值函数，而是使用单步时间差估计。得到的参数更新函数是
θ吨+1=θ吨+一种吨[R吨+C在^θr(s吨+1)−在^θ吨(s吨)]d在^θr(s吨)dθ
在哪里一种是 SGD 的学习率。因此引入了对函数逼近质量的依赖。自从R吨+C在^θ吨(s吨+1)和在圆周率(s)不同的是，Sutton 和 Barto [11] 将此过程描述为“半梯度”，因为目标引入了偏差。道明以来(0)收敛到固定点磷乙和¯客观，经常使用的术语“TD-fix-point”只是指这个fix-point [3]。TDlearning 的主要问题是，有非常简单的例子，TD(0)分歧，例如已经提到的由 Baird [1] 引入的“明星问题”。所以TD-learning受到db(s)≠μ(s)在政策外的情况下，可能会出现分歧。
由于 TD-learning 的不稳定性，Baird [1] 引入了残差梯度算法 (RG)，保证了离策略收敛。RG 直接在乙和¯客观的。得到的参数更新函数是
θ吨+1=θ吨+一种吨[R吨+C在^θ吨(s吨+1)−在^θ吨(s吨)](d在^θ吨(s吨)dθ−Cd在^θr(s吨+1)dθ)
更新之间的唯一区别吨D(0)RG 是乘法项的修正。RG 的一个缺点是，它的收敛速度非常慢，因此需要演员和环境之间的广泛交互 [1]。
统计代写请认准statistics-lab™. statistics-lab™为您的留学生涯保驾护航。
金融工程代写
金融工程是使用数学技术来解决金融问题。金融工程使用计算机科学、统计学、经济学和应用数学领域的工具和知识来解决当前的金融问题，以及设计新的和创新的金融产品。
非参数统计代写
非参数统计指的是一种统计方法，其中不假设数据来自于由少数参数决定的规定模型；这种模型的例子包括正态分布模型和线性回归模型。
广义线性模型代考
广义线性模型（GLM）归属统计学领域，是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。
术语 广义线性模型（GLM）通常是指给定连续和/或分类预测因素的连续响应变量的常规线性回归模型。它包括多元线性回归，以及方差分析和方差分析（仅含固定效应）。
有限元方法代写
有限元方法（FEM）是一种流行的方法，用于数值解决工程和数学建模中出现的微分方程。典型的问题领域包括结构分析、传热、流体流动、质量运输和电磁势等传统领域。
有限元是一种通用的数值方法，用于解决两个或三个空间变量的偏微分方程（即一些边界值问题）。为了解决一个问题，有限元将一个大系统细分为更小、更简单的部分，称为有限元。这是通过在空间维度上的特定空间离散化来实现的，它是通过构建对象的网格来实现的：用于求解的数值域，它有有限数量的点。边界值问题的有限元方法表述最终导致一个代数方程组。该方法在域上对未知函数进行逼近。[1] 然后将模拟这些有限元的简单方程组合成一个更大的方程系统，以模拟整个问题。然后，有限元通过变化微积分使相关的误差函数最小化来逼近一个解决方案。
tatistics-lab作为专业的留学生服务机构，多年来已为美国、英国、加拿大、澳洲等留学热门地的学生提供专业的学术服务，包括但不限于Essay代写，Assignment代写，Dissertation代写，Report代写，小组作业代写，Proposal代写，Paper代写，Presentation代写，计算机作业代写，论文修改和润色，网课代做，exam代考等等。写作范围涵盖高中，本科，研究生等海外留学全阶段，辐射金融，经济学，会计学，审计学，管理学等全球99%专业科目。写作团队既有专业英语母语作者，也有海外名校硕博留学生，每位写作老师都拥有过硬的语言能力，专业的学科背景和学术写作经验。我们承诺100%原创，100%专业，100%准时，100%满意。
随机分析代写
随机微积分是数学的一个分支，对随机过程进行操作。它允许为随机过程的积分定义一个关于随机过程的一致的积分理论。这个领域是由日本数学家伊藤清在第二次世界大战期间创建并开始的。
时间序列分析代写
随机过程，是依赖于参数的一组随机变量的全体，参数通常是时间。 随机变量是随机现象的数量表现，其时间序列是一组按照时间发生先后顺序进行排列的数据点序列。通常一组时间序列的时间间隔为一恒定值（如1秒，5分钟，12小时，7天，1年），因此时间序列可以作为离散时间数据进行分析处理。研究时间序列数据的意义在于现实中，往往需要研究某个事物其随时间发展变化的规律。这就需要通过研究该事物过去发展的历史记录，以得到其自身发展的规律。
回归分析代写
多元回归分析渐进（Multiple Regression Analysis Asymptotics）属于计量经济学领域，主要是一种数学上的统计分析方法，可以分析复杂情况下各影响因素的数学关系，在自然科学、社会和经济学等多个领域内应用广泛。
MATLAB代写
MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习和应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。