如果你也在 怎样代写凸优化Convex optimization 这个学科遇到相关的难题，请随时右上角联系我们的24/7代写客服。凸优化Convex optimization凸优化是数学优化的一个子领域，研究的是凸集上凸函数最小化的问题。许多类凸优化问题允许采用多项式时间算法，而数学优化一般来说是NP-hard。
凸优化Convex optimization是数学优化的一个子领域，研究的是凸集上凸函数最小化的问题。许多类别的凸优化问题允许采用多项式时间算法，而数学优化一般来说是NP困难的。凸优化在许多学科中都有应用，如自动控制系统、估计和信号处理、通信和网络、电子电路设计、数据分析和建模、金融、统计（最佳实验设计）、和结构优化，其中近似概念被证明是有效的。
statistics-lab™ 为您的留学生涯保驾护航 在代写凸优化Convex Optimization方面已经树立了自己的口碑, 保证靠谱, 高质且原创的统计Statistics代写服务。我们的专家在代写凸优化Convex Optimization代写方面经验极为丰富，各种代写凸优化Convex Optimization相关的作业也就用不着说。
数学代写|凸优化作业代写Convex Optimization代考|Armijo/Backtracking Stepsize Rule
Consider minimization of a continuously differentiable function $f: \Re^n \mapsto \Re$, using the iteration
$$
x_{k+1}=x_k+\alpha_k d_k
$$
where $d_k$ is a descent direction. Given fixed scalars $\beta$, and $\sigma$, with $0<\beta<1$, $0<\sigma<1$, and $s_k$ with $\inf _{k \geq 0} s_k>0$, the stepsize $\alpha_k$ is determined as follows: we set $\alpha_k=\beta^{m_k} s_k$, where $m_k$ is the first nonnegative integer $m$ for which
$$
f\left(x_k\right)-f\left(x_k+\beta^m s_k d_k\right) \geq-\sigma \beta^m s_k \nabla f\left(x_k\right)^{\prime} d_k
$$
Assume that there exist positive scalars $c_1, c_2$ such that for all $k$ we have
$$
c_1\left|\nabla f\left(x_k\right)\right|^2 \leq-\nabla f\left(x_k\right)^{\prime} d_k, \quad\left|d_k\right|^2 \leq c_2\left|\nabla f\left(x_k\right)\right|^2
$$
(a) Show that the stepsize $\alpha_k$ is well-defined, i.e., that it will be determined after a finite number of reductions if $\nabla f\left(x_k\right) \neq 0$. Proof: We have for all $s>0$
$$
f\left(x_k+s d_k\right)-f\left(x_k\right)=s \nabla f\left(x_k\right)^{\prime} d_k+o(s)
$$
Thus the test for acceptance of a stepsize $s>0$ is written as
$$
s \nabla f\left(x_k\right)^{\prime} d_k+o(s) \leq \sigma s \nabla f\left(x_k\right)^{\prime} d_k,
$$
or using Eq. (2.72),
$$
\frac{o(s)}{s} \leq(1-\sigma) c_1\left|\nabla f\left(x_k\right)\right|^2,
$$
which is satisfied for $s$ in some interval $\left(0, \bar{s}_k\right]$. Thus the test will be passed for all $m$ for which $\beta^m s_k \leq \bar{s}_k$.
Show that every limit point $\bar{x}$ of the generated sequence $\left{x_k\right}$ satisfies $\nabla f(\bar{x})=0$. Proof: Assume, to arrive at a contradiction, that there is a subsequence $\left{x_k\right}_{\mathcal{K}}$ that converges to some $\bar{x}$ with $\nabla f(\bar{x}) \neq 0$. Since $\left{f\left(x_k\right)\right}$ is monotonically nonincreasing, $\left{f\left(x_k\right)\right}$ either converges to a finite value or diverges to $-\infty$. Since $f$ is continuous, $f(\bar{x})$ is a limit point of $\left{f\left(x_k\right)\right}$, so it follows that the entire sequence $\left{f\left(x_k\right)\right}$ converges to $f(\bar{x})$. Hence,
$$
f\left(x_k\right)-f\left(x_{k+1}\right) \rightarrow 0
$$
By the definition of the Armijo rule and the descent property $\nabla f\left(x_k\right)^{\prime} d_k \leq$ 0 of the direction $d_k$, we have
$$
f\left(x_k\right)-f\left(x_{k+1}\right) \geq-\sigma \alpha_k \nabla f\left(x_k\right)^{\prime} d_k \geq 0,
$$
so by combining the preceding two relations,
$$
\alpha_k \nabla f\left(x_k\right)^{\prime} d_k \rightarrow 0
$$
From the left side of Eq. (2.72) and the hypothesis $\nabla f(\bar{x}) \neq 0$, it follows that
$$
\limsup {\substack{k \rightarrow \infty \ k \in \mathcal{K}}} \nabla f\left(x_k\right)^{\prime} d_k<0 $$ which together with Eq. (2.73) implies that $$ \left{\alpha_k\right}{\mathcal{K}} \rightarrow 0 .
$$
which together with Eq. (2.73) implies that
$$
\left{\alpha_k\right}_{\mathcal{K}} \rightarrow 0
$$
Since $s_k$, the initial trial value for $\alpha_k$, is bounded away from $0, s_k$ will be reduced at least once for all $k \in \mathcal{K}$ that are greater than some iteration index $\bar{k}$. Thus we must have for all $k \in \mathcal{K}$ with $k>\bar{k}$
$$
f\left(x_k\right)-f\left(x_k+\left(\alpha_k / \beta\right) d_k\right)<-\sigma\left(\alpha_k / \beta\right) \nabla f\left(x_k\right)^{\prime} d_k
$$
数学代写|凸优化作业代写Convex Optimization代考|Convergence of Steepest Descent to a Single Limit
Let $f: \Re^n \mapsto \Re$ be a differentiable convex function, and assume that for some $L>0$, we have
$$
|\nabla f(x)-\nabla f(y)| \leq L|x-y|, \quad \forall x, y \in \Re^n .
$$
Let $X^$ be the set of minima of $f$, and assume that $X^$ is nonempty. Consider the steepest descent method
$$
x_{k+1}=x_k-\alpha_k \nabla f\left(x_k\right)
$$
Show that $\left{x_k\right}$ converges to a minimizing point of $f$ under each of the following two stepsize rule conditions:
(i) For some $\epsilon>0$, we have
$$
\epsilon \leq \alpha_k \leq \frac{2(1-\epsilon)}{L}, \quad \forall k .
$$
(ii) $\alpha_k \rightarrow 0$ and $\sum_{k=0}^{\infty} \alpha_k=\infty$.
Notes: The original source [BGI95] also shows convergence to a single limit for a variant of the Armijo rule. This should be contrasted with a result of [Gon00], which shows that the steepest descent method with the exact line minimization rule may produce a sequence with multiple limit points (all of which are of course optimal), even for a convex cost function. There is also a “local capture” theorem that applies to gradient methods for nonconvex continuously differentiable cost functions $f$ and an isolated local minimum of $f$ (a local minimum $x^$ that is unique within a neighborhood of $x^$ ). Under mild conditions it asserts that there is an open sphere $S_{x^}$ centered at $x^$ such that once the generated sequence $\left{x_k\right}$ enters $S_{x^}$, it converges to $x^$ (see [Ber82a], Prop. 1.12, or [Ber99], Prop. 1.2.5 and the references given there). Abbreviated Proof: Consider the stepsize rule (i). From the descent inequality (Exercise 2.2), we have for all $k$
$$
f\left(x_{k+1}\right) \leq f\left(x_k\right)-\alpha_k\left(1-\frac{\alpha_k L}{2}\right)\left|\nabla f\left(x_k\right)\right|^2 \leq f\left(x_k\right)-\epsilon^2\left|\nabla f\left(x_k\right)\right|^2
$$
so $\left{f\left(x_k\right)\right}$ is monotonically nonincreasing and converges. Adding the preceding relation for all values of $k$ and taking the limit as $k \rightarrow \infty$, we obtain for all $x^* \in X^$, $$ f\left(x^\right) \leq f\left(x_0\right)-\epsilon^2 \sum_{k=0}^{\infty}\left|\nabla f\left(x_k\right)\right|^2
$$
凸优化代写
数学代写|凸优化作业代写Convex Optimization代考|Armijo/Backtracking Stepsize Rule
考虑最小化一个连续可微函数$f: \Re^n \mapsto \Re$，使用迭代
$$
x_{k+1}=x_k+\alpha_k d_k
$$
其中$d_k$为下降方向。给定固定标量$\beta$, $\sigma$, $0<\beta<1$, $0<\sigma<1$, $s_k$, $\inf _{k \geq 0} s_k>0$，步长$\alpha_k$确定如下:我们设置$\alpha_k=\beta^{m_k} s_k$，其中$m_k$是第一个非负整数$m$
$$
f\left(x_k\right)-f\left(x_k+\beta^m s_k d_k\right) \geq-\sigma \beta^m s_k \nabla f\left(x_k\right)^{\prime} d_k
$$
假设存在正标量$c_1, c_2$对于所有的$k$
$$
c_1\left|\nabla f\left(x_k\right)\right|^2 \leq-\nabla f\left(x_k\right)^{\prime} d_k, \quad\left|d_k\right|^2 \leq c_2\left|\nabla f\left(x_k\right)\right|^2
$$
(a)证明步长$\alpha_k$是定义良好的，即，如果$\nabla f\left(x_k\right) \neq 0$，它将在有限次缩减后确定。证明:我们有所有$s>0$
$$
f\left(x_k+s d_k\right)-f\left(x_k\right)=s \nabla f\left(x_k\right)^{\prime} d_k+o(s)
$$
因此，步长$s>0$的可接受性测试写为
$$
s \nabla f\left(x_k\right)^{\prime} d_k+o(s) \leq \sigma s \nabla f\left(x_k\right)^{\prime} d_k,
$$
或用式(2.72)，
$$
\frac{o(s)}{s} \leq(1-\sigma) c_1\left|\nabla f\left(x_k\right)\right|^2,
$$
它在$\left(0, \bar{s}_k\right]$区间内满足$s$。因此，测试将通过所有$m$，其中$\beta^m s_k \leq \bar{s}_k$。
证明生成序列$\left{x_k\right}$的每个极限点$\bar{x}$满足$\nabla f(\bar{x})=0$。证明:为了得到一个矛盾，假设有一个子序列$\left{x_k\right}{\mathcal{K}}$与$\nabla f(\bar{x}) \neq 0$收敛到某个$\bar{x}$。由于$\left{f\left(x_k\right)\right}$是单调非递增的，因此$\left{f\left(x_k\right)\right}$收敛于有限值或发散到$-\infty$。因为$f$是连续的，$f(\bar{x})$是$\left{f\left(x_k\right)\right}$的极限点，所以整个序列$\left{f\left(x_k\right)\right}$收敛到$f(\bar{x})$。因此， $$ f\left(x_k\right)-f\left(x{k+1}\right) \rightarrow 0
$$
根据Armijo法则的定义和方向$d_k$的下降性质$\nabla f\left(x_k\right)^{\prime} d_k \leq$ 0，我们有
$$
f\left(x_k\right)-f\left(x_{k+1}\right) \geq-\sigma \alpha_k \nabla f\left(x_k\right)^{\prime} d_k \geq 0,
$$
通过结合前面两个关系，
$$
\alpha_k \nabla f\left(x_k\right)^{\prime} d_k \rightarrow 0
$$
从方程(2.72)的左侧和假设$\nabla f(\bar{x}) \neq 0$可以得出如下结论
$$
\limsup {\substack{k \rightarrow \infty \ k \in \mathcal{K}}} \nabla f\left(x_k\right)^{\prime} d_k<0 $$与式(2.73)一起，意味着$$ \left{\alpha_k\right}{\mathcal{K}} \rightarrow 0 . $$ 它与式(2.73)一起意味着 $$ \left{\alpha_k\right}_{\mathcal{K}} \rightarrow 0 $$ 由于$\alpha_k$的初始试验值$s_k$与$0, s_k$有界限，因此对于所有大于某个迭代索引$\bar{k}$的$k \in \mathcal{K}$，至少会减少一次。因此，我们必须为所有$k \in \mathcal{K}$ with $k>\bar{k}$
$$
f\left(x_k\right)-f\left(x_k+\left(\alpha_k / \beta\right) d_k\right)<-\sigma\left(\alpha_k / \beta\right) \nabla f\left(x_k\right)^{\prime} d_k
$$
数学代写|凸优化作业代写Convex Optimization代考|Convergence of Steepest Descent to a Single Limit
设$f: \Re^n \mapsto \Re$是一个可微凸函数，对于$L>0$，我们有
$$
|\nabla f(x)-\nabla f(y)| \leq L|x-y|, \quad \forall x, y \in \Re^n .
$$
设$X^$为$f$的最小值集合，并设$X^$为非空。考虑最陡下降法
$$
x_{k+1}=x_k-\alpha_k \nabla f\left(x_k\right)
$$
证明在以下两种步长规则条件下，$\left{x_k\right}$收敛于$f$的一个极小点:
(i)对于一些$\epsilon>0$，我们有
$$
\epsilon \leq \alpha_k \leq \frac{2(1-\epsilon)}{L}, \quad \forall k .
$$
(ii) $\alpha_k \rightarrow 0$和$\sum_{k=0}^{\infty} \alpha_k=\infty$。
注:原始源代码[BGI95]也显示了Armijo规则的一个变体收敛到单个极限。这应该与[Gon00]的结果形成对比，该结果表明，具有精确的线最小化规则的最陡下降方法可能产生具有多个极限点的序列(当然所有这些都是最优的)，即使对于凸代价函数也是如此。还有一个“局部捕获”定理，适用于非凸连续可微代价函数$f$的梯度方法和孤立的局部最小值$f$(在$x^$的邻域内唯一的局部最小值$x^$)。在温和的条件下，它断言存在一个以$x^$为中心的开放球体$S_{x^}$，这样一旦生成的序列$\left{x_k\right}$进入$S_{x^}$，它就收敛到$x^$(参见[Ber82a]， Prop. 1.12，或[Ber99]， Prop. 1.2.5以及那里给出的参考文献)。简短证明:考虑步长规则(i)。从下降不等式(练习2.2)中，我们得到所有$k$
$$
f\left(x_{k+1}\right) \leq f\left(x_k\right)-\alpha_k\left(1-\frac{\alpha_k L}{2}\right)\left|\nabla f\left(x_k\right)\right|^2 \leq f\left(x_k\right)-\epsilon^2\left|\nabla f\left(x_k\right)\right|^2
$$
所以$\left{f\left(x_k\right)\right}$是单调不增加的并且是收敛的。将上述关系对所有的$k$值相加，取极限$k \rightarrow \infty$，则对所有的$x^* \in X^$， $$ f\left(x^\right) \leq f\left(x_0\right)-\epsilon^2 \sum_{k=0}^{\infty}\left|\nabla f\left(x_k\right)\right|^2
$$
统计代写请认准statistics-lab™. statistics-lab™为您的留学生涯保驾护航。
金融工程代写
金融工程是使用数学技术来解决金融问题。金融工程使用计算机科学、统计学、经济学和应用数学领域的工具和知识来解决当前的金融问题，以及设计新的和创新的金融产品。
非参数统计代写
非参数统计指的是一种统计方法，其中不假设数据来自于由少数参数决定的规定模型；这种模型的例子包括正态分布模型和线性回归模型。
广义线性模型代考
广义线性模型（GLM）归属统计学领域，是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。
术语 广义线性模型（GLM）通常是指给定连续和/或分类预测因素的连续响应变量的常规线性回归模型。它包括多元线性回归，以及方差分析和方差分析（仅含固定效应）。
有限元方法代写
有限元方法（FEM）是一种流行的方法，用于数值解决工程和数学建模中出现的微分方程。典型的问题领域包括结构分析、传热、流体流动、质量运输和电磁势等传统领域。
有限元是一种通用的数值方法，用于解决两个或三个空间变量的偏微分方程（即一些边界值问题）。为了解决一个问题，有限元将一个大系统细分为更小、更简单的部分，称为有限元。这是通过在空间维度上的特定空间离散化来实现的，它是通过构建对象的网格来实现的：用于求解的数值域，它有有限数量的点。边界值问题的有限元方法表述最终导致一个代数方程组。该方法在域上对未知函数进行逼近。[1] 然后将模拟这些有限元的简单方程组合成一个更大的方程系统，以模拟整个问题。然后，有限元通过变化微积分使相关的误差函数最小化来逼近一个解决方案。
tatistics-lab作为专业的留学生服务机构，多年来已为美国、英国、加拿大、澳洲等留学热门地的学生提供专业的学术服务，包括但不限于Essay代写，Assignment代写，Dissertation代写，Report代写，小组作业代写，Proposal代写，Paper代写，Presentation代写，计算机作业代写，论文修改和润色，网课代做，exam代考等等。写作范围涵盖高中，本科，研究生等海外留学全阶段，辐射金融，经济学，会计学，审计学，管理学等全球99%专业科目。写作团队既有专业英语母语作者，也有海外名校硕博留学生，每位写作老师都拥有过硬的语言能力，专业的学科背景和学术写作经验。我们承诺100%原创，100%专业，100%准时，100%满意。
随机分析代写
随机微积分是数学的一个分支，对随机过程进行操作。它允许为随机过程的积分定义一个关于随机过程的一致的积分理论。这个领域是由日本数学家伊藤清在第二次世界大战期间创建并开始的。
时间序列分析代写
随机过程，是依赖于参数的一组随机变量的全体，参数通常是时间。 随机变量是随机现象的数量表现，其时间序列是一组按照时间发生先后顺序进行排列的数据点序列。通常一组时间序列的时间间隔为一恒定值（如1秒，5分钟，12小时，7天，1年），因此时间序列可以作为离散时间数据进行分析处理。研究时间序列数据的意义在于现实中，往往需要研究某个事物其随时间发展变化的规律。这就需要通过研究该事物过去发展的历史记录，以得到其自身发展的规律。
回归分析代写
多元回归分析渐进（Multiple Regression Analysis Asymptotics）属于计量经济学领域，主要是一种数学上的统计分析方法，可以分析复杂情况下各影响因素的数学关系，在自然科学、社会和经济学等多个领域内应用广泛。
MATLAB代写
MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习和应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。