如果你也在 怎样代写信息论information theory 这个学科遇到相关的难题，请随时右上角联系我们的24/7代写客服。信息论information theory回答了通信理论中的两个基本问题:什么是最终的数据压缩(答案:熵$H$)，什么是通信的最终传输速率(答案:信道容量$C$)。由于这个原因，一些人认为信息论是通信理论的一个子集。我们认为它远不止于此。
信息论information theory在统计物理学(热力学)、计算机科学(柯尔莫哥洛夫复杂性或算法复杂性)、统计推断(奥卡姆剃刀:“最简单的解释是最好的”)以及概率和统计学(最优假设检验和估计的误差指数)方面都做出了根本性的贡献。
statistics-lab™ 为您的留学生涯保驾护航 在代写信息论information theory方面已经树立了自己的口碑, 保证靠谱, 高质且原创的统计Statistics代写服务。我们的专家在代写信息论information theory代写方面经验极为丰富，各种代写信息论information theory相关的作业也就用不着说。
数学代写|信息论代写information theory代考|UNIVERSAL CODES AND CHANNEL CAPACITY
Assume that we have a random variable $X$ drawn according to a distribution from the family $\left{p_\theta\right}$, where the parameter $\theta \in{1,2, \ldots, m}$ is unknown. We wish to find an efficient code for this source.
From the results of Chapter 5, if we know $\theta$, we can construct a code with codeword lengths $l(x)=\log \frac{1}{p_\theta(x)}$, achieving an average codeword length equal to the entropy $H_\theta(x)=-\sum_x p_\theta(x) \log p_\theta(x)$, and this is the best that we can do. For the purposes of this section, we will ignore the integer constraints on $l(x)$, knowing that applying the integer constraint will cost at most one bit in expected length. Thus,
$$
\min {l(x)} E{p_\theta}[l(X)]=E_{p_\theta}\left[\log \frac{1}{p_\theta(X)}\right]=H\left(p_\theta\right) .
$$
What happens if we do not know the true distribution $p_\theta$, yet wish to code as efficiently as possible? In this case, using a code with codeword lengths $l(x)$ and implied probability $q(x)=2^{-l(x)}$, we define the redundancy of the code as the difference between the expected length of the code and the lower limit for the expected length:
$$
\begin{aligned}
R\left(p_\theta, q\right) & =E_{p_\theta}[l(X)]-E_{p_\theta}\left[\log \frac{1}{p_\theta(X)}\right] \
& =\sum_x p_\theta(x)\left(l(x)-\log \frac{1}{p(x)}\right) \
& =\sum_x p_\theta(x)\left(\log \frac{1}{q(x)}-\log \frac{1}{p(x)}\right) \
& =\sum_x p_\theta(x) \log \frac{p_\theta(x)}{q(x)} \
& =D\left(p_\theta | q\right),
\end{aligned}
$$
where $q(x)=2^{-l(x)}$ is the distribution that corresponds to the codeword lengths $l(x)$.
数学代写|信息论代写information theory代考|UNIVERSAL CODING FOR BINARY SEQUENCES
Now we consider an important special case of encoding a binary sequence $x^n \in{0,1}^n$. We do not make any assumptions about the probability distribution for $x_1, x_2, \ldots, x_n$.
We begin with bounds on the size of $\left(\begin{array}{l}n \ k\end{array}\right)$, taken from Wozencraft and Reiffen [567] proved in Lemma 17.5.1: For $k \neq 0$ or $n$,
$$
\sqrt{\frac{n}{8 k(n-k)}} \leq\left(\begin{array}{l}
n \
k
\end{array}\right) 2^{-n H(k / n)} \leq \sqrt{\frac{n}{\pi k(n-k)}} .
$$
We first describe an offline algorithm to describe the sequence; we count the number of 1’s in the sequence, and after we have seen the entire sequence, we send a two-stage description of the sequence. The first stage is a count of the number of 1 ‘s in the sequence [i.e., $k=\sum_i x_i$ (using $\lceil\log (n+1)\rceil$ bits) $]$, and the second stage is the index of this sequence among all sequences that have $k 1$ ‘s (using $\left\lceil\log \left(\begin{array}{l}n \ k\end{array}\right)\right\rceil$ bits). This two-stage description requires total length
$$
\begin{aligned}
l\left(x^n\right) & \leq \log (n+1)+\log \left(\begin{array}{l}
n \
k
\end{array}\right)+2 \
& \leq \log n+n H\left(\frac{k}{n}\right)-\frac{1}{2} \log n-\frac{1}{2} \log \left(\pi \frac{k}{n} \frac{(n-k)}{n}\right)+3
\end{aligned}
$$
$$
=n H\left(\frac{k}{n}\right)+\frac{1}{2} \log n-\frac{1}{2} \log \left(\pi \frac{k}{n} \frac{n-k}{n}\right)+3 .
$$
Thus, the cost of describing the sequence is approximately $\frac{1}{2} \log n$ bits above the optimal cost with the Shannon code for a Bernoulli distribution corresponding to $k / n$. The last term is unbounded at $k=0$ or $k=n$, so the bound is not useful for these cases (the actual description length is $\log (n+1)$ bits, whereas the entropy $H(k / n)=0$ when $k=0$ or $k=n)$.
信息论代写
数学代写|信息论代写information theory代考|UNIVERSAL CODES AND CHANNEL CAPACITY
假设我们有一个随机变量$X$，根据族$\left{p_\theta\right}$的分布绘制，其中参数$\theta \in{1,2, \ldots, m}$是未知的。我们希望为这个源代码找到一个有效的代码。
从第5章的结果来看，如果我们知道$\theta$，我们可以构造一个码字长度$l(x)=\log \frac{1}{p_\theta(x)}$的代码，实现平均码字长度等于熵$H_\theta(x)=-\sum_x p_\theta(x) \log p_\theta(x)$，这是我们能做的最好的。出于本节的目的，我们将忽略$l(x)$上的整数约束，因为我们知道应用整数约束最多只会占用预期长度的1位。因此，
$$
\min {l(x)} E{p_\theta}[l(X)]=E_{p_\theta}\left[\log \frac{1}{p_\theta(X)}\right]=H\left(p_\theta\right) .
$$
如果我们不知道真实的分布$p_\theta$，但又希望尽可能高效地编码，会发生什么?在这种情况下，使用具有码字长度$l(x)$和隐含概率$q(x)=2^{-l(x)}$的代码，我们将代码的冗余定义为代码的期望长度与期望长度的下限之间的差异:
$$
\begin{aligned}
R\left(p_\theta, q\right) & =E_{p_\theta}[l(X)]-E_{p_\theta}\left[\log \frac{1}{p_\theta(X)}\right] \
& =\sum_x p_\theta(x)\left(l(x)-\log \frac{1}{p(x)}\right) \
& =\sum_x p_\theta(x)\left(\log \frac{1}{q(x)}-\log \frac{1}{p(x)}\right) \
& =\sum_x p_\theta(x) \log \frac{p_\theta(x)}{q(x)} \
& =D\left(p_\theta | q\right),
\end{aligned}
$$
其中$q(x)=2^{-l(x)}$是对应于码字长度$l(x)$的分布。
数学代写|信息论代写information theory代考|UNIVERSAL CODING FOR BINARY SEQUENCES
现在我们考虑编码二进制序列$x^n \in{0,1}^n$的一个重要特例。我们不对$x_1, x_2, \ldots, x_n$的概率分布做任何假设。
我们从$\left(\begin{array}{l}n \ k\end{array}\right)$大小的界限开始，它取自Wozencraft和Reiffen[567]，在引理17.5.1中证明:对于$k \neq 0$或$n$，
$$
\sqrt{\frac{n}{8 k(n-k)}} \leq\left(\begin{array}{l}
n \
k
\end{array}\right) 2^{-n H(k / n)} \leq \sqrt{\frac{n}{\pi k(n-k)}} .
$$
我们首先描述了一种离线算法来描述序列;我们计算序列中1的个数，在看到整个序列之后，我们发送该序列的两阶段描述。第一阶段是序列中1的个数[即$k=\sum_i x_i$(使用$\lceil\log (n+1)\rceil$位)$]$]的计数，第二阶段是该序列在所有具有$k 1$位的序列中的索引(使用$\left\lceil\log \left(\begin{array}{l}n \ k\end{array}\right)\right\rceil$位)。这两个阶段的描述需要总长度
$$
\begin{aligned}
l\left(x^n\right) & \leq \log (n+1)+\log \left(\begin{array}{l}
n \
k
\end{array}\right)+2 \
& \leq \log n+n H\left(\frac{k}{n}\right)-\frac{1}{2} \log n-\frac{1}{2} \log \left(\pi \frac{k}{n} \frac{(n-k)}{n}\right)+3
\end{aligned}
$$
$$
=n H\left(\frac{k}{n}\right)+\frac{1}{2} \log n-\frac{1}{2} \log \left(\pi \frac{k}{n} \frac{n-k}{n}\right)+3 .
$$
因此，描述序列的成本大约比对应于$k / n$的伯努利分布的香农代码的最优成本高出$\frac{1}{2} \log n$位。最后一项在$k=0$或$k=n$处是无界的，因此对于这些情况，边界是没有用的(实际描述长度是$\log (n+1)$位，而在$k=0$或$k=n)$时熵是$H(k / n)=0$位)。
统计代写请认准statistics-lab™. statistics-lab™为您的留学生涯保驾护航。
金融工程代写
金融工程是使用数学技术来解决金融问题。金融工程使用计算机科学、统计学、经济学和应用数学领域的工具和知识来解决当前的金融问题，以及设计新的和创新的金融产品。
非参数统计代写
非参数统计指的是一种统计方法，其中不假设数据来自于由少数参数决定的规定模型；这种模型的例子包括正态分布模型和线性回归模型。
广义线性模型代考
广义线性模型（GLM）归属统计学领域，是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。
术语 广义线性模型（GLM）通常是指给定连续和/或分类预测因素的连续响应变量的常规线性回归模型。它包括多元线性回归，以及方差分析和方差分析（仅含固定效应）。
有限元方法代写
有限元方法（FEM）是一种流行的方法，用于数值解决工程和数学建模中出现的微分方程。典型的问题领域包括结构分析、传热、流体流动、质量运输和电磁势等传统领域。
有限元是一种通用的数值方法，用于解决两个或三个空间变量的偏微分方程（即一些边界值问题）。为了解决一个问题，有限元将一个大系统细分为更小、更简单的部分，称为有限元。这是通过在空间维度上的特定空间离散化来实现的，它是通过构建对象的网格来实现的：用于求解的数值域，它有有限数量的点。边界值问题的有限元方法表述最终导致一个代数方程组。该方法在域上对未知函数进行逼近。[1] 然后将模拟这些有限元的简单方程组合成一个更大的方程系统，以模拟整个问题。然后，有限元通过变化微积分使相关的误差函数最小化来逼近一个解决方案。
tatistics-lab作为专业的留学生服务机构，多年来已为美国、英国、加拿大、澳洲等留学热门地的学生提供专业的学术服务，包括但不限于Essay代写，Assignment代写，Dissertation代写，Report代写，小组作业代写，Proposal代写，Paper代写，Presentation代写，计算机作业代写，论文修改和润色，网课代做，exam代考等等。写作范围涵盖高中，本科，研究生等海外留学全阶段，辐射金融，经济学，会计学，审计学，管理学等全球99%专业科目。写作团队既有专业英语母语作者，也有海外名校硕博留学生，每位写作老师都拥有过硬的语言能力，专业的学科背景和学术写作经验。我们承诺100%原创，100%专业，100%准时，100%满意。
随机分析代写
随机微积分是数学的一个分支，对随机过程进行操作。它允许为随机过程的积分定义一个关于随机过程的一致的积分理论。这个领域是由日本数学家伊藤清在第二次世界大战期间创建并开始的。
时间序列分析代写
随机过程，是依赖于参数的一组随机变量的全体，参数通常是时间。 随机变量是随机现象的数量表现，其时间序列是一组按照时间发生先后顺序进行排列的数据点序列。通常一组时间序列的时间间隔为一恒定值（如1秒，5分钟，12小时，7天，1年），因此时间序列可以作为离散时间数据进行分析处理。研究时间序列数据的意义在于现实中，往往需要研究某个事物其随时间发展变化的规律。这就需要通过研究该事物过去发展的历史记录，以得到其自身发展的规律。
回归分析代写
多元回归分析渐进（Multiple Regression Analysis Asymptotics）属于计量经济学领域，主要是一种数学上的统计分析方法，可以分析复杂情况下各影响因素的数学关系，在自然科学、社会和经济学等多个领域内应用广泛。
MATLAB代写
MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习和应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。