数学代写|信息论代写information theory代考| Logical Mutual Information

如果你也在 怎样代写信息论information theory这个学科遇到相关的难题,请随时右上角联系我们的24/7代写客服。

信息论是对数字信息的量化、存储和通信的科学研究。该领域从根本上是由哈里-奈奎斯特和拉尔夫-哈特利在20世纪20年代以及克劳德-香农在20世纪40年代的作品所确立的。

statistics-lab™ 为您的留学生涯保驾护航 在代写信息论information theory方面已经树立了自己的口碑, 保证靠谱, 高质且原创的统计Statistics代写服务。我们的专家在代写信息论information theory代写方面经验极为丰富,各种代写信息论information theory相关的作业也就用不着说。

我们提供的信息论information theory及其相关学科的代写,服务范围广, 其中包括但不限于:

  • Statistical Inference 统计推断
  • Statistical Computing 统计计算
  • Advanced Probability Theory 高等概率论
  • Advanced Mathematical Statistics 高等数理统计学
  • (Generalized) Linear Models 广义线性模型
  • Statistical Machine Learning 统计机器学习
  • Longitudinal Data Analysis 纵向数据分析
  • Foundations of Data Science 数据科学基础
数学代写|信息论代写information theory代考| Logical Mutual Information

数学代写|信息论代写information theory代考|Logical Mutual Information

Intuitively, the mutual logical information $m(X, Y)$ in the joint distribution ${p(x, y)}$ would be the probability that a sampled pair of pairs $(x, y)$ and $\left(x^{\prime}, y^{\prime}\right)$ would be distinguished in both coordinates, i.e., a distinction $x \neq x^{\prime}$ of $p(x)$ and a distinction $y \neq y^{\prime}$ of $p(y)$. In terms of subsets, the subset for the mutual information is intersection of infosets for $X$ and $Y$ :
$$
S_{X \wedge Y}=S_{X} \cap S_{Y} \text { so } m(X, Y)=\mu\left(S_{X \wedge Y}\right)=\mu\left(S_{X} \cap S_{Y}\right) \text {. }
$$
In terms of disjoint unions of subsets:
$$
S_{X \vee Y}=S_{X \wedge \neg Y} \uplus S_{Y \wedge \neg X} \uplus S_{X \wedge Y}
$$
so
$$
\begin{gathered}
h(X, Y)=\mu\left(S_{X \vee Y}\right)=\mu\left(S_{X \wedge \neg Y}\right)+\mu\left(S_{Y \wedge \neg X}\right)+\mu\left(S_{X \wedge Y}\right) \
=h(X \mid Y)+h(Y \mid X)+m(X, Y)
\end{gathered}
$$
or:
$$
m(X, Y)=h(X)+h(Y)-h(X, Y)
$$
as illustrated in Fig. 3.3.
Expanding $m(X, Y)=h(X)+h(Y)-h(X, Y)$ in terms of probability averages gives:
$$
m(X, Y)=\sum_{x, y} p(x, y)[[1-p(x)]+[1-p(y)]-[1-p(x, y)]]
$$
Logical mutual information in a joint probability distribution.
Since $S_{Y}=S_{Y \wedge \neg X} \cup S_{Y \wedge X}=\left(S_{Y}-S_{X}\right) \cup\left(S_{Y} \cap S_{X}\right)$ and the union is disjoint, we have the formula:
$$
h(Y)=h(Y \mid X)+m(X, Y)
$$

which can be taken as the basis for a logical analysis of variation (ANOVA) for categorical data. The total variation in $Y, h(Y)$, is equal to the variation in $Y$ “within” $X$ (i.e., with no variation in $X), h(Y \mid X)$, plus the variation “between” $Y$ and $X$ (i.e., variation in both $X$ and $Y), m(X, Y)$.

The Common Dits Theorem (see the Appendix) shows that two nonempty partition ditsets always intersect. The same holds for the positive supports of the basic infosets $S_{X}$ and $S_{Y}$.

数学代写|信息论代写information theory代考|Shannon Mutual Information

Applying the dit-bit transform $1-p \rightsquigarrow \log \left(\frac{1}{p}\right)$ to the logical mutual information formula
$$
m(X, Y)=\sum_{x, y} p(x, y)[[1-p(x)]+[1-p(y)]-[1-p(x, y)]]
$$
expressed in terms of probability averages gives the corresponding Shannon notion:
$$
\begin{gathered}
I(X, Y)=\sum_{x, y} p(x, y)\left[\left[\log \left(\frac{1}{p(x)}\right)\right]+\left[\log \left(\frac{1}{p(y)}\right)\right]-\left[\log \left(\frac{1}{p(x, y)}\right)\right]\right] \
=\sum_{x, y} p(x, y) \log \left(\frac{p(x, y)}{p(x) p(y)}\right)
\end{gathered}
$$
Shannon mutual information in a joint probability distribution.
Since the dit-bit transform preserves sums and differences, the logical formulas for the Shannon entropies gives the mnemonic (Fig. 3.5):
$$
I(X, Y)=H(X)+H(Y)-H(X, Y)=H(X, Y)-H(X \mid Y)-H(Y \mid X)
$$

数学代写|信息论代写information theory代考|Independent Joint Distributions

A joint probability distribution ${p(x, y)}$ on $X \times Y$ is independent if each value is the product of the marginals: $p(x, y)=p(x) p(y)$.
For an independent distribution, the Shannon mutual information
$$
I(X, Y)=\sum_{x \in X, y \in Y} p(x, y) \log \left(\frac{p(x, y)}{p(x) p(y)}\right)
$$

is immediately seen to be zero so we have:
$$
H(X, Y)=H(X)+H(Y)
$$
Shannon entropies for independent ${p(x, y)}$.
For the logical mutual information $m(X, Y)$, independence gives:
$$
\begin{aligned}
m(X, Y) &=\sum_{x, y} p(x, y)[1-p(x)-p(y)+p(x, y)] \
&=\sum_{x, y} p(x) p(y)[1-p(x)-p(y)+p(x) p(y)] \
&=\sum_{x} p(x)[1-p(x)] \sum_{y} p(y)[1-p(y)] \
&=h(X) h(Y)
\end{aligned}
$$
Logical entropies for independent ${p(x, y)}$.
Independence means the joint probability $p(x, y)$ can always be separated into $p(x)$ times $p(y)$. This carries over to the standard two-draw probability interpretation of logical entropy. Thus independence means that in two draws, the probability $m(X, Y)$ of getting distinctions in both $X$ and $Y$ is equal to the probability $h(X)$ of getting an $X$-distinction times the probability $h(Y)$ of getting a $Y$-distinction. Similarly, Table $3.1$ shows that, under independence, the four atomic areas in the Venn diagram for the logical entropies can each be expressed as the four possible products of the areas ${h(X), 1-h(X)}$ and ${h(Y), 1-h(Y)}$ that are defined in terms of one variable as shown in Table 3.1.

The nonempty-supports-always-intersect proposition shows that $h(X) h(Y)>0$ implies $m(X, Y)>0$, and thus that logical mutual information $m(X, Y)$ is still positive for independent distributions when $h(X) h(Y)>0$, in which case $m(X, Y)=h(X) h(Y)$. This is a striking difference between the average bit-count Shannon entropy and the dit-count logical entropy. Aside from the waste case where $h(X) h(Y)=0$, there are always positive probability mutual distinctions for $X$ and $Y$.

数学代写|信息论代写information theory代考| Logical Mutual Information

信息论代考

数学代写|信息论代写information theory代考|Logical Mutual Information

直观地说,互逻辑信息米(X,是)在联合分布中p(X,是)将是一对采样的对的概率(X,是)和(X′,是′)将在两个坐标中进行区分,即区分X≠X′的p(X)和一个区别是≠是′的p(是). 就子集而言,互信息的子集是信息集的交集X和是 :

小号X∧是=小号X∩小号是 所以 米(X,是)=μ(小号X∧是)=μ(小号X∩小号是). 
就子集的不相交并集而言:

小号X∨是=小号X∧¬是⊎小号是∧¬X⊎小号X∧是
所以

H(X,是)=μ(小号X∨是)=μ(小号X∧¬是)+μ(小号是∧¬X)+μ(小号X∧是) =H(X∣是)+H(是∣X)+米(X,是)
或者:

米(X,是)=H(X)+H(是)−H(X,是)
如图 3.3 所示。
扩大米(X,是)=H(X)+H(是)−H(X,是)就概率平均值而言,给出:

米(X,是)=∑X,是p(X,是)[[1−p(X)]+[1−p(是)]−[1−p(X,是)]]
联合概率分布中的逻辑互信息。
自从小号是=小号是∧¬X∪小号是∧X=(小号是−小号X)∪(小号是∩小号X)并且联合是不相交的,我们有公式:

H(是)=H(是∣X)+米(X,是)

这可以作为分类数据的变异逻辑分析(ANOVA)的基础。总变异是,H(是), 等于变化是“内”X(即,没有变化X),H(是∣X),加上“之间”的变化是和X(即,两者的变化X和是),米(X,是).

Common Dits Theorem(见附录)表明两个非空分区 ditset 总是相交的。基本信息集的积极支持也是如此小号X和小号是.

数学代写|信息论代写information theory代考|Shannon Mutual Information

应用 dit-bit 变换1−p⇝日志⁡(1p)到逻辑互信息公式

米(X,是)=∑X,是p(X,是)[[1−p(X)]+[1−p(是)]−[1−p(X,是)]]
用概率平均值表示,给出了相应的香农概念:

我(X,是)=∑X,是p(X,是)[[日志⁡(1p(X))]+[日志⁡(1p(是))]−[日志⁡(1p(X,是))]] =∑X,是p(X,是)日志⁡(p(X,是)p(X)p(是))
联合概率分布中的香农互信息。
由于 dit-bit 变换保留了和和差,香农熵的逻辑公式给出了助记符(图 3.5):

我(X,是)=H(X)+H(是)−H(X,是)=H(X,是)−H(X∣是)−H(是∣X)

数学代写|信息论代写information theory代考|Independent Joint Distributions

联合概率分布p(X,是)上X×是如果每个值都是边际的乘积,则它们是独立的:p(X,是)=p(X)p(是).
对于独立分布,香农互信息

我(X,是)=∑X∈X,是∈是p(X,是)日志⁡(p(X,是)p(X)p(是))

立即被视为零,因此我们有:

H(X,是)=H(X)+H(是)
独立的香农熵p(X,是).
对于逻辑互信息米(X,是),独立性给出:

米(X,是)=∑X,是p(X,是)[1−p(X)−p(是)+p(X,是)] =∑X,是p(X)p(是)[1−p(X)−p(是)+p(X)p(是)] =∑Xp(X)[1−p(X)]∑是p(是)[1−p(是)] =H(X)H(是)
独立的逻辑熵p(X,是).
独立性意味着联合概率p(X,是)总是可以分成p(X)次p(是). 这延续到逻辑熵的标准二次概率解释。因此,独立性意味着在两次平局中,概率米(X,是)在两者中获得区别X和是等于概率H(X)得到一个X- 区别乘以概率H(是)得到一个是-区别。同样,表3.1表明,在独立的情况下,维恩图中逻辑熵的四个原子区域每个都可以表示为这些区域的四个可能的乘积H(X),1−H(X)和H(是),1−H(是)用一个变量来定义,如表 3.1 所示。

nonempty-supports-always-intersect 命题表明H(X)H(是)>0暗示米(X,是)>0,因此逻辑互信息米(X,是)当独立分布仍然为正时H(X)H(是)>0, 在这种情况下米(X,是)=H(X)H(是). 这是平均位数香农熵和滴数逻辑熵之间的显着差异。除了废物箱H(X)H(是)=0, 总是存在正概率相互区分X和是.

数学代写|信息论代写information theory代考 请认准statistics-lab™

统计代写请认准statistics-lab™. statistics-lab™为您的留学生涯保驾护航。

金融工程代写

金融工程是使用数学技术来解决金融问题。金融工程使用计算机科学、统计学、经济学和应用数学领域的工具和知识来解决当前的金融问题,以及设计新的和创新的金融产品。

非参数统计代写

非参数统计指的是一种统计方法,其中不假设数据来自于由少数参数决定的规定模型;这种模型的例子包括正态分布模型和线性回归模型。

广义线性模型代考

广义线性模型(GLM)归属统计学领域,是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。

术语 广义线性模型(GLM)通常是指给定连续和/或分类预测因素的连续响应变量的常规线性回归模型。它包括多元线性回归,以及方差分析和方差分析(仅含固定效应)。

有限元方法代写

有限元方法(FEM)是一种流行的方法,用于数值解决工程和数学建模中出现的微分方程。典型的问题领域包括结构分析、传热、流体流动、质量运输和电磁势等传统领域。

有限元是一种通用的数值方法,用于解决两个或三个空间变量的偏微分方程(即一些边界值问题)。为了解决一个问题,有限元将一个大系统细分为更小、更简单的部分,称为有限元。这是通过在空间维度上的特定空间离散化来实现的,它是通过构建对象的网格来实现的:用于求解的数值域,它有有限数量的点。边界值问题的有限元方法表述最终导致一个代数方程组。该方法在域上对未知函数进行逼近。[1] 然后将模拟这些有限元的简单方程组合成一个更大的方程系统,以模拟整个问题。然后,有限元通过变化微积分使相关的误差函数最小化来逼近一个解决方案。

tatistics-lab作为专业的留学生服务机构,多年来已为美国、英国、加拿大、澳洲等留学热门地的学生提供专业的学术服务,包括但不限于Essay代写,Assignment代写,Dissertation代写,Report代写,小组作业代写,Proposal代写,Paper代写,Presentation代写,计算机作业代写,论文修改和润色,网课代做,exam代考等等。写作范围涵盖高中,本科,研究生等海外留学全阶段,辐射金融,经济学,会计学,审计学,管理学等全球99%专业科目。写作团队既有专业英语母语作者,也有海外名校硕博留学生,每位写作老师都拥有过硬的语言能力,专业的学科背景和学术写作经验。我们承诺100%原创,100%专业,100%准时,100%满意。

随机分析代写


随机微积分是数学的一个分支,对随机过程进行操作。它允许为随机过程的积分定义一个关于随机过程的一致的积分理论。这个领域是由日本数学家伊藤清在第二次世界大战期间创建并开始的。

时间序列分析代写

随机过程,是依赖于参数的一组随机变量的全体,参数通常是时间。 随机变量是随机现象的数量表现,其时间序列是一组按照时间发生先后顺序进行排列的数据点序列。通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,12小时,7天,1年),因此时间序列可以作为离散时间数据进行分析处理。研究时间序列数据的意义在于现实中,往往需要研究某个事物其随时间发展变化的规律。这就需要通过研究该事物过去发展的历史记录,以得到其自身发展的规律。

回归分析代写

多元回归分析渐进(Multiple Regression Analysis Asymptotics)属于计量经济学领域,主要是一种数学上的统计分析方法,可以分析复杂情况下各影响因素的数学关系,在自然科学、社会和经济学等多个领域内应用广泛。

MATLAB代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中,其中问题和解决方案以熟悉的数学符号表示。典型用途包括:数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发,包括图形用户界面构建MATLAB 是一个交互式系统,其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题,尤其是那些具有矩阵和向量公式的问题,而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问,这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展,得到了许多用户的投入。在大学环境中,它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域,MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要,工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数(M 文件)的综合集合,可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。

R语言代写问卷设计与分析代写
PYTHON代写回归分析与线性模型代写
MATLAB代写方差分析与试验设计代写
STATA代写机器学习/统计学习代写
SPSS代写计量经济学代写
EVIEWS代写时间序列分析代写
EXCEL代写深度学习代写
SQL代写各种数据建模与可视化代写

发表回复

您的电子邮箱地址不会被公开。