Alex LEE's Blog

机器学习中提到了人工神经网络 (ANN),它也可以分为两个类型:第一类是浅层的网络。如早期的感知机,它只有一个输入层和输出层组成。另外,上面提到的推断统计类型的机器学习方法从广义上说基本都可以归到这一类。第二类就是深层的网络,即深度神经网络,可以成为深度学习网络。它除了输出层和输出层之外,还有一个或多个隐层,并且通过学习算法,在隐层实现了对数据的抽象表达,如同人的认知系统。我们暂且对机器学习、深度学习的关系做一个简单粗暴的总结,那就是:机器学习中的人工神经网络是深度学习的起源,基于神经网络芯片的、大数据的、多层次的学习叫深度学习。

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement),这时通常采用的方法就是计算样本间的"距离"(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。

信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信。,一般在机器学习中,我们可以将信息论应用在连续型变量上,并使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。

假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。它根据数据样本所提供的证据,指定是肯定还是否定有关总体的声明。具体作法是:根据问题的需要对所研究的总体作某种假设,记作H0;选取合适的统计量,这个统计量的选取要使得在假设H0成立时,其分布为已知;由实测的样本,计算出统计量的值,并根据预先给定的显著性水平进行检验,作出拒绝或接受假设H0的判断。(可使用 p 值来做出判断。如果 p 值小于显著性水平(用 α 或 alpha 表示),则可以否定原假设。)

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式。 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入其中。 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日-1851年2月18日)命名;英文雅可比量"Jacobian"可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ən]。

斐讯路由器刷机和mentohust配置。

卡尔曼滤波(Kalman filtering)一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。

无论原问题是不是凸优化问题,都可以将原问题转化为凸优化问题来求解。当Lagrange对偶问题的强对偶性成立时,可以利用求解对偶问题来求解原问题;而原问题是凸优化问题时,强对偶性往往成立。否则,可以利用求解对偶问题求出原问题最优值的下界。总的来说,拉格朗日乘子法是一个工具(手段或方法),来解决在有约束情况的求函数极值的问题。