模拟退火

模拟退火是一种通用概率算法,用来在固定时间内寻求一个大的寻找空间内找到的最优解。

简介

模拟退火来自冶金学的专有名词退火。退火是将材料加热后再经特定速率冷却,目的是增大晶粒体积,并且减少晶格中的缺陷。材料中的原子原来会停留在使内能有局部最小值的位置,而随机在其他位置中移动。退火冷却时速度较慢,使得原子有较多可能可以找到内能比原来更低的位置。

模拟退火的原理也和金属退火的原理近似:我们将热力学的理论套用到统计学上,将搜寻空间内每一点想像成空气内的分子;分子的能量,就是它本身的动能;而搜寻空间内的每一点,也像空气分子一样带有“能量”,以表示该点对命题的合适程度。算法先以搜寻空间内一个任意点作起始:每一步先选择一个“邻居”,然后再计算从现有位置到达“邻居”的概率。

More

支持向量机与核函数

支持向量机,support vector machines,简称SVM。一下全文基本都是用SVM一词。

先将这个复杂的概念化小,个人理解,SVM就是很好的现成的分类器,这里的“现成”指的是分类器不加修改即可直接使用。同时,这就意味着数据上应用基本形式的SVM分类器就可以得到低错误率的结果。SVM能够对训练集之外的数据点做出很好的分类决策。

本文主要介绍当前比较流行的SMO算法与核函数。

关于具体的SVM算法可以参考我的这篇笔记
SVM and Kernels

原理–基于最大间隔分隔数据

More

详细谈谈RBF-1

对神经网络的监督学习有多种不同的方法。在我以前的文章里提到过的反向传播算法,可以是看做递归技术的应用,这种方法又叫做随机逼近。

在这篇文章中,我将采用完全不同的途径。具体来说,通过包含如下两阶段的混合方式来解决非线性可分模式的分类问题:

  • 第一阶段将一个给定的非线性可分模式的集合转换为新的集合,在一定条件下,转换后的模式变为线性的可能性很高;关于这一转换的数学证明我就不具体介绍了,大家可以去查阅 Cover 大大在 1965 年的早期论文
  • 第二阶段是通过最小二乘估计来解决给定的分类问题

More

Problems in Installing openCV on Mac

I have installed the openCV3 successfully yesterday. And I find there are lots of problems even wrong ways in the website. So I decide to write this article to tell others who ready to install openCV after me so that you can use the simple and right way.

Before I tell the details, there is a video which is easy to understand the the whole process on YouTube.

In this article, I will tell you the steps of installing openCV and the details of these steps.Then, I will show you some common problems and their solutions.

More

PCA降维

关于PCA算法的具体介绍在下面这篇文章中,这里我就简单介绍一下,如果大家想要完整的了解PCA,戳下面那个连接就是了

Machine Learning-8

本文中的代码以及数据文件在这里

代码与数据

在介绍PCA之前,先谈谈

什么是降维?

举个例子,比如你现在再看手机,手机正在播放复联。众所周知,屏幕是由无数个像素点组成的,比如100W个吧,不算多。而你在看复联的时候你关注的是英雄的动作以及周围的场面,这是个三维的场景。

在这个过程中,人脑已经将数据从100W维降到了3维。

这就是降维(dimensionality reduction)。

More

决策树

决策树

最经常使用的数据挖掘算法

其只要优势在于数据形式非常容易理解,分为判断模块(decision block)与终止模块(terminating block)

决策树

  • 优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据
  • 缺点:可能会产生过度匹配问题
  • 适用数据类型:数值型和标称型

More