开始认真的玩深度学习
tinyfool昨天在我的Mac pro和Macbook pro都安装了Tensorflow,Google的深度学习工具。我试着在Mac上给它加上CUDA支持,加上了才知道,没有N卡安装了CUDA也没用。而新的Mac都不是N卡的。我昨天看了下,我自己的两个笔记本和女朋友的两个笔记本都是intel的,而我的Mac pro是AMD的。
目前的状态是,Tensorflow的issue里面有加上OpenCL支持这条,状态是contributions welcome,也就是说,不是官方在做的,我看看有没有机会帮他们了(前提是我弄明白怎么弄之前,没别人把这事情搞定先)。
我在考虑是不是跟少爷换他的笔记本,他是N卡的,今天去他的机器跑跑,如果性能确实看得到非常显著的提升,可以考虑。
或者我去自己装一台N卡的PC,用Linux跑。
阿里云的HPC是用来做高性能计算的,但是价格太贵,暂时玩不起,月租相当买台好电脑。阿里云的普通机器我试验了,相对这个需求来说太慢,比我的笔记本都完全不如。我在linode的服务器我也准备试,不过有一些安装的问题,现在还没完全搞定。
深度学习对比之前的其它机器学习方法是颠覆性的,不管从理论、操作还是从效果层面。
首先,其它机器学习方法主要是概率论。而深度学习是对大脑的一种模拟。
从操作上讲,其它的机器学习方法的一个核心是人工的特征选择,如果特征选择有误或者不科学,效果则无法提升。而深度学习可以大量的使用相对raw的材料,不需要专家来做特征的选择,深度学习的过程中,系统会自动的做特征抽取。这样的结果就是,深度学习可以大大的扩展它的用途,而不用担心领域知识的匮乏。
而从效果层面,深度学习已经开始大幅度超过各种之前的机器学习方法。
但是,不管是图片分类成功率高于人类(图来自Jeff Dean最近的一个演讲,23分钟处);
alt text
还是战胜了李世石:
alt text
这些都还是简单人工智能。这就是单一目的,单一类型的数据和训练用来解决单一问题。人脑可以被理解为一个神经网络,既用来处理听视觉信号,维持平衡,保持逻辑,下棋,玩等等等等。目前单一逻辑的人工智能神经网络,可以做到在某个单一领域超过人脑。
但是首先需要大量的机器,大量的数据集,和大量的训练时间。同时需要数据科学家(像巫师一样)来给它喂材料。
一个单台电脑,单个机器人,保有人一样的智能,还需要很久很久。
即使整个网络,现在的运算能力,能不能完全模拟一个人脑,都还是问题。感觉还是任重道远的,机会很多的。
aws 有N卡实例,价格还可以接受。不过我准备入手外星人笔记本,玩mxnet。
个人或者小公司玩深度学习,主要限制还是数据,毕竟设备门槛不高,用台式机的话,一个980显卡也就小几千块钱。4块显卡配下来也就几万。数据的话,现在动不动都用几百万、几千万数据在跑,数据的成本还是非常高的。公开的数据就这些,做学术研究还行,商用的话,缺陷还是蛮大的。如果不自己训练模型,直接用其他人训练好的模型,对显卡需求就低多了,大部分情况下,CPU都能跑。
可以试试 我搭的图像识别Demo
这个用的阿里云机器,2G内存,后台跑的Caffe做图像识别。