RNN 与 LSTM

RNN 的简短复习

我们只在一开始输入了一次图片,使用这个模型,你的神经网络就可以回看输入的图片,然后根据图片的一步登生成描述的词汇。

每当你产生一个新词时,你使你的神经网络可以回看图片,然后找到它想要形容不同特征的下一个词,你可以通过一个可训练的方式实现这些,所以 RNN 不仅产生了形容词,还决定了下一步看向图片的哪里。所以这个模型它所做到的不仅仅是产生了 RNN 的输出结果,还要找到按顺序排列的下一个形容词的概率分布。

More

循环神经网络_RNN

循环神经网络,英文名是Recurrent Neural Network,随着对它的不断深入了解,你会发现这个神经网络模型是多么的有趣。你可以喂给它莎士比亚的作品,经过有效的训练后它会给你输出带有莎士比亚风格的句子;你喂给它 Linux 源码,它会装模作样的给你生成一段它自己写的代码,尽管会有语意错误,但是不会有语法错误。

那么废话不多说,直接进入正文吧。

Recurrent Neural Network

循环神经网络的好处就是他们会在你建立神经网络架构时给予你很高的灵活性

咱们先来看一下最左边这个例子,所以一般你在处理神经网络的时候,你会得到一个固定大小的向量(即图中的红色框),然后用隐藏层 – 这个绿色的框来处理它,你就会得到一个固定大小的向量,就是蓝色。所以会有一个固定大小的图像进入网络,然后要输出一个固定大小的向量,他是一个 class score,在循环神经网络中,我们可以采用不同的顺序实现,比如从输入开始或输出开始,或者两者同时开始。

More

卷积神经网络之定位检测

简单的来复习一下卷积神经网络,我们分解了那些层次并花费了大量的时间来理解卷积算子的工作原理,并且学习如何把一个特征图像转换到另一个,这是通过滑动特征图上的窗口来计算内积,然后把这些表现通过许多层的处理来转化。如果你还记得这些较低的学习边界和颜色的卷积层,而高层则学习更加复杂的物体部分。我们还讲到了池化,池化用于抽样,并且缩小网路内的特征表现,这是我们看到的一个很普通的层级结构。我们还对特定的网络架构进行分析,这样你就能看到这些事物是如何在实践中被连接到了一起。

再简单复习一下经典模型,LeNet,他是一个很小的5层网络(98年)用于数字识别。AlexNet,是他拉开了深度学习的火爆序幕,之后是ZFNet,是一个图像分类网络。我们现在明白在分类中,更深一般会更好,例如表现良好的VGG和GoogLeNet。接下来我们讲到的是ResNet的新的神奇的网络,它深达152层,没有强大GPU的还是不要去轻易尝试使用这个。正如你们所见,这些网络都在变得更深,也随之表现的更好。

More

CNN_Structure_2

这篇文章还是一篇在学习中整理的笔记,不想做优化,就是这么任性

CNN如何做到的可视化?

在第一层,将权重可视化,因为他们直接和图像相关。那我们如何将后面的卷积层可视化?这些可视化方法都是对神经元的反应做出的可视化,而不是对滤波器本身,实际上目前并没有好的方法对滤波器本身做可视化,所以在ConventnetJS中你可以找到权重,但是并不能直接对他们做出很好的解释。因为权重自己没有很好的解释意义

Pooling Layer 的真正目的以及这么处理的原因

More

MapReduce VS RDBMs

Now, the RDBMs – Rational Database Management Systems, is good for updating a small portion of a big database. RDBMs uses a traditional B-Tree, which is highly dependent on the time required to perform seek operations.

Compared to this, MapReduce is good for updating all, or a majority of a big database. MapReduce uses sort and merge to rebuild the database which depends more on transfer operations.

RDBMs is good for applications that required the data sets if the database to be very frequently updated such as in point queries or small dataset updates. MapReduce is better for WORM, which is a write once and read many times based data applications.

More

Cloud Service Models

We are going to look into further details of the cloud service models.

First of all, look at this picture. At the bottom which is the infrastructure, the IaaS. And in here, virtual machines, server storage, network, is basically what is provides in the infrastructure. Above that is PaaS, where this is a platform as a service, and it includes database, web server and deployment tools. The next one on the top is SaaS and this is software as a Service. Here, CRM, email, games, virtual desktop and what is actually in the software application domain.

More