Extreme Multi-label Text Classification:Kim-CNN & XML-CNN

This passage is a learning note about a paper talking about the extreme multi-label text classification.

Introduction

XMTC -> Extreme Multi-label Text Classification

Finding each document its most relevant subset of labels from an extremely large space of categories.

Training data: {(x_i, y_i)}ⁿ₁, x_i ∈ X, y_i ∈ {0, 1}^L
X is the data, y is the label.

Goal:
Learning a mapping g: X -> {0, 1}^L
Our goal is finding a mapping from x to y.

谈一谈 Fast R-CNN 和 Faster R-CNN

本文讨论内容涉及到之前整理的一篇文章，链接见下CNN之定位检测

R-CNN 的一些问题

R-CNN并不是完美的，他也有一些问题。

在测试是它运行的很慢。我们可能有2000个区域，每个区域都要运行一下R-CNN，这就是很慢的原因。
我们还会面对一个比较有趣的问题。当我们使用SVM或者regression时是离线训练使用线性回归等方法训练，所以我们的R-CNN没有机会按照相应部分的网络目的升级。
同时R-CNN训练管道比较复杂时，他会有一些混乱。

Fast R-CNN

为了解决这些问题，有人提出了Fast R-CNN模型。Fast R-CNN的算法很简单：我们只需要交换提取出的区域然后在运行CNN。

如何在Xcode中添加<bits/stdc++.h>头文件

在C++中的头文件 <bits/stdc++.h> 十分强大，能帮助你在实际中节省很多时间，它包含了很多头函数，这样你就可以只导入一次头文件就把所有基础头文件一次导入了。

但是 Xcode 它不自带这个函数，需要我们手动导入。

首先进入终端，直接进入 Xcode 目录

1	cd /Applications/Xcode.app/Contents/Developer/Toolchains/XcodeDefault.xctoolchain/usr/include/c++/v1

然后在其中创建目录 bits，接下来的所有步骤都需要管理员权限

RNN 与 LSTM

RNN 的简短复习

我们只在一开始输入了一次图片，使用这个模型，你的神经网络就可以回看输入的图片，然后根据图片的一步登生成描述的词汇。

每当你产生一个新词时，你使你的神经网络可以回看图片，然后找到它想要形容不同特征的下一个词，你可以通过一个可训练的方式实现这些，所以 RNN 不仅产生了形容词，还决定了下一步看向图片的哪里。所以这个模型它所做到的不仅仅是产生了 RNN 的输出结果，还要找到按顺序排列的下一个形容词的概率分布。

循环神经网络_RNN

循环神经网络，英文名是Recurrent Neural Network，随着对它的不断深入了解，你会发现这个神经网络模型是多么的有趣。你可以喂给它莎士比亚的作品，经过有效的训练后它会给你输出带有莎士比亚风格的句子；你喂给它 Linux 源码，它会装模作样的给你生成一段它自己写的代码，尽管会有语意错误，但是不会有语法错误。

那么废话不多说，直接进入正文吧。

Recurrent Neural Network

循环神经网络的好处就是他们会在你建立神经网络架构时给予你很高的灵活性

咱们先来看一下最左边这个例子，所以一般你在处理神经网络的时候，你会得到一个固定大小的向量（即图中的红色框），然后用隐藏层 – 这个绿色的框来处理它，你就会得到一个固定大小的向量，就是蓝色。所以会有一个固定大小的图像进入网络，然后要输出一个固定大小的向量，他是一个 class score，在循环神经网络中，我们可以采用不同的顺序实现，比如从输入开始或输出开始，或者两者同时开始。

卷积神经网络之定位检测

简单的来复习一下卷积神经网络，我们分解了那些层次并花费了大量的时间来理解卷积算子的工作原理，并且学习如何把一个特征图像转换到另一个，这是通过滑动特征图上的窗口来计算内积，然后把这些表现通过许多层的处理来转化。如果你还记得这些较低的学习边界和颜色的卷积层，而高层则学习更加复杂的物体部分。我们还讲到了池化，池化用于抽样，并且缩小网路内的特征表现，这是我们看到的一个很普通的层级结构。我们还对特定的网络架构进行分析，这样你就能看到这些事物是如何在实践中被连接到了一起。

再简单复习一下经典模型，LeNet，他是一个很小的5层网络（98年）用于数字识别。AlexNet，是他拉开了深度学习的火爆序幕，之后是ZFNet，是一个图像分类网络。我们现在明白在分类中，更深一般会更好，例如表现良好的VGG和GoogLeNet。接下来我们讲到的是ResNet的新的神奇的网络，它深达152层，没有强大GPU的还是不要去轻易尝试使用这个。正如你们所见，这些网络都在变得更深，也随之表现的更好。

CNN_Structure_2

这篇文章还是一篇在学习中整理的笔记，不想做优化，就是这么任性

CNN如何做到的可视化？

在第一层，将权重可视化，因为他们直接和图像相关。那我们如何将后面的卷积层可视化？这些可视化方法都是对神经元的反应做出的可视化，而不是对滤波器本身，实际上目前并没有好的方法对滤波器本身做可视化，所以在ConventnetJS中你可以找到权重，但是并不能直接对他们做出很好的解释。因为权重自己没有很好的解释意义

SaberDa的幻想乡

C++/ JS　　|　　呐呐呐　　|　　gli97@gwmail.gwu.edu　　|　　没有什么胜利可言挺住就意味着一切