目录：

• 1. Basic Knowledges
  • 1.1 Machine Learning
    • 1.1.1 树模型
    • 1.1.2 基础算法
    • 1.1.3 统计学习方法
  • 1.2 Deep Learning
    • 1.2.1 CNN
    • 1.2.2 RNN
    • 1.2.3 GAN
    • 1.2.4 Reinforcement Learning
    • 1.2.5 PNN(Progressive Neural Network)连续神经网络
    • 1.2.6 图卷积网络
    • 1.2.7 copynet
• 2. Useful Tools
  • 2.1 Datasets
  • 2.2 pretrained models
  • 2.3 Deep Learning Tools
    • 2.3.1 mxnet
    • 2.3.2 theano
    • 2.3.3 torch
    • 2.3.4 tensorflow
    • 2.3.5 docker
    • 2.4 docker-images
• 3. Useful Courses && Speeches
  • 3.1 Courses
  • 3.2 Speeches
  • 3.3 经典学习资源
• 4. Applications
  • 4.1 NLP
    • 4.1.1 分词
    • 4.1.2 Text Abstraction
  • 4.2 Image Processing
    • 4.2.1 image2txt
  • 4.3 Collections
    • 4.3.1 csdn深度学习代码专栏
    • 4.3.2 chiristopher olah的博客
    • 4.3.3 激活函数系列
    • 4.3.4 梯度下降算法系列

1. Basic Knowledges

1.1 Machine Learning

1.1.1 树模型

1. Python & R的树模型：A Complete Tutorial on Tree Based Modeling from Scratch (in R & Python)

1.1.2 基础算法

1. 最小二乘的几何意义及投影矩阵：博客地址

1.1.3 统计学习方法

1. 统计学习方法笔记：csdn博客

1.2 Deep Learning

1.2.1 CNN

1. 人脸合成：《使用CNN进行人脸合成》，代码地址：https://github.com/zo7/facegen
2. Residual Net：《ICCV 2015 揭开152层神经网络的面纱》

1.2.2 RNN

1. WILDML-RNN：part-1-4；代码地址：https://github.com/dennybritz/rnn-tutorial-gru-lstm
2. LSTM及其11种变种：《图解LSTM神经网络架构及其11种变体（附论文）》
3. augmented-rnns：google大脑的研究员在博客中讲述了Neural Turing Machine、Attentional Interfaces、Adaptive Computation Time和Neural Programmers四大部分。英文原文；新智元翻译版；gitbub博客代码：https://github.com/distillpub/post–augmented-rnns
4. 漫谈4种RNN-decoder：博客地址；github地址：https://github.com/jacoxu/encoder_decoder

1.2.3 GAN

1. GAN简介：《Deep Learning Research Review Week 1: Generative Adversarial Nets》
2. 生成式对抗网络GAN研究进展系列笔记：http://blog.csdn.net/solomon1558/article/details/52537114
3. cleverhans：Ian Goodfellow等人在openai中开源了cleverhans，基于tf+keras+GPU：https://github.com/openai/cleverhans
4. GAN-zoo：https://github.com/hindupuravinash/the-gan-zoo

1.2.4 Reinforcement Learning

1. WILDML-Deep Reinforcement Learning：http://www.wildml.com/2016/10/learning-reinforcement-learning/
2. 强化学习概览：NVIDIA 博客上 Tim Dettmers 所写的《Deep Learning in a Nutshell》系列文章的第四篇：强化学习概览

1.2.5 PNN(Progressive Neural Network)连续神经网络

1. PNN简介：“我们想要从一个任务开始，在上面获得专家级别的表现，随后，我们迁移到另一个连续性的任务上，使用相同的神经网络来获得专家级别的表现，在这个过程中，神经网络不会忘掉此前学会的技巧，并可以在不同的任务间实现这些技巧的相互迁移。如果任务类似的话，我希望任务1中的技巧可以有效地迁移到任务4中。我想要实现的是，只要根据任务1进行训练，就能知道其中的技巧能否写入我的神经网络代码中，并可以迁移到下一个任务。”把单独的神经网络称为一个栏（Column），这些栏在神经网络的每一层旁边形成互连，并且， 我也会固定权重（模型的参数），这样我训练第二个栏的时候，我就知道如何使用栏1的特征，但是我不需要重新编写它们。论文下载 论文笔记

1.2.6 图卷积网络

1. Graph Convolutional Networks：http://tkipf.github.io/graph-convolutional-networks/

1.2.7 copynet

1. copynet:Incorporating Copying Mechanism in Sequence-to-Sequence Learning.pdf github(基于theano，作者开源的)

2. Useful Tools

2.1 Datasets

1. Youtube-8m：该数据集包含了 800 万个 YouTube 视频 URL（代表着 500,000 小时的视频）以及它们的视频层面的标签（video-level labels），这些标签来自一个多样化的包含 4800 个知识图谱实体（Knowledge Graph entity）的集合。相比于之前已有的视频数据集，这个数据集的规模和多样性都实现了显著的增长。比如说，我们所知的之前最大的视频数据集 Sports-1M 包含了大约 100 万段 YouTube 视频和 500 个体育领域的分类——YouTube-8M 在视频数量和分类数量上都差不多比它高一个数量级。论文：《YouTube-8M: A Large-Scale Video Classification Benchmark》
2. Open Images(图片数据集，包含9百万标注图片):一个包含了900万图像URL的数据集，值得一提的是，这些图像全部都是标签数据，标签种类超过6000种。我们尽量让数据集变得实用：数据集中所使用的标签类型比拥有1000个分类的ImageNet数据集更加贴近实际生活。 https://github.com/openimages/dataset

2.2 pretrained models

1. 大规模语言建模模型库(基于One Billion Word Benchmark)：这个数据库含有大约 10 亿个单词，词汇有 80 万单词，大部分都是新闻数据。由于训练中句子是被打乱了的，模型可以不理会文本，集中句子层面的语言建模。在此基础上，作者在论文描述了一个模型，混合了字符CNN（character CNN）、大规模深度 LSTM，以及一个专门的 Softmanx 架构，最终得到的结果可以说是迄今最好的。github

2.3 Deep Learning Tools

2.3.1 mxnet

1. NNVM和tinyflow：《NNVM打造模块化深度学习系统》前端把计算表达成一个中间形式，通常我们称之为计算图，NNVM 则统一的对图做必要的操作和优化，然后再生成后端硬件代码。NNVM 是一个神经网络的比较高级的中间表示模块，它包含了图的表示以及执行无关的各种优化（例如内存分配，数据类型和形状的推导）。核心的是这两个github地址：https://github.com/dmlc/nnvm和https://github.com/tqchen/tinyflow。
2. tf-slim：　今年早些时候，我们发布了图像分类模型 Inception V3 在 TensorFlow 上的运行案例。代码能够让用户使用同步梯度下降用 ImageNet 分类数据库训练模型。Inception V3 模型的基础是一个叫做 TF-Slim 的 TensorFlow 库，用户可以使用这个软件包定义、训练、评估 TensorFlow 模型。TF-Slim 库提供的常用抽象能使用户快速准确地定义模型，同时确保模型架构透明，超参数明确。有更多新的层（比如 Atrous 卷积层和 Deconvolution）、更多新的代价函数和评估指标（如 mAP，IoU），同时有很多pre-trained的模型（比如 Inception、VGG、AlexNet、ResNet）。 https://github.com/tensorflow/models/tree/master/slim

2.3.2 theano

1. bay area dl school’s tutorial：https://github.com/daiwk/bayareadlschool-learning-theano

2.3.3 torch

1. bay area dl school’s tutorial：https://github.com/daiwk/bayareadlschool-learning-torch

2.3.4 tensorflow

1. bay area dl school’s tutorial：https://github.com/daiwk/bayareadlschool-learning-tensorflow
2. a tour of tensorflow：a tour of tensorflow

2.3.5 docker

1. nvidia-docker：https://github.com/NVIDIA/nvidia-docker

2.4 docker-images

链接:http://pan.baidu.com/s/1kUU9znh 密码:yyfp

3. Useful Courses && Speeches

3.1 Courses

1. cs224d(nlp)：课程链接：http://cs224d.stanford.edu/syllabus.html；百度云课程pdf下载：http://pan.baidu.com/s/1dFaA7PR
2. cs231n(cnn)：课程链接：http://cs231n.stanford.edu/
3. Bay Area Deep Learning School 2016： 课程安排（附课件下载链接）： http://www.bayareadlschool.org/schedule

演讲视频：

day1: youtube; 优酷

day2：youtube；优酷

daiwk整理: deep reinforcement learning；deep unsupervised learning

小结：Yoshua Bengio压轴解读深度学习的基础和挑战；Andrej Karpathy 最新演讲计算机视觉深度学习技术与趋势；

3.2 Speeches

1. google brain最近的7大研究项目：《谷歌大脑最近7大研究项目》

3.3 经典学习资源

1. Michael Nielsen的neuralnetworksanddeeplearning：http://neuralnetworksanddeeplearning.com

4. Applications

4.1 NLP

4.1.1 分词

1. THULAC.so：THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。https://github.com/thunlp/THULAC.so

4.1.2 Text Abstraction

1. Abstractive Text Summarization using Seq-to-Seq RNNs and Beyond：来自IBM Watson，本文是一篇非常优秀的paper，在seq2seq+attention的基础上融合了很多的features、trick进来，提出了多组对比的模型，并且在多种不同类型的数据集上做了评测，都证明了本文模型更加出色。张俊的分析

4.2 Image Processing

4.2.1 image2txt

1. img2txt： google博文链接；论文链接；代码链接（tensorflow/img2txt）

2. karpathy:https://github.com/karpathy/neuraltalk

https://github.com/karpathy/neuraltalk2

1. pretrained_resnet：paddle的model_zoo中:https://github.com/PaddlePaddle/Paddle/tree/develop/v1_api_demo/model_zoo/resnet，用法:http://doc.paddlepaddle.org/doc_cn/tutorials/imagenet_model/resnet_model_cn.html?highlight=zoo

4.3 Collections

4.3.1 csdn深度学习代码专栏

https://code.csdn.net/blog/41

4.3.2 chiristopher olah的博客

http://colah.github.io/

4.3.3 激活函数系列

• 激活函数

4.3.4 梯度下降算法系列

• 梯度下降优化算法

上篇： word2vec