基于深度学习的机器翻译——Machine Translation Based on Deep Learning

项目简介

深度学习是机器学习的一个主流研究方向，是目前国内外最热门的一个邻域。该项目将介绍深度学习的研究背景和历史、当前主流方法，神经网络的反向传播训练方法，一些相关的理论支持，用于计算机视觉的卷积神经网络（CNN），用于处理序列数据（文本和语音）的循环神经网络（RNN），用于生成逼真虚拟数据的生成式对抗网络（GAN）。通过该课程的学习，将为以后进一步深入研究打下坚实的基础。项目最终会完成科研项目：“带注意力机制或记忆模块的RNN”

项目内容

7.5-7.19课前预习，远程辅导：课程背景了解，文献阅读，资料收集
7.20-7.24(实地实习：每天9:00-16:30)第一天：深度学习导论
什么是深度学习?以及相关概念
为什么需要深度学习;与其他方法的区别与联系
深度学习的简要历史背景
深度学习的当前主流方法(CNN, RNN, GAN)
第二天：反向传播算法 (BP)
SGD优化算法及其理论
反向传播算法推导
相关的理论支持(不存在坏的局部最优、博弈论、几何与泛化)
实验开题
第三天: 卷积神经网络(CNN)
计算机视觉传统方法所面临的困境
卷积神经网络的经典架构
残差网络及其变种
胶囊网络
第四天：循环神经网络(RNN)
RNN技术简要综述
从自然语言处理或理解(NLP, NLU)的角度，来讲RNN技术演化
如何用酉变换来克服长期依赖
RNN在机器翻译和语音识别中的应用
第五天：生成式对抗网络(GAN)
GAN的发明历史和背景
GAN主要方法
各种改进版本
GAN的各种应用
7.25-8.7完成实验论文：带注意力机制或记忆模块的RNN