- 本深度学习集训营略过Python基础,直接从人工神经网络起步,实战BAT工业项目,并组织学员参赛,帮助学员成功就业或转行。为确保每一位学员的学习效果,本期继续维持前二期的从头到尾全部实战,但除了涵盖特征工程、以及深度学习在CV、NLP中的应用之外,特新增了以下三大模块:a.工业界业务上线/部署的大杀器——神经网络压缩技术b.新增深度学习在物体检测中的应用c.深度学习在推荐系统中的应用从而让内容更成体系、更加成熟。
-
预习阶段 从DL基础起步,掌握三大核心模型
在线视频:DNN与CNN,及NN框架
- 1-DNN与混合网络:google Wide&Deep
- 2-实战项目:数据非线性切分+google wide&deep 模型实现分类
- 3-CNN:从AlexNet到ResNet
- 4-实战项目:搭建CNN完成图像分类示例
- 5-NN框架:caffe, tensorflow与pytorch
- 6-实战项目:用几大框架完成DNN与CNN网络搭建与分类
在线视频:RNN、LSTM、与条件生成、attention
- 1-RNN/LSTM/Grid LSTM
- 2-实战项目:RNN文本分类
- 3-RNN条件生成与attention
- 4-实战项目:google神经网络翻译系统
-
第一阶段 从数据科学比赛里看深度学习应用
在线视频:深入理解神经网络原理
- 1-从线性分类器说到非线性分类器
- 2-理解神经网络参数W的物理意义
- 3-Backpropagation的两种理解/推导方式
- 4-初探神经网络模型训练调参
在线实训:基于tensorflow/keras实现分类任务
在线视频:深度卷积神经网络原理与实践
- 1-卷积操作的数学定义和物理意义
- 2-卷积神经网络结构的两大原理—局部连接和权值共享
- 3-卷积神经网络的主体结构和变种
- 4-3小时内用百行代码登顶Kaggle图像分类比赛的Top-5%
在线实训:参加Kaggle图像分类比赛并提交结果
在线视频:神经网络压缩技术:工业界业务上线/部署的大杀器!
- 1-业务场景下的特征处理与挖掘套路
- 2-Deep Compression:兼顾神经网络模型的效果和效率
- 3-详解网络剪枝技术(及其变种)以及知识蒸馏模型
在线实训:基于tensorflow/keras实现知识蒸馏模型
在线视频:深入理解CNN、RNN和LSTM
- 1-CNN网络结构及误差反向传播推导
- 2-RNN网络结构及误差反向传播推导
- 3-LSTM及GRU
在线实训:基于TensorFlow的CNN/RNN网络构建训练集推理应用
线下实战:从DNN/Wide/Wide&Deep解决房价预测问题
- 1-机器学习vs深度学习,工业界的利弊权衡
- 2-神经网络基本原理和训练要点
- 3-如何针对不同的应用场景选择模型结构
- 4-从wide&deep到混合网络的搭建与应用
- 5-以kaggle比赛为例讲解神经网络解决方案
-
第二阶段 深度学习在计算机视觉中的应用
在线视频:深度学习在物体检测中的应用(上)
- 1-物体检测相关必备背景知识
- 2-深入理解RCNN家族模型
- 3-消灭令人抓狂的Anchor理解(从Motivation说到实践技巧)
在线实训:MS-COCO物体检测by Faster RCNN
在线视频:深度学习在物体检测中的应用(中)
- 1-对比One Stage/Two Stage模型的优劣势
- 2-从SSD说到YOLO-V3
- 3-深入理解Focal Loss-消灭Class Imbalance/Hard-Easy Examples Problem
在线实训:MS-COCO物体检测by YOLO-V3
在线视频:深度学习在物体检测中的应用(下)
- 1-物体检测中多尺度变化问题的处理
- 2-2019年物体检测领域的弄潮儿:Anchor Free
- 3-刷新行人检测记录的新思路:Center and Scale Prediction
在线实训:行人检测by CSP
线下实战:图像分类与图像检索实战
- 1-灵活选取卷积神经网络结构作为图像分类的Backbone
- 2-迁移学习在深度学习中的应用——“微调”(Fine-tune)技术
- 3-图像搜索的前世(Bag-of-Visual-Words)和今生(Deep Learning)
-
第三阶段 深度学习在自然语言处理中的应用
在线视频:文本预处理,词袋模型,word2vec,语言模型
- 1-NLP基本知识:词袋、tf-idf、朴素贝叶斯
- 2-DL中的NLP基础:word2vec、doc2vec、embedding、N-gram LM
- 3-用深度学习一步步完成情感分析任务
在线实训:基于维基百科语料库自己动手训练word2vec模型
在线视频:CNN/LSTM 文本分类
- 1-文本分类问题处理流程
- 2-传统模型在文本分类上的表现
- 3-从RNN到LSTM
- 4-CNN/LSTM 在文本分类上的应用
在线实训:百行代码用CNN/LSTM实现文本分类
在线视频:图像生成文本(Image2text)
- 1-Image2text基本模型
- 2-基于Attention的Image2Text
- 3-反问题:Text2ImageM
线下实战:文本语义相似度匹配模型以及Seq2Seq模型构建
- 1-深度学习在自然语言处理中的基础工具:word2vec、Embedding
- 2-文本检索与匹配通用模型方法:DSSM,CDSSM,DRMM,ARC-I
- 3-Seq2Seq模型搭建详解与应用案例
- 4-(短)文本语义相似度匹配模型构建及其实践应用
-
第四阶段 高级深度学习应用场景
在线视频:当下流行的语言模型BERT介绍
- 1-语言模型的发展历程
- 2-BERT(Bidirectional Encoder Representations from Transformers)语言模型介绍
- 3-从预训练到NLP问题求解
- 4-应用举例:问答系统,命名实体识别
在线实训:实战BERT模型与fine tuning
在线视频:生成式对抗网络(GAN)
- 1-15分钟无公式理解GAN
- 2-GAN的基本推导和优化目标
- 3-GAN的训练难点以及Improved GAN Training
- 4-From GAN to WGAN
在线实训:Step by Step实现DCGAN
在线视频:深度学习在推荐系统里的应用场景
- 1-深度学习模型用作Feature Embedding
- 2-Cross Layer:为推荐系统定制的网络结构
- 3-与传统推荐模型的结合
上午线下:基于深度学习的聊天机器人,看图说话与VQA
- 1-基于深度学习匹配的聊天机器人
- 2-基于序列到序列模型的聊天机器人
- 3-结合CNN与RNN的看图说话与VQA看图问答机器人
下午线下:智慧城市中的核心技术:大规模车辆图片搜索(Re-ID)算法原理及实践
- 1-多任务(Multi-task)深度学习模型搭建与训练
- 2-深度排序(Deep Ranking, Triplet Loss)原理与训练技巧
- 3-使用多任务和深度排序模型,构建一个工业界和学术界最前沿的大规模车辆图片搜索算法(可用于智慧城市、视频监控等安防场景),在业界的车辆搜索开源数据集上取得State-of-the-Art效果
- 4-ReID算法思维延伸:基于视觉特征二次识别问题的技巧(比如Person Re-ID)
-
第五阶段 深度学习模型优化及实践技巧
在线视频:NLP应用之文本分类系统
- NLP的经典任务,但应用场景也非常广泛。情感分类被应用于利用网上评论打分,探究金融市场情绪。主题分类被应用于新闻分类,intent classification被用于构建聊天机器人。
在线实训:从特征抽取到索引构建——自己动手实现实现一个文本分类系统
在线视频:CV方向专项项目
- 1-深入理解损失函数曲线
- 2-CNN模型训练/实践中的常见问题以及Checklist
- 3-CNN模型训练的若干高效技巧(Bag of Tricks)
- 4-若干技术面试真题快问快答
在线实训:基于CoCo数据集上实现物体检测分类模型Faster-RCNN
在线视频:推荐应用之电商平台的商品推荐
- 电商业务在全球各大互联网公司的营收中都占有极其重要的地位,推荐系统对用户推荐商品的质量好坏直接影响了巨头们的股价,商品推荐团队是公司各大算法团队中的核心团队,有着绝对地位的优势,我们针对全球Top 1的电商数据进行推荐算法优化。
上午线下:NLP与CV数据科学比赛案例详解与实践
-
- 1-NLP AI比赛:文本主题与标签预测(通用模型结构、textCNN与textRNN、texRCNN与其他网络)
- 2-图像比赛基本套路
- 3-图像分类与图像分割比赛解决方案介绍
NLP与CV数据科学比赛案例详解与实践
下午线下:深度学习模型优化前瞻技术 以及实践技巧
- 1-深度卷积神经网络的历史变革和设计理念——从AlexNet到DenseNet
- 2-解析各类轻量级深度网络的设计理念——深度可分离网络
- 3-深度学习模型训练时应注意的问题即实践技巧
试看:链接:https://pan.baidu.com/s/1TWbFfLTXK9pOUftlgfDbgQ
提取码:adrq