AI工程师（计算机视觉）

课程概况

本微专业由城市数据团联合网易共同出品。城市数据团公众号、知乎等平台粉丝超50万，长期为政府、城市公共机构、地产商等提供城市级大数据产品及一体化解决方案。 网易教学团队则结合人工智能事业部一线产品真实案例，帮助学员进阶人脸识别实战。课程还额外邀请了来自硅谷的数据科学家为大家揭秘世界级互联网公司的人工智能应用之道。

适用人群

1、在校学生。人工智能、计算机、数学等相关专业的在读学生人群。2、职场小白。已经步入职场，技能需要补充且自学吃力的职场人员。3、转行人员。想从传统行业转型人工智能方向的从业人员。4、企业管理者。企业内希望深入了解人工智能计算机视觉方向的团队管理者 学前基础。

本门课程从零开始讲解，若学员有python语言及统计学基础则更容易上手。

课程安排

01 人工智能与计算机视觉：课程导论

本门课程作为AI工程师计算机视觉方向的开篇导论，将会以思维扩展为主，讲解人工智能CV方向的主流技术体系及理论知识概述，使学员了解一个合格的AI工程师需要具备哪些技术能力。同时在微专业开始的第一周，我们会指导大家完成课程的前期准备工作，包括加入课程QQ群、获得学号等。

第一章 人工智能-计算机视觉概述

1.1 AI工程师课程体系介绍

1.2 计算机视觉历史回顾及发展

1.3 适用场景及需求

1.4 主流技术体系及理论知识

第二章 基于图片数据的城市研究实践

2.1 基于街景图片的城市公共空间变化评价

2.2 基于街景图片的城市公共空间品质评价

2.3 基于微博文字及图片的城市意想评价

2.4 基于Flickr图片的城市意想评价

新生报到必填！

02 Python快速掌握

Python作为最优美的语言，简单易懂，且配备非常成熟的数据分析和算法工具包，非常适合小白学习，以此展开自己的数据分析之路。本门课程将会从零开始教授Python语言，介绍Python基本语法，配合作业练习操作，使学员在短时间内掌握Python核心内容。

第一章 Python语言基础

第二章 科学计算库numpy

第三章 数据分析库pandas

第四章 图表绘制库matplotlib

考核项目1：电影数据处理及分析实战

03 计算机视觉库OpenCV

本门课程主要学习计算机视觉基础知识，及计算机视觉库OpenCV的使用，包括图像的载入、保存、剪切、缩放、移动、翻转等操作，并且使用OpenCV完成目标检测、人脸检测等实际应用。

第一章 基础操作

1.1 基础操作

第二章 几何变换

2.1 翻转

2.2 裁剪

2.3 图像算数

2.4 按位计算

2.5 遮挡

2.6 切分合并通道

2.7 图像金字塔

第三章 形态学

3.1 形态学(1)

3.2 形态学(2)

第四章 图像平滑

4.1 图像平滑

第五章 颜色空间转换

5.1 颜色空间转换

第六章 二值化

6.1 二值化Thresholding(1)

6.2 二值化Thresholding(2)

第七章 图像梯度

7.1 图像梯度

第八章 Canny边缘检测

8.1 Canny边缘检测(1)

8.2 Canny边缘检测(2)

第九章 视频操作

9.1 读取摄像头视频

9.2 读取视频文件

9.3 视频写入

第十章 人脸检测识别

10.1 人脸检测(1)

10.2 人脸检测(2)

10.3 人脸识别

考核项目2：人脸识别项目实战

04 数学理论基础&Python代码实现

本门课程主要是人工智能数学基础的学习，为后面的人工智能算法课程打下基础。学员主要学习数学领域的三大方向：高等数学、线性代数和概率统计。本课程会从最基础的数学概念开始讲起，并通过python代码实现，帮助大家从零开始学好数学。

第一章 高等数学

1.1 函数与极限

1.2 导数与微分

1.3 导数的运用

1.4 不定积分

1.5 定积分及其应用

1.6 重积分

第二章 线性代数

2.1 行列式

2.2 矩阵

2.3 矩阵空间与线性变换

2.4 向量，矩阵及其对角化

第三章 概率论与数理统计

3.1 概率论的基本概念

3.2 变量与分布

考核项目3：统计数学模型构建(1)

考核项目4：统计数学模型构建(2)

05 深度学习基础

深度学习的基础神经网络诞生于上世纪60年代，并且在上世纪80年代有一次比较大的发展，近几年爆发的深度学习热潮算是其第三次热潮。本门课程则会从上世纪60年代的神经网络基础开始学习，了解单层感知器，线性神经网络，梯度下降法，BP神经网络等算法及应用。

第一章 感知器

课程1.0 本章节课程介绍

课程1.1 深度学习基本介绍和基本应用

课程1.2 深度学习发展背景和人物介绍

课程1.3 机器学习基础

课程1.4 单层感知器介绍

课程1.5 单层感知器应用案例

课程1.6 线性神经网络处理异或问题

课程1.7 delta学习规则和梯度下降法

第二章 BP神经网络

课程2.1 BP网络介绍

课程2.2 BP算法详细推导

课程2.3 激活函数和梯度消失讲解

课程2.4 BP神经网络-异或问题

课程2.5 BP神经网络实现手写数字识别

课程2.6 sklearn-手写数字识别

考核项目5：葡萄酒识别

06 深度学习框架I：Tensorflow

课程内容基本上是以代码编程为主，也会有少量的深度学习理论内容。课程从TensorFlow最基础的图（graphs），会话（session）、张量（tensor）、变量（variable）等一些最基础的知识开始讲起，逐步讲到Tensorflow的基础使用，以及其中CNN和LSTM的使用，在课程后面还会学到多分类图像识别等。

第一章 TensorFlow基础

1.1 TensorFlow简介

1.2 创建图和会话

1.3 再来说说变量

1.4 fetch and feed

1.5 模拟线性回归方程

1.6 非线性回归

1.7 MNIST数据集及Softmax函数

1.8 再看“手写数字识别”

第二章 网络优化

2.1 交叉熵是什么？

2.2 交叉熵与二次代价函数的对比

2.3 什么是过拟合？

2.4 使用dropout抵抗过拟合

2.5 使用正则化抵抗过拟合

2.6 各种优化器介绍

第三章 Tensorboard

3.1 Tensorboard网络可视化

3.2 Tensorboard网络运行结果可视化

3.3 Tensorboard高级功能

第四章 卷积神经网络

4.1 为什么需要卷积神经网络

4.2 局部连接和权值共享

4.3 卷积的计算

4.4 卷积的步长

4.5 池化层

4.6 Padding

4.7 LeNet-5网络结构分析

4.8 卷积神经网络运用于“手写数字识别”

4.9 深度卷积网络

4.10 VGG16介绍

4.11 谷歌Inception网络简介

第五章 序列模型

5.1 什么是序列模型？

5.2 循环神经网络模型

5.3 LSTM模型

5.4 GRU模型

5.5 双向神经网络

5.6 LSTM应用于“手写数字识别”

第六章 模型的保存载入

6.1 ckpt模型存储

6.2 ckpt模型载入

6.3 BP模型存储

6.4 BP模型载入

第七章 多分类图像识别

7.1 GPU下使用TensorFlow

7.2 基于Inception-v3的图像识别

7.3 迁移学习

第八章 破解图形验证码

8.1 多任务学习介绍

考核项目7：智能场景分类

考核项目8：验证码识别

07 深度学习框架II：Keras

本门课程内容基本上是以代码编程为主，也会有少量的深度学习理论内容。课程会一步一步从Keras环境安装开始，到实现线性回归、非线性回归，手写数字分类模型，以及一些深度学习网络的应用如CNN、LSTM，最后会带着大家完成一个图像分类的实战任务。

第一章 Keras基础

1.1 Keras简介

1.2 线性回归

1.3 非线性回归

1.4 Keras运用于“手写数字识别”

第二章 网络优化

2.1 交叉熵的运用

2.2 Dropout的运用

2.3 正则化

2.4 各种优化

第三章 卷积神经网络

第四章 序列模型

第五章 其他应用

5.1 保存模型

5.2 载入模型

5.3 绘制网络结构

第六章 猫狗分类问题

6.1 图像预处理

6.2 猫狗分类 - 简单CNN

6.3 猫狗分类 - VGG16 bottleneck

6.4 猫狗分类 - VGG16 Finetune

考核项目9：如何鉴别汪星人品种

08 计算机视觉应用实战

本门课程是计算机视觉微专业课程中最重要，同时也是难度最大的部分，在这个课程中我们会综合前面课程学习到的python语言基础、OpenCV运用、数学理论知识及深度学习算法知识、TensorFlow及Keras应用，来完成计算机视觉领域中最前沿的技术应用。

第一章 目标检测

1.1 什么是“目标检测”？

1.2 RCNN/Fast-RCNN算法介绍

1.3 YOLO算法介绍

1.4 SSD算法介绍

1.5 多分类目标检测案例演练

第二章 目标分割

2.1 什么是“目标分割”？

2.2 全卷及网络

2.3 双线性上采样

2.4 特征金字塔

2.5 Mask RCNN算法

2.6 目标分割案例演练

第三章 人脸识别

3.1 人脸识别具体做什么？

3.2 人脸识别算法介绍

3.3 人脸属性识别算法介绍

3.4 人脸识别案例演练

第四章 图像风格迁移

4.1 什么是“图像风格迁移”？

4.2 算法介绍

4.3 图像风格迁移案例演练

第五章 生成对抗网络GAN

5.1 什么是“生成对抗网络GAN”

5.2 算法介绍

5.3 生成手写数字案例演练

考核项目10：行人检测

考核项目11：用深度学习代替PS抠图大法

考核项目12：照片年龄检验

考核项目13：图片风格变换

考核项目14：智能文字生成

考核项目15：监测视频中的人脸识别运用

09 网易实战：人脸检测与识别专题

本门课程将会重点讲解人脸识别，包括Faster-RCNN、SSD等框架介绍，基于Caffe框架进行人脸检测模型的训练，并且手把手教大家训练Insightface算法，达到LFW95%以上的实验效果。最后通过实战项目，对比不同的loss函数及模型，对效果进行调优。

第一章 人脸检测

1.1 Faster-RCNN、SSD等框架介绍

1.2 基于Caffe框架、Python GPU进行人脸检验模型训练

第二章 人脸关键点检测

2.1 人脸关键点概念及作用

2.2 基于深度学习方法的人脸关键点检验

2.3 MTCNN算法的实现

第三章 人脸识别

3.1 人脸识别相关算法介绍

3.2 Mxnet的环境搭建及Insightface算法实现

3.3 进阶实践：手把手训练Insightface

3.4 实战项目：《如何选择合适的人脸识别算法》，并基于不同模型进行效果调优

10 硅谷实战：对抗样例及DL模型弱点

本门课程将会深入思考对抗样例及深度学习的弱点，讲解对抗样例的概念及发展历史，介绍对抗样例如何产生，及攻击图像识别的深度学习模型，并基于现有的对抗样例防范方法，提升模型的准确性。

第一章 对抗样例介绍

1.1 介绍对抗样例的概念及发展历史

1.2 对抗样例详解及案例

第二章 对抗样例的机理和用途

2.1 对抗样例是如何产生的？

2.2 对抗样例如何攻击图像识别的深度学习模型？

第三章 对抗样例的房屋

3.1 现有的对抗样例防范方法及难度

3.2 利用对抗样例提升模型的准确性