本ほん书系统地描述了りょう深度しんど学がく习的基本きほん理り论算法ほう及应用よう。全ぜん书共14章しょう，第だい1-3章しょう论述了りょう数学すうがく基もと础、机つくえ器き学がく习基础和深度しんど学がく习基础；第だい4-7章しょう介かい绍了一些经典网络及计算机视觉领域中常用的CNN、RNN、GAN等とう网络结构技わざ术；第だい8-9章しょう介かい绍了深度しんど学がく习在计算机つくえ视觉领域的てき目め标检测及图像分割ぶんかつ两大应用；第だい10-14章しょう介かい绍了计算机つくえ视觉领域主要しゅよう的てき优化方法ほうほう及思路ろ等とう，包括ほうかつ迁移学がく习、网络架か构及训练、网络优化技巧ぎこう、超ちょう参さん数すう调整及模型がた的てき压缩和わ加速かそく等とう。本ほん书凝聚ぎょうしゅう了りょう众多一线科研人员及工程师的经验，旨むね在ざい培つちかえ养读者しゃ发现问题、解かい决问题、扩展问题的てき能力のうりょく。

本ほん书内容ないよう取材しゅざい于编者しゃ在ざい日常にちじょう学がく习过程ほど中ちゅう总结的てき知ち识点及各大だい公司こうし常つね见的笔试、面めん试题。本ほん书可为高等こうとう院いん校こう计算机つくえ科学かがく、信しん息いき科学かがく、人工じんこう智能ちのう、控ひかえ制せい科学かがく与あずか工程こうてい、电子科学かがく与あずか技わざ术等领域的てき研究けんきゅう及教学がく人じん员提供ていきょう参考さんこう，也可为相关专业本科か生せい及研究けんきゅう生せい提供ていきょう思考しこう方向ほうこう，还可为深度しんど学がく习及计算机つくえ视觉领域的てき初はつ、中ちゅう级研究けんきゅう人じん员和工程こうてい技わざ术人员提供ていきょう参考さんこう，尤ゆう其适合あい需要じゅよう查漏补缺的てき应聘者しゃ及提供ていきょう相しょう关岗位い的てき面めん试官阅读。

谈继勇いさむ 主しゅ编

南方みなかた科技かぎ大学だいがく和わ哈尔滨工业大学がく联合培つちかえ养博士はかせ（在ざい读），现任瀚维智能ちのう医い疗技术总监，深ふか圳工信しん局きょく专家库专家か，兼任けんにん南方なんぽう科技かぎ大学だいがく、四川大学研究生企业导师，南方なんぽう科技かぎ大学だいがく和わ瀚维智能ちのう医い疗联合あい实验室しつ副ふく主任しゅにん，北京ぺきん探さがせ工こう所しょ特とく聘技术专家か，曾先后きさき在中ざいちゅう科か院いん信しん工こう所しょ、香港ほんこん中ちゅう文ぶん大学だいがく（深ふか圳）、FOXCONN机つくえ器き人じん与あずか人工じんこう智能ちのう实验室しつ、顺丰科技かぎ等とう单位任にん职。主要しゅよう专注于智能ちのう感知かんち与あずか控ひかえ制せい、实时智能ちのう与あずか计算机つくえ视觉方向ほうこう的てき研究けんきゅう，主持しゅうもち/主しゅ研とぎ国家こっか自然しぜん科学かがく基金ききん、省しょう重点じゅうてん研けん发计划、深ふか圳战略りゃく性せい新しん兴产业计划等项目20余あまり项，发表SCI/EI论文20余よ篇へん，申さる请发明あかり专利40余あまり项，获全国ぜんこく发明金きん奖。

郭かく子こ钊 副ふく主しゅ编

四川大学计算机科学专业博士，硕士毕业于四川大学自动化系，主要しゅよう从事AI芯しん片へん、深度しんど学がく习、行くだり为检测识别、人ひと脸检测识别等相しょう关研究けんきゅう工作こうさく。

李り剑 副ふく主しゅ编

同どう济大学がく计算机つくえ科学かがく专业博士はかせ，浙江せっこう农林大学だいがく副ふく教授きょうじゅ、硕士生せい导师，主要しゅよう从事推荐系けい统、排はい序じょ学がく习、凸とつ优化等とう机つくえ器き学がく习领域いき的てき科か研けん和教かずのり学がく工作こうさく，发表SCI论文10余よ篇へん，曾获浙江せっこう省しょう科技かぎ进步二等奖等多项省部级奖项。

佃つくだ松まつ宜よろし 副ふく主しゅ编

日本にっぽん东北大学だいがく博士はかせ，四川大学电气工程学院教授、自じ动化系けい系けい主任しゅにん，四川省信息与自动化技术重点实验室主任。主要しゅよう专注于先进控制せい理り论与人工じんこう智能ちのう算法さんぽう研究けんきゅう、嵌入かんにゅう式しき计算与あずか实时智能ちのう系けい统的研究けんきゅう与あずか开发、机つくえ器き人じん与あずか智能ちのう装そう备的智能ちのう感知かんち与あずか控ひかえ制せい技わざ术的研究けんきゅう、工こう业测控ひかえ与あずか智能ちのう物ぶつ联的研究けんきゅう。近きん5年来ねんらい主持しゅうもち包括ほうかつ国家こっか重点じゅうてん研けん发计划、基金ききん、国くに网总部ぶ项目等とう各かく类科研けん项目近きん30项，累るい计总经费近きん2200万まん元もと；发表论文100多た篇へん，其中SCI/EI检索近きん40篇へん，ESI高だか引论文ぶん1篇へん。参与さんよ编撰专著3部ぶ（其中英文えいぶん专著1部ぶ），参まいり编国家こっか九きゅう五ご规划教材きょうざい1部ぶ。

王おう晋すすむ东 特とく邀编委い

中ちゅう科か院いん计算所しょ博士はかせ，微ほろ软亚洲しゅう研究けんきゅう院いん机つくえ器き学がく习研究けんきゅう员，主要しゅよう从事迁移学がく习和机つくえ器き学がく习方向ほうこう的てき研究けんきゅう工作こうさく，在ざいIJCAI、CVPR、ICDM、UbiComp、ACMMM、PERCOM、IJCNN、PRICAI、IEEE TNNLS、NEUNET、PRL、PMCJ、IMWUT、IJMLC、ICME、ACM TIST等とう国こく际权威い期き刊かん和会かずえ议上发表论文20余よ篇へん，多た次つぎ获得“最さい佳けい论文”奖。作品さくひん有ゆう《迁移学がく习简明あかり手しゅ册さつ》等とう。

王おう超ちょう锋

上海しゃんはい大学だいがく硕士，百度计算机视觉算法工程师，主おも研けん图像处理，深度しんど学がく习等方向ほうこう。曾多次じ在国ざいこく内外ないがい各かく类知名めい计算机つくえ视觉挑战赛中获得优异成なり绩。

郭かく晓锋

中国科学院ちゅうごくかがくいん硕士，爱奇艺算法ほう工程こうてい师，主要しゅよう从事图像处理、深度しんど学がく习等方向ほうこう的てき研究けんきゅう，曾获“2017华为软件精しらげ英えい挑战赛”复赛第だい6名めい。

黄き伟

华南理工りこう大学だいがく硕士，顺丰科技かぎ机つくえ器き人じん算法さんぽう工程こうてい师，主要しゅよう从事计算机つくえ视觉和わ自然しぜん语言处理方向ほうこう的てき研究けんきゅう。曾在相しょう关领域いき国こく际期刊かん、会かい议上发表论文，并在相しょう关竞赛中获得优异成なり绩。

陈方杰（Amusi）

上海しゃんはい大学だいがく硕士，CVer（计算机つくえ视觉知ち识分享とおる和学わがく习交流こうりゅう平台ひらだい）创始人じん。

李り元もと伟

国防こくぼう科技かぎ大学だいがく硕士，深ふか圳瀚维智能ちのう医い疗科技わざ公司こうし高だか级算法ほう工程こうてい师，南方みなかた科技かぎ大学だいがく和わ瀚维智能ちのう医い疗联合あい实验室しつ委い员，主要しゅよう从事机つくえ器き视觉、图像处理及深度しんど学がく习方向ほうこう的てき研究けんきゅう工作こうさく，参まいり编普通どおり高等こうとう教育きょういく十じゅう三さん五ご规划教材きょうざい《图像通信つうしん基もと础》，在ざいIEEE TCSVT、COGN COMPUT等とう发表学がく术论文ぶん多た篇へん，曾获湖南こなみ省しょう/全ぜん军优秀しゅう硕士论文。

陈琳

北京ぺきん航空こうくう航こう天てん大学だいがく博士はかせ（在ざい读），研究けんきゅう方向ほうこう为无人じん机つくえ智能ちのう控ひかえ制せい与あずか决策、仿生智能ちのう计算。

第だい1章しょう 数学すうがく基もと础 1

1.1 向こう量りょう和わ矩のり阵 1

1.1.1 标量、向むこう量りょう、矩のり阵和张量 1

1.1.2 张量与あずか矩のり阵的区く别 2

1.1.3 矩のり阵和向むこう量りょう相乘そうじょう的てき结果 2

1.1.4 向こう量りょう和わ矩のり阵的范数归纳 2

1.1.5 判断はんだん一个矩阵是否为正定矩阵 4

1.2 导数和わ偏へん导数 5

1.2.1 导数偏へん导计算さん 5

1.2.2 导数和わ偏へん导数的てき区く别 6

1.3 特とく征せい值和特とく征せい向こう量りょう 6

1.3.1 特とく征せい值分解ぶんかい 6

1.3.2 奇き异值和わ特とく征せい值的关系 6

1.4 概がい率りつ分布ぶんぷ与あずか随ずい机つくえ变量 7

1.4.1 机つくえ器き学がく习为什么要よう使用しよう概がい率りつ 7

1.4.2 变量与あずか随ずい机つくえ变量的てき区く别 7

1.4.3 随ずい机つくえ变量与あずか概がい率りつ分布ぶんぷ的てき联系 8

1.4.4 离散型がた随ずい机つくえ变量和わ概がい率りつ质量函数かんすう 8

1.4.5 连续型がた随ずい机つくえ变量和わ概がい率りつ密度みつど函数かんすう 8

1.4.6 举例理解りかい条件じょうけん概がい率りつ 9

1.4.7 联合概がい率りつ与あずか边缘概がい率りつ的てき区く别和联系 9

1.4.8 条件じょうけん概がい率りつ的てき链式法ほう则 10

1.4.9 独立どくりつ性せい和わ条件じょうけん独立どくりつ性せい 10

1.5 常つね见概率りつ分布ぶんぷ 11

1.5.1 伯はく努つとむ利り分布ぶんぷ 11

1.5.2 高だか斯分布ぶんぷ 11

1.5.3 何なん时采用よう正せい态分布ぶんぷ 12

1.5.4 指数しすう分布ぶんぷ 12

1.5.5 Laplace分布ぶんぷ 13

1.5.6 Dirac分布ぶんぷ和わ经验分布ぶんぷ 13

1.6 期き望もち、方かた差さ、协方差さ、相あい关系数すう 13

1.6.1 期き望もち 13

1.6.2 方ぽう差さ 14

1.6.3 协方差さ 14

1.6.4 相そう关系数すう 15

第だい2章しょう 机つくえ器き学がく习基础 16

2.1 基本きほん概念がいねん 16

2.1.1 大だい话机器き学がく习本质 16

2.1.2 什么是ぜ神しん经网络 16

2.1.3 各かく种常见算法ほう图示 17

2.1.4 计算图的导数计算 17

2.1.5 理解りかい局部きょくぶ最さい优与全局ぜんきょく最さい优 18

2.1.6 大数たいすう据すえ与あずか深度しんど学がく习之间的关系 19

2.2 机つくえ器き学がく习的学がく习方式しき 20

2.2.1 监督学がく习 20

2.2.2 非ひ监督学がく习 20

2.2.3 半はん监督学がく习 20

2.2.4 弱じゃく监督学がく习 20

2.2.5 监督学がく习模型がた的てき搭建步ふ骤 21

2.3 分ふん类算法ほう 22

2.3.1 常用じょうよう分ぶん类算法的ほうてき优缺点てん 22

2.3.2 分ふん类算法的ほうてき评估方法ほうほう 23

2.3.3 正せい确率能否のうひ很好地ち评估分ぶん类算法ほう 25

2.3.4 什么样的分ぶん类器是ぜ最さい好このみ的てき 26

2.4 逻辑回かい归 26

2.4.1 回かい归的种类 26

2.4.2 逻辑回かい归适用よう性せい 27

2.4.3 逻辑回かい归与朴ほお素もと贝叶斯的区く别 27

2.4.4 线性回かい归与逻辑回かい归的区く别 27

2.5 代だい价函数すう 28

2.5.1 为什么需要じゅよう代だい价函数すう 28

2.5.2 代だい价函数すう作用さよう原理げんり 28

2.5.3 常つね见代价函数すう 30

2.5.4 为什么代价函数すう要よう非ひ负 31

2.5.5 为什么用交叉こうさ熵代替だいたい二に次代じだい价函数すう 31

2.6 损失函数かんすう 32

2.6.1 什么是ぜ损失函数かんすう 32

2.6.2 常つね见的损失函数かんすう 32

2.6.3 逻辑回かい归为什么使用しよう对数损失函数かんすう 34

2.6.4 对数损失函数かんすう如何いか度量どりょう损失 34

2.7 梯はしご度ど下降かこう法ほう 35

2.7.1 梯はしご度ど下降かこう法的ほうてき作用さよう 36

2.7.2 梯はしご度ど下降かこう法的ほうてき直ちょく观理解りかい 36

2.7.3 梯はしご度ど下降かこう法ほう算法さんぽう描述 37

2.7.4 梯はしご度ど下降かこう法的ほうてき缺点けってん 38

2.7.5 如何いか对梯度ど下降かこう法ほう进行调优 38

2.7.6 随ずい机つくえ梯はしご度ど下降かこう和わ批量梯はしご度ど下降かこう的てき区く别 38

2.7.7 各かく种梯度ど下降かこう法ほう性能せいのう比ひ较 40

2.8 线性判ばん别分析ぶんせき 40

2.8.1 LDA思想しそう总结 40

2.8.2 图解LDA核心かくしん思想しそう 41

2.8.3 二に类LDA算法さんぽう原理げんり 41

2.8.4 LDA算法さんぽう流りゅう程ほど总结 42

2.8.5 LDA和わPCA的てき异同 43

2.8.6 LDA的てき优缺点てん 43

2.9 主成分しゅせいぶん分析ぶんせき 43

2.9.1 图解PCA核心かくしん思想しそう 43

2.9.2 PCA算法さんぽう推理すいり 44

2.9.3 PCA算法さんぽう流りゅう程ほど总结 45

2.9.4 PCA思想しそう总结 46

2.9.5 PCA算法さんぽう的てき优缺点てん 46

2.9.6 降くだ维的必要ひつよう性せい及目的もくてき 46

2.9.7 KPCA与あずかPCA的てき区く别 47

2.10 模型もけい评估 47

2.10.1 模型もけい评估常用じょうよう方法ほうほう 48

2.10.2 误差、偏差へんさ和わ方かた差さ的てき区く别和联系 48

2.10.3 为什么使用しよう标准差さ 49

2.10.4 经验误差与あずか泛化误差 50

2.10.5 图解欠かけ拟合与あずか过拟合あい 50

2.10.6 如何いか解かい决欠拟合与あずか过拟合あい 52

2.10.7 交叉こうさ验证的てき主要しゅよう作用さよう 52

2.10.8 理解りかいK折おり交叉こうさ验证 53

2.10.9 理解りかい混淆こんこう矩のり阵 53

2.10.10 理解りかい查准率りつ与あずか查全率りつ 53

2.10.11 理解りかいROC与あずかAUC 54

2.10.12 如何いか绘制ROC曲きょく线 55

2.10.13 如何いか计算TPR和わFPR 56

2.10.14 如何いか计算AUC 58

2.10.15 直ちょく观理解りかいAUC 58

2.10.16 ROC评估分ぶん类器 60

2.10.17 代だい价敏感かん错误率りつ与あずか代だい价曲线 60

2.10.18 比ひ较检验方法ほう 61

2.11 决策树 61

2.11.1 决策树的基本きほん原理げんり 62

2.11.2 决策树的生成せいせい过程 62

2.11.3 决策树学习基本きほん算法さんぽう步ふ骤 62

2.11.4 决策树算法的ほうてき优缺点てん 63

2.11.5 决策树和熵的联系 63

2.11.6 熵的概念がいねん及定义 63

2.11.7 理解りかい信しん息いき增益ぞうえき 64

2.11.8 决策树中熵、条件じょうけん熵和信しん息いき增益ぞうえき的てき联系 64

2.11.9 决策树算法ほう中ちゅう剪枝的てき作用さよう及策略さくりゃく 65

2.12 支持しじ向こう量りょう机つくえ（SVM） 65

2.12.1 什么是ぜSVM 65

2.12.2 SVM能のう解かい决的问题 66

2.12.3 核かく函数かんすう特とく点てん及其作用さよう 67

2.12.4 SVM为什么引入にゅう对偶问题 67

2.12.5 如何いか理解りかいSVM中ちゅう的てき对偶问题 67

2.12.6 常つね见的核かく函数かんすう 69

2.12.7 SVM的てき主要しゅよう特とく点てん 69

2.12.8 SVM的てき主要しゅよう缺点けってん 70

2.12.9 逻辑回かい归与SVM的てき异同 70

2.13 贝叶斯分类器 72

2.13.1 贝叶斯分类器的てき基本きほん原理げんり 72

2.13.2 朴ほお素もと贝叶斯分类器 72

2.13.3 举例理解りかい朴ほお素もと贝叶斯分类器 73

2.13.4 半はん朴ほお素もと贝叶斯分类器 75

2.13.5 极大似に然しか估计和わ贝叶斯估计的联系与あずか区く别 75

2.13.6 极大似に然しか估计原理げんり 76

2.13.7 图解极大似に然しか估计 76

2.14 EM算法さんぽう 77

2.14.1 EM算法さんぽう的てき基本きほん思想しそう 77

2.14.2 EM算法さんぽう推导 77

2.14.3 图解EM算法さんぽう 78

2.14.4 EM算法さんぽう流りゅう程ほど 79

2.15 降くだ维和聚类 79

2.15.1 图解为什么会产生维数灾难 79

2.15.2 怎样避免维数灾难 83

2.15.3 聚类和わ降くだ维 83

2.15.4 聚类算法さんぽう优劣的てき衡量标准 84

2.15.5 聚类和わ分ぶん类 85

2.15.6 聚类算法さんぽう的てき性能せいのう比ひ较 85

2.15.7 4种常用じょうよう聚类方法ほうほう比ひ较 85

第だい3章しょう 深度しんど学がく习基础 89

3.1 基本きほん概念がいねん 89

3.1.1 神かみ经网络的类型 89

3.1.2 神かみ经网络的常用じょうよう模型もけい结构 92

3.1.3 深度しんど学がく习和机つくえ器き学がく习的区く别与联系 93

3.1.4 为什么使用しよう深ふか层表示ひょうじ 93

3.1.5 深度しんど学がく习架构分类 94

3.1.6 如何いか选择深度しんど学がく习开发平台だい 94

3.2 神かみ经网络计算さん 95

3.2.1 前ぜん向こう传播和わ反はん向こう传播 95

3.2.2 如何いか计算神しん经网络的输出 96

3.2.3 如何いか计算卷まき积神经网络输出で值 97

3.2.4 如何いか计算池ち化か层输出で值 100

3.2.5 反はん向こう传播实例 101

3.2.6 神かみ经网络更“深ふかし”的てき意い义 104

3.3 激げき活かつ函数かんすう 104

3.3.1 为什么需要よう激げき活かつ函数かんすう 104

3.3.2 为什么激活かつ函数かんすう需要じゅよう非ひ线性函数かんすう 105

3.3.3 常つね见的激げき活かつ函数かんすう及其图像 105

3.3.4 常つね见激活かつ函数かんすう的てき导数计算 107

3.3.5 激げき活かつ函数かんすう有ゆう哪些性せい质 108

3.3.6 如何いか选择激げき活かつ函数かんすう 108

3.3.7 为什么tanh收おさむ敛速度そくど比ひsigmoid快かい 109

3.3.8 Relu激げき活かつ函数かんすう的てき优点 109

3.3.9 理解りかいRelu激げき活かつ函数かんすう的てき稀まれ疏激活性かっせい 109

3.3.10 什么时候可か以用线性激げき活かつ函数かんすう 109

3.3.11 softmax函数かんすう的てき定てい义及作用さよう 110

3.3.12 softmax函数かんすう如何いか应用于多分ぶん类 110

3.4 BATCH SIZE 112

3.4.1 为什么需要ようBatch Size 112

3.4.2 如何いか选择Batch Size值 112

3.4.3 调节Batch Size对训练效果こうか的てき影かげ响 113

3.4.4 在ざい合理ごうり范围内ない增大ぞうだいBatch Size的てき好こう处 113

3.4.5 盲目もうもく增大ぞうだいBatch Size的てき坏处 114

3.5 归一化か 114

3.5.1 理解りかい归一化か含义 114

3.5.2 归一化和标准化的联系与区别 114

3.5.3 为什么要归一化か或ある标准化か 115

3.5.4 图解为什么要归一化か 115

3.5.5 为什么归一化能提高求最优解速度 115

3.5.6 归一化有哪些类型 116

3.5.7 局部きょくぶ响应归一化か作用さよう 116

3.5.8 局部きょくぶ响应归一化か原理げんり 117

3.5.9 什么是ぜ批归一いち化か 118

3.5.10 批归一いち化か的てき优点 118

3.5.11 批归一いち化か算法さんぽう流りゅう程ほど 118

3.5.12 批归一化和组归一化比较 119

3.5.13 权重归一化和批归一化比较 119

3.5.14 批归一化适用范围 120

3.5.15 BN、LN、IN和わGN的てき对比 120

3.6 参さん数すう初はつ始はじめ化か 121

3.6.1 参さん数すう初はつ始はじめ化か应满足あし的てき条件じょうけん 121

3.6.2 常用じょうよう的てき几种初はつ始はじめ化か方式ほうしき 121

3.6.3 全ぜん0初はつ始はじめ化か带来的てき问题 121

3.6.4 全ぜん都と初はつ始はじめ化か为同样的值 122

3.6.5 初はつ始はじめ化か为小的てき随ずい机つくえ数すう 123

3.6.6 用よう 校こう准なぞらえ方かた差さ 123

3.7 预训练与微ほろ调 123

3.7.1 什么是ぜ预训练和微ほろ调 123

3.7.2 预训练和微ほろ调的作用さよう 124

3.7.3 预训练模型がた的てき复用 124

3.7.4 预训练和迁移学がく习 125

3.7.5 微ほろ调时网络参さん数すう是ぜ否ひ更新こうしん 125

3.7.6 微ほろ调模型がた的てき三さん种状态 125

3.7.7 为什么深层神经网络难以训练 125

3.8 超ちょう参さん数すう 127

3.8.1 超ちょう参さん数すう有ゆう哪些 127

3.8.2 参さん数すう和わ模型もけい的てき关系 127

3.8.3 参さん数すう和わ超ちょう参さん数すう的てき区く别 127

3.8.4 如何いか寻找超ちょう参さん数すう的てき最さい优值 128

3.8.5 超ちょう参さん数すう搜索そうさく的てき一般いっぱん过程 128

3.9 学がく习率 129

3.9.1 学がく习率的てき作用さよう 129

3.9.2 学がく习率衰おとろえ减的常用じょうよう参さん数すう 129

3.9.3 常用じょうよう的てき学がく习率衰おとろえ减方法ほう 129

3.10 正せい则化 133

3.10.1 为什么要正せい则化 133

3.10.2 常つね见正则化方法ほうほう 133

3.10.3 图解L1和わL2正せい则化 134

3.10.4 Dropout具体ぐたい工作こうさく流りゅう程ほど 135

3.10.5 为什么Dropout可か以解决过拟合问题 137

3.10.6 Dropout的てき缺点けってん