迈凯轮,依据机器学习算法是最有用的一种方法,机器学习无捷径!,乐基儿

《机器学习与运用》由清华大学出书社出书,是机器学习和深度学习范畴又一高质量的入门与进步教材。该书体系、深化地叙述了机器学习与深度学习的首要办法与理论,并紧密结合工程实践与运用。

作者简介

雷明,结业于清华大学核算机系,研讨方向为机器学习、核算机视觉。有超越12年的学术研讨与产品研制经历,曾宣布论文数篇,具有深沉的理论功底与丰厚的实践经历。其编撰的系列技能文章在半年内累计阅览量达数百万次,拿手用生动、形象的言语把杂乱、笼统的理论和算法解说清楚。

适读人群

核算机,电子,主动化,人工智能等相关专业的本科生,研讨生

从事人工智能学术研讨与产品研制的人员

对人工智能、机器学习感兴趣的人

本书优势(附精彩试读)

1、内容全面、体系,紧跟技能进步

完好的叙述了机器学习、深度学习首要算法以及在各个范畴的典型运用,含括了学术界与工业界截止2017年头的新作用,紧跟年代脚步,弥补了市面上经典教材内容老化的缺憾。

精彩试读:

图画超分辩的方针是由低分辩率的图画得到高分辩率的图画,传统的做法大多选用纯图画处理的技能。用机器学习的思路处理超分辩问题取得了更好的作用,卷积神经网络被成功地用于超分辩问题。文献[7]提出了一种用生成对立网络结构处理图画超分辩问题的办法,称为超分辩生成对立网络,简称SRGAN,能够将缩小4倍以上的图画进行恢复。

这种办法运用了一种新的丢失函数,由对立丢失和内容丢失两部分构成。榜首部分丢失和规范生成对立结构相同,经过一个判别模型,让生成网络生成的超分辩图画和实在高分辩率图画尽可能挨近。

生成器卷积网络选用了深度残差网络;判别模型也是一个层次很深的卷积网络,用于区别一张图画是祝精隆实在的高分辩率图画仍是由生成器网络生成的图画。网络结构如下图所示。

图画超分辩的网络结构

假定低分辩率图画为,这儿的方针是根据它估量出高分辩率的图画,在练习样本中与低分辩率图画相对应的实在高分辩率图画为。

2、推导证明明晰、深化、具体

绝大部分中心算法均有具体的推导、证明进程,从问题根源、思维层面对算法进行解说,让读者不只知其然还知其所以然,真实把握算法的思维与精华。在书的前部对机器学习所需的数学知识也做了体系的解说

精彩试读:

方针函数的二阶导数为,前面假定二阶导数,然后确保方针函数是凸函数,即开口向上的抛物线,有极小值。boycot假如,或许该怎样处理?关于线性核或正定核函数,由于矩阵的恣意一个上述子问题对应的二阶子矩阵半正定,必定有。下面给出证明这个关于两个变量的子问题的方针函数是凸函数,只需求证明它的Hes张瑞涵sian矩阵是半正定矩阵。这两个变量的方针函数的Hessian为风流村

和10.3.2节证明整个对偶问题的Hessian矩阵正定的办法相同,假如是线性核,这个矩阵也能够写成一个矩阵和它的转置的乘积方式:

矩阵为练习样本特征向量乘上类别标签构成的矩阵。明显这个Hessian矩阵是半正定的,因而必定有。假如是非线性核,由于核函数相当于对两个核映射之后的向量做内积,因而上面的定论相同建立。

不管本次迭代时和的初始值是多少,经过上面的子问题求解算法得到是在可行域里的最小值,因而每次求解更新这两个变量的值之后,都能确保方针函数值小于或许等于初始值,即函数值下降,所以SMO算法能确保收敛。

3、中心算法配有完成细节介绍,运用示例,闻名开源库代码剖析

对大部分中心算法的完成细节进行了介绍,并配有示例程序与闻名开源库源代码剖析,包含迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿OpenCV,libsvm,liblinear,Caffe,这对需求运用、完成机器学习算法的读者至关重要

精彩试读:

求解器的完成是源代码剖析的中心,分为可信域牛顿法与坐标下降法两类。可信域牛顿法由TRON类完成,坐标下降法由各个问题具体的求解函数完成。限于篇幅,在这儿只剖析一部分求解器,其他的完成原理相似。

可信域牛顿法由类TRON完成,这个类为L2-正则化logistic回归和L2-正则化支撑向量机的练习供给支撑。类界说如下:

class TRON

{

public:

// 传入的是基类function的指针,能够运用上面两种丢失函数,eps为迭代精度

// max_iter为最大迭代次数,默认值为1000

TRON(const function *fun_obj, double eps = 0.1, int max_iter = 1000);

~TRON();

// 这是求解的接口函数

void tron(double *w);

void set_prin迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿t_string(void (*i_print) (const c皇帝的新装har *buf));

private:

int trcg(double delta, double *g, double *s, double *r); // 共轭梯度法,被tron调用

double norm_inf(int n, double *x);

double eps; // 收敛精度

int max_iter; // 最大迭代次数

function *fun_obj; // 方针函数

void info(const char *fmt,...);

void (*tron_print_string)(const char *buf);

};

4、重要算法的实践运用均有解说

中心算法的实践运用都有介绍,对深度学习技能在核算机视觉、语音辨认、自然言语处理、核算机图形学等范畴的运用状况有具体而深化的介绍。这些内容能协助读者把握算法的实践运用办法、建模的思路。

在本书的中心算法部分介绍了机器学习和深度学习的首要算法,包含

线性回归

岭回归

LASSO回归

贝叶斯分类器

决议计划树

K近邻算法

距离衡量学习

数据降维算法,包含主成分剖析、流形学习

线性判别剖析

人工神经网络19禁

支撑向量机

logistic回归

线性支撑向量机

softmax回归

Bagging算法与随机森林

boosting算法

高斯混合模型

隐马尔可夫模型

主动编码器

受限玻尔兹曼机

卷积神经网络

循环神经网络

生成对立网络

聚类算法,包含层次聚类、k均值算法、DBSCAN算法、OPTICS算法、EM算法、均值漂移算法、谱聚类

半监督学习,包含自练习、协同练习、生成模型、半监督支吴书晶持向量机、根据图的算法、半监督深度学习

强化学习,包含战略迭代算法、价值迭代算法、蒙特卡洛算法、时序差分算法、深度Q网络、战略梯度算法

在工程实践部分介绍了机器学习算法在工程运用时面对的问题与处理计划,包含

样本的搜集与标示

特征工程

算法与模型挑选

过拟合问题

安全性问题(对立样本)

核算与存储本钱问题

深度神经网络模型紧缩与优化

目录

全书由21章组成,共分为三大部分。第1~3章为榜首部分,介绍机器学习的基本原理、所需的数学知识(包含微积分、线性代数、概率论和优化办法),以及机器学习中的中心概念。第4~20章为第二部分,是本书的主体,介绍各种常用的有监督学习算法、无监督学习算法、半监督学习算法和强化学习算法。关于每种算法,从原理与推导、工程完成和实践运用3个方面进行解说,关于大多数算法,都配有试验程序。第21章为第三部分,介绍机器学习和深度学习算法实践运用时面对的问题,并给出典型的处理计划。此外,附录A给出各种机器学习算法的总结,附录B给出梯度下降法的演化联系,附录C给出EM算法的推导。

榜首部分 基本概念与数学知识

第1章机器学习简介3

1.1机器学习是什么3

1.1.1一个简略的比如3

1.1.2为什么需求机器学习5

1.2典型运用7

1.2.1语音辨认7

1.2.2人脸检测8

1.2.3人机对弈9

1.2.4机器翻译10

1.2.5主动驾驶11

1.3开展进程11

1.3.1前史成果11

1.3.2当时发展12

1.4关于本书13

参考文献15

第2章数学知识17

2.1微积分和线性代数17

2.1.1导数17

2.1.2向量与矩阵19

2.1.3偏导数与梯度21

2.1.4雅克比矩阵22

2.1.5Hessian矩阵23

2.1.6泰勒打开24

2.1.7行列式24

2.1.8特征值与特征向量25

2.1.9奇异值分化26

2.1.10二次型26

2.1.11向量与矩阵求导26

2.2最优化办法27

2.2.1梯度下降法27

2.2.2牛顿法28

2.2.3坐标下降法29

2.2.4拉迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿格朗日乘数法30

2.2.5凸优化30

2.2.6拉格朗日对偶34

2.2.7KKT条件36

2.2.8拟牛顿法37

2.2.9面对的问题38

2.3概率论39

2.3.1随机事情与概率39

2.3.2条件概率39

2.3.3随机变量40

2.3.4数学希望与方差41

2.3.5随机向量41

2.3.6最大似然估量42

参考文献43

第3章基本概念44

3.1算法分类44

3.1.1监督信号44

3.1.2分类问题与回归问题45

3.1.3判别模型与生成模型47

3.1.4强化学习47

3.2模型点评方针48

3.2.1精度与召回率48

3.2.2ROC曲线48

3.2.3混杂矩阵50

3.2.4穿插验证50

3.3模型挑选50

3.3.1过拟合与欠拟合50

3.3.2此情凝神差错与方差分化51

3.3.3正则化52

参考文献54

第二部分首要的机器学习算法与理论

第4章贝叶斯分类器57

4.1贝叶斯决议计划57

4.2朴素贝叶斯分类器58

4.2.1离散型特征58

4.2.2接连型特征59

4.3正态贝叶斯分类器59

4.3.1练习算法59

4.3.2猜测算法60

4.4试验程序61

4.5源代码剖析64

4.5.1首要数据结构64

4.5.2练习函数65

4.5.3猜测函数68

4.6运用70

参考文献71

第5章决议计划树72

5.1树形决议计划进程72

5.2分类与回归树73

5.3练习算法74

5.3.1递归割裂进程74

5.3.2寻觅最佳割裂74

5.3.3叶子节点值的设定77

5.3.4特点缺失问题77

5.3.5剪枝算法78

5.4试验程序79

5.5源代码剖析81

5.5.1首要数据结构81

5.5.2递归割裂84

5.5.3寻觅最佳割裂90

5.5.4寻觅代替割裂96

5.5.5变量的重要性99

5.5.6猜测算法100

5.6运用103

参考文献103

第6章k近邻算法104

6.1基本概念104

6.2猜测算法104

6.3距离界说105

6.3.1常用距离界说105

6.3.2距离衡量学习106

6.4试验程序107

6.5运用109

参考文献110

第7章数据降维111

7.1主成分剖析111

7.1.1数据降维问题111

7.1.2核算投影矩阵111

7.1.3向量降维114

7.1.4向量重构114

7.2源代码剖析114

7.2.1首要数据结构114

7.2.2核算投影矩阵115

7.2.3向量降维1迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿17

7.2.4向量重构117

7.3流形学习118

7.3.1部分线性嵌入119

7.3.2拉普拉斯特征映射119

7.3.3部分坚持投影122

7.3.4等距映射123

7.4运用124

参考文献124

第8章线性判别剖析125

8.1用投影进行分类125

8.2投影矩阵125

8.2.1一维的状况125

8.2.2推行到高维127

8.3试验程序128

8.4源代码剖析131

8.4.1首要数据结构131

8.4.2核算投影矩阵132

8.4.3向量投影135

8.4.4向量重构136

8.5运用136

参考文献137

第9章人工神经网络138

9.1多层前馈型神经网络138

9.1.1神经元138

9.1.2网络结构139

9.1.3正向传达算法140

9ab.2反向传达算法141

9.2.1一个简略的比如苏丹141

9.2.2完好的算法145

9.3试验程序149

9.4理论解说152

9.4.1数学性质152

9.4.2与神经体系的联系153

9.5面对的问题153

9.5.1梯度消失153

9.5.2退化154

9.5.3部分极小值154

9.5.4鞍点154

9.6完成细节问题154

9.6.1输入值与输出值154

9.6.2网络规划155

9.6.3激活函数155

9.6.4丢失函数156

9.6.5权重初始化156

9.6.6正则化156

9.6.7学习率的设定156

9.6.8动量项156

9.7源代码剖析157

9.7.1首要数据结构157

9.甜品7.2激活函数160

9.7.3权重初始化163

9.7.4练习函数164

9.7.5猜测函数177

9.8运用179

参考文献180

第10章支撑向量机182

10.1线性分类器182

10.1.1线性分类器概述182

10.1.2分类距离182

10.2线性可分的问题183

10.2.1木瓜奇观原问题183

10.2齐鲁医院.2对偶问题184

10.3线性不可分的问题187

10.3.1原问题187

10.3.2对偶问题187

10.4核映射与核函数190

10.5SMO算法193

10.5.1求解子问题193

10.5.2优化变量的挑选196

10.6多分类问题197

10.7试验程序198

10.8源代码剖析200

10.8.1求解算法201

10.8.2首要数据结构204

10.8.3求解器211

10.9运用222

参考文献223

第11章线性模型225

11.1logistic回归225

11.2正则化logistic回归228

11.2.1对数似然函数228

11.2.2L2正则化原问题229

11.2.3L2正则化对偶问题232

11.2.4L1正则化原问题233

11.2.5试验程序234

11.3线性支撑向量机236

11.3.1L2正则化L1loss SVC原问题236

11.3.2L2正则化L2loss SVC原问题237

11.3.3L2正则化SVC对偶问题237

11.3.4L1正则化L2loss SVC原问题238

11.3.5多类线性支撑向量机238

11.3.6试验程序240

11.4源代码剖析241

11.4.1求解的问题241

11.4.2首要数据结构241

11.4.3求解器249

11.5softmax回归262

11.6运用263

参考文献264

第12章随机森林266

12.1集成学习266

12.1.1随机抽样266

12.1.2Bagging算法267

12.2随机森林概述267

12.3练习算法267

12.4变量的重要性268

12.5试验程序269

12.6源代码剖析271

12.6.1首要数据结构271

12.6.2练习算法273

12.6.3猜测算法282

12.7运用282

参考文献283

第13章Boosting算法284

13.1AdaBoost算法简介284

13.2练习算法284

13.3练习差错剖析286

13.4广义加法模型288

13.5各种AdaBoost算法290

13.5.1离散型AdaBoost290

13.5.2实数型AdaBoost292

13.5.3LogitBoost292

13.5.4Gentle型AdaBoost294

13.6完成细节问题294

13.6.1弱分类器的挑选295

13.6.2弱分类器的数量295

13.6.3样本权重减少295

13.7试验程序295

13.8源代码剖析297

13.8.1首要数据结构297

13.8.2弱分类器300

13.8.3强分类器306

13.9运用——方针检测318

13.9.1VJ结构的原理319

13.9.2模型练习321

参考文献322

第14章深度学习概论324

14.1机器学习面对的应战324

14.1.1人工特征325

14.1.2机器学习算法326

14.2深度学习技能326

14.3发展与典型运用328

14.3.1核算机视觉329

14.3.2语音辨认331

14.3.3自然言语拔刀队之歌处理331

14.3.4核算机图形学332

14.3.5引荐体系332

14.3.6深度强化学习333

14.4主动编码器333

14.4.1主动编码器简介333

14.4.2去噪主动编码器334

14.4.3稀少主动编码器334

14.4.4缩短主动编码器335

14.4.5多层编码器335

14.5受限玻尔兹曼机335

14.5.1玻尔兹曼散布335

14.5.2受限玻尔兹曼机336

14.5.3练习算法338

14.5.4深度玻尔兹曼机339

14.5.5深度相信网339

参考文献339

第15章卷积神经网络347

15.1网络结构347

15.1.1卷积层348

15.1.2池化层351

15.1.3全衔接胡志明层351

15.2练习算法352

15.2.1卷积层352

15.2.2池化层355

15.2.3随机梯度下降法356

15.2.4搬迁学习357

15.3典型网络357

15.3.1LeNet5网络357

15.3.2AlexNet网络358

15.3.3VGG网络359

15.3.4GoogLeNet网络360

15.4理论剖析361

15.4.1反卷积运算361

15.4.2卷积层可视化362

15.4.3理论解说364

15.5应战与改善办法365

15.5.1卷积层365

15.5.2池化层365

15.5.3激活函数366

15.5.4丢失函数366

15.5.5网络结构366

15.5.6批量归一化370

15.6实践比如371

15.6.1LeNet5网络371

15.6.2练习自己的模型373

15.迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿7源代码剖析374

15.7.1Caffe简介374

15.7.2数据层376

15.7.3卷积层376

15.7.4池化层378

15.7.5神经元层378

15.7.6内积层384

15.7.7丢失层386

15.7.8网络的完成——Net类396

15.7.9求解器398

15.8运用——核算机视觉413

15.8.1人脸检测414

15.8.2通用方针检测416

15.8.3人脸要害点定位425

15.8.4人脸辨认425

15.8.5图画切割428

15.8.6边际检测429

15.8.7风格搬迁432

15.8.8图画增强433

15.8.9三维视觉435

15.8.10方针盯梢436

15.9运用——核算机图形学437

15.9.1几许模型438

15.9.2物理模型439

15.9.3纹路组成440

15.9.4图画五颜六色化441

15.9.5HDR442

15.10运用——自然言语处理444

15.10.1文本分类444

15.10.2机器翻译444

参考文献444

第16章循环神经网络450

16.1网络结构450

16.1.1循环层450

16.1.2输出层451

16.1.3一个简略的比如452

16.1.4深层网络452

16.2网络的练习453

16.2.1一个简略的比如453

16.2.2完好的算法455

16.3应战与改善办法457

16.3.1梯度消失457

16.3.2长短期回忆模型458

16.3.3门控循环单元459

16.3.4双向网络459

16.4序列猜测问题460

16.4.1序列标示问题460

16.4.2衔接主义时序分类迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿461

16.4.3序列到序列学习465

16.5运用——语音辨认467

16.5.1语音辨认问题467

16.5.2隐马尔可夫模型468

16.5.3高斯混合模型474

16.5.4GMM-HMM结构475

16.5.5深度模型475

16.6运用——自然言语处理478

16.6.1中文分词479

16.6.2词性标示480

16.6.3命名实体辨认480

16.6.4文本分类481

16.6.5主动摘要483

16.6.6机器翻译483

16.7运用——机器视觉485

16.7.1字符辨认485

16.7.2方针盯梢486

16.7.3视频剖析488

参考文献490

第17章生成对立网络494

17.1随机数据生成494

17.2生成对立网络简介495

17.2.1生成模型495

17.2.2判别模型496

17.3模型的练习496

17.3.1方针函数496

17.3.2练习算法497

17.3.3理论剖析498

17.4运用与改善499

17.4.1改善计划500

17.4.2典型运用503

参考文献505

第18章聚类算法506

18.1问题界说506

18.2层次聚类507

18.3根据质心的算法507

18.4根据概率散布的算法508盖世武尊

18.5根据密度的算法512

18.5.1DBSCAN算法512

18.5.2OPTICS算法514

18.5.3Mean Shift算法516

18.6根据图的算法517

18.7算法点评方针518

18.7.1内部方针518

18.7.2外部方针518

18.8寝取村之牢房兴事运用519

参考文献519

第19章半监督学习521

19.1问题假定521

19.1.1接连性假定521

19.1.2聚类假定521

19.1.3流形假定521

19.1.4低密度切割假定521

19.2启发式算法522

19.2.1自练习522

19.2.2协同练习522

19.3生成模型522

19.4低密度切割523

19.5根据图的算法523

19.6半监督深度迈凯轮,根据机器学习算法是最有用的一种办法,机器学习无捷径!,乐基儿学习524

参考文献525

第20章强化学习527

20.1强化学习简介527

20.1.1问题界说527

20.1.2马尔可夫决议计划进程528

20.2根据动态规划的算法53薛瑞众2

20.2.1战略迭代算法532

20.2.2价值迭代算法534

20.3蒙特卡洛算法535

20.3.1算法简介535

20.3.2状况价值函数估量536

20.3.3动作价值函数估量537

20.3.4蒙特卡洛操控537

20.4时序差分学习538

20.4.1Sarsa算法538

20.4.2Q学习539

20.5深度强化学习540

20.5.1深度Q网络541

20.5.2战略梯度算法544

20.6运用547

参考文献547

第三部分工程实践问题

第21章工程实践问题概述551

21.1完成细节问题551

21.1.1练习样本551

21.1.2特征预处理552

21.1.3模型挑选552

21.1战旗直播.4过拟合问题552

21.2安全性问题553

21.2.1对立样本553

21.2.2构成原因剖析555

21.3完本钱钱问题556

21.3.1练习样本量556

21.3.2核算与存储本钱556

21.4深度模型优化557

21.4.1剪枝与编码557

21.4.2二值化网络558

21.4.3卷积核别离562

参考文献563

附录A各种机器学习算法的总结565

附录B梯度下降法的演化联系(见第15章)569

附录C EM算法的推导(见第18章)570

下面是小橘为初学者们预备的python电子书籍材料和python入门教程!

请重视+私信小橘回复:“学习,”就能够拿到一份橘子为我们预备的Python学习材料!