深度学习入门之PyTorch学习笔记

绪论1 深度学习介绍2 深度学习框架2.1 深度学习框架介绍2.1.1 TensorFlow2.1.2 Caffe2.1.3 Theano2.1.4 Torch2.1.5 MXNet2.2 PyTorch介绍2.2.1 什么是PyTorch2.2.2 为何要使用PyTorch2.3 配置PyTorch深度学习环境参考资料

绪论

深度学习如今已经称为科技领域最炙手可热的技术，帮助你入门深度学习。本文从机器学习与深度学习的基础理论入手，从零开始学习PyTorch以及如何使用PyTorch搭建模型。学习机器学习中的线性回归、Logistic回归、深度学习的优化方法、多层全连接神经网络、卷积神经网络、循环神经网络、以及生成对抗网络，最后通过实战了解深度学习前沿的研究成果。将理论与代码结合，帮助更好的入门机器学习。

1 深度学习介绍

https://hulin./article/details/107733777

2 深度学习框架

2.1 深度学习框架介绍

在深度学习的初级阶段，每个深度学习研究者都需要写大量的重复代码。为了提高工作效率，这些研究者就将代码写成一个框架，放在网上供所有研究者一起使用，最好用的几个框架被大量使用而流行起来。

2.1.1 TensorFlow

Google开源的TensorFlow是一款使用C++语言开发的数学计算软件，使用数据流图（Data Flow Graph）的形式进行计算。图中的结点代表数学运算，图中的数组表示多维数组（Tensor）之间的交互。TensorFlow灵活的架构可以部署在一个或多个CPU和GPU服务器中，或者使用单一的API应用在移动设备中。TensorFlow是目前全世界使用人数最多、社区最为庞大的一个框架，维护与更新较频繁，并且有Python和C++的接口，很多论文的复现都是基于TensorFlow写的。目前有很多基于TensorFlow的第三方抽象库，将TensorFlow的函数进行封装，使其变得简洁，比较有名的有：Keras，Tflearn，tfslim，TensorLayer。

2.1.2 Caffe

Caffe由加州大学伯克利的贾扬清所开发，是一个清晰而高效的开源深度学习框架，目前由伯克利视觉中心维护。Caffe对于卷积网络的支持特别好，也是用C++开发的，但并没有提供Python接口，目前只提供了C++的接口

2.1.3 Theano

Theano于诞生于蒙特利尔理工学院，派生出大量的深度学习的python软件包，最著名的包括Blocks和Keras。Theano的核心是一个数学表达式的编译器，是为机器学习中处理大型神经网络算法所需的计算而专门设计的。

2.1.4 Torch

Torch是一个有大量机器学习算法支持的科学计算框架，其诞生已经有十年之久，但是真正起势得益于FaceBook开源了大量Torch的深度学习模块和扩展。Torch的特点在于特别灵活，但是另外一个特殊之处在于采用了Lua编程语言，增加了学习Torch框架的成本。PyTorch的前身是Torch，其底层和Torch框架一样，但使用Python重写了很多内容，不仅更加灵活，支持动态图，也提供了Python接口。

2.1.5 MXNet

MXNet是亚马逊的官方框架，作者是李沐，有着非常好的分布式支持，性能特别好，占用显存低，其开放的语言接口有Python、C++、R、Matlab、JavaScript等。

2.2 PyTorch介绍

2.2.1 什么是PyTorch

PyTorch与Torch的不同之处在于使用了Python作为开发语言，不仅能够实现强大的GPU加速，同时还支持动态神经网络，现在很多主流框架（如TensorFlow等）都不支持。PyTorch既可以看作是加入GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。

2.2.2 为何要使用PyTorch

掌握一个框架并不能一劳永逸，现在深度学习并没有谁拥有绝对的垄断地位，只学习TensorFlow是不够的。TensorFlow和Caffe都是命令式的编程语言，而且是静态的，首先必须构建一个神经网络，然后一次又一次的使用同样的结构。如果想要改变网络的结构，就必须从头开始。但是对于PyThorch，通过一种反向自动求导技术，可以零延迟的改变神经网络结构，获得最高的速度和最佳的灵活性。PyTorch的设计思路是线性、直观且易于使用的，不会再Debug的时候，因为错误的指向或者异步和不透明的引擎浪费太多的时间。PyTorch的代码相对TensorFlow而言，更加简洁直观。同时对于TensorFlow高度工业化的很难看懂的底层代码，PyTorch的源代码较友好。PyTorch的特点。

（1）支持GPU。

（2）动态神经网络。

（3）Python优先。

（4）命令式体验。

（5）轻松扩展。

2.3 配置PyTorch深度学习环境

https://hulin./article/details/107764754

参考资料

廖星宇《深度学习入门之PyTorch》电子工业出版社