原文出处：Introduction to Neural Networks 原作者：Microsoft · 许可证：MIT License 中文译本由诸葛AI学院整理，仅供学习参考，版权归原作者与微软所有。

神经网络入门

先说一个词：神经网络（neural network）。开篇引言部分讲过，实现智能的路子里，有一条是训练一个计算机模型（computer model），也就是一颗"人造大脑"。从二十世纪中期开始，研究者试了各种数学模型，到了近几年，这条路线被证明极为成功。这类大脑的数学模型，就是神经网络。

有时人们会把神经网络称作人工神经网络（Artificial Neural Network，缩写 ANN），目的是说清楚：我们讨论的是模型，不是真实的神经元网络。

原文此处有一张手绘涂鸦，是对本章内容的视觉小结，本站为纯文字版，已略去。

机器学习

神经网络（neural network）属于一门更大的学科，叫机器学习（Machine Learning），目标是利用数据训练出能解决实际问题（problem solving）的计算机模型。机器学习占了人工智能（AI）很大的比重，不过 classical ML（经典机器学习）不在本课程的覆盖范围内。

想进一步了解经典机器学习，可以参观我们另一套独立课程 Machine Learning for Beginners。

在机器学习里，我们假设手上有一批样本数据 X，以及与之对应的输出值 Y。样本常常是 N 维向量，由一个个特征（feature）组成；输出则被称为标签（label）。

机器学习问题最常见的有两类，我们只讲这两类：

• 分类（classification）：把输入对象归入两个或更多类别中的一个。
• 回归（regression）：为每个输入样本预测一个数值。

把输入和输出表示成张量（tensor）时，输入数据集是一个 M×N 的矩阵，M 是样本数量，N 是特征数量。输出标签 Y 是一个长度为 M 的向量。

本课程里，我们只关注神经网络这一类模型。

神经元模型

生物学告诉我们，人脑由神经细胞（神经元，neuron）组成。每个神经元有多个"输入"（树突，dendrite）和一个"输出"（轴突，axon）。树突和轴突都能传导电信号，它们之间的连接叫突触（synapse），导电程度可以变化，由神经递质调节。

原文此处并排放了两张图：左边是真实神经元的示意（来自 Wikipedia，图片链接），右边是人工神经元的示意（原作者自绘），纯文字版已删去。

照这个思路，最简单的神经元数学模型包含若干输入 X₁, ..., X_N、一个输出 Y，以及一列权重 W₁, ..., W_N。输出按下式计算：

Y = f(∑ᵢ₌₁ᴺ XᵢWᵢ)

其中 f 是某个非线性的激活函数（activation function）。

最早的神经元模型写在 1943 年 Warren McCullock 和 Walter Pitts 的经典论文 A logical calculus of the ideas immanent in nervous activity 里。Donald Hebb 则在著作 "The Organization of Behavior: A Neuropsychological Theory" 中提出了训练这类网络的方法。

本节内容

本节将学习：

• 感知机（perceptron）：最早的神经网络模型之一，用于两类分类。
• 多层网络，配套笔记本 如何搭建我们自己的框架。
• 神经网络框架，配套笔记本：PyTorch 和 Keras/Tensorflow。
• 过拟合（overfitting）