Deep Learning - Neural Network, Feed-Forward Neural Network Architecture

Deep Learning - Neural Network, Feed-Forward Neural Network Architecture

LAVI
  2022-09-15 2022-09-15 Created   2024-09-11 2024-09-11 Updated      

Parameters vs Hyperparameters

  • Parameters
    • Weight
    • bias
  • Hyperparameters
    • Learning rate
    • epoch
    • layer
    • hidden unit
    • activation function
    • mini-batch size
    • regularization
    • …

Neural Network


圖片來源

多層神經網路
接收輸入的 layer 稱為輸入層
最後的輸出 layer 稱為輸出層
輸入層和輸出層之間任何一層都稱為隱藏層（輸出層也是隱藏層）

芝士，與你分享

在參數量相同的時候，高瘦的模型比矮胖的模型，Error Rate 要低
因此，使用高瘦的模型更好，深的模型，深的 network 更好

Feed-Forward Neural Network Architecture

神經網路的最後一層通常只有一個 unit

若此 unit 的 activation function 如果是 liner function，那此神經網路就是一個 regression model
若此 unit 的 activation function 如果是 logistic function，那此神經網路就是一個 binary classification model

簡單來說

Regression Classification
Activation function Liner function Logistic function
Label Numeric Categorical
y 連續的 不連續的

Reference

On this page
Deep Learning - Neural Network, Feed-Forward Neural Network Architecture
  1. Parameters vs Hyperparameters
  2. Neural Network
  3. Feed-Forward Neural Network Architecture
  4. Reference