Deep Learning - Perceptron Learning Algorithm

Perceptron Learning Algorithm, PLA

透過 PLA 找到一條直線，分開 positive 和 negative examples
也就是找到一條

更新直線方法：

當 y 不等於 ŷ 時，更新 w 和 b，否則不更新

Sign Function

這裡的 sign function 是 activaction function
可以參考我的筆記 Deep Learning - Activation Function

當 n 大於 0 時，sign(n) = 1
當 n 小於 0 時，sign(n) = -1

Example

Example	x1	x2	Class
1	1	0	-1
2	1	1	1
3	-1	-1	-1

Perform PLA’s first epoch

做一個世代，每一個 example 都要更新一次

Example 1

將 Example 1 帶入

因此須更新 w

Example 2

將 Example 2 帶入

用 Example 1 更新的 w 來計算

因此須更新 w

Example 3

將 Example 3 帶入

用 Example 2 更新的 w 來計算

因此不須更新 w

此時第一個世代更新完畢

Problem

PLA 只能處理線性可分割的問題
線性不可分割例子：

Reference

• Hundred-Page Machine learning Book by A. Burkov
• 記筆記順便練習 語法
• 語法筆記