類神經網路 倒傳遞法 back propagation

倒傳遞法是一個很舊的東西，但講的類神經網路訓練，就非得提到他。我們也來理解倒傳遞原理。
























如上圖，是一個兩個隱藏層的網路。我們的標示法是字母右上角代表第幾層。字母右下角是連線的索引。每個神經原包含 g 跟 a。a是g經過activation function的結果。
如果activation function是sigmoid表示如下，
因為不同網路會選擇不同的activation function因問題與網路會有所不同，我們都以

來表示。

最右邊的神經元是輸出神經原。w為連線的權重。到這裡，我們可以了解當我們在這個網路上輸入X與Y，就會得到一個輸出，
每一次輸出，我們都會想要得到一個差異值，這個差異值代表輸出離我們的目標有多遠。假設我們的目標值為A。那差異就是

我們取平方值可以不用理會差異的正負，1/2是為了微分時方便。有人說不要1/2可以嗎？當然也可以，只是之後推導不方便。我們總要輕鬆的去想一些事情，常數項只要不影響結果，可以想辨法拿掉就拿掉，這是一個技巧。

我們訓練網路，無非就是想要得到各連線的w，用數值的方法，我們可以每次只變化一個權重，觀察輸出往大或小移動。就可以了解這個權重如何影響輸出。把每個權重對輸出的影響都畫成圖，就可以找到讓輸出最接近理想值的權重了。但這樣其實很耗時間。這是今天為什麼需要演算法的原因之一。我們可以寫一個沒有效率的廻圈來算1加到100，也可以像高斯觀察到把數列反序寫，跟原本數列一個一個相加，全都是101，近而產生梯形公式。當然，只要運算能力夠強大，就都不是問題。偏偏人們思考的問題，以目前的科技，運算能力總是不夠強大。
所以我們想了解每一個連線權重對Err的影響，就要用微分。如果我們想知道第二個隱藏層第一個神經原的第一條連線與Err的關係如下

 如果我們想知道輸入x的神經原的第一條連線與Err的關係如下
微分也就是斜率，斜率為正，就代表權重變大，會讓Err變大。斜率為負，就代表權重變大Err會變小。所以只要知道每一條連線相對Err的微分，就可以有效率的調整權重的方向了。這樣是不是比數值方法快許多！

接下來我們推導一下
使用 Chain Rule















這樣我們就得到第二個隱藏層第一個神經原的第一條連線與Err的關係。
我們來一個難一點的







終於


以上，我們以單條權重來看差異的微分值，這樣是不是好理解許多？當然，專家們都是用矩陣操作的方法來理解跟計算這個過程。如果用python 的 numpy或是matlab的人更要如此。如果覺得這個方法太數學，或許我們可以尋找基因演算法來得到相同的結果。


留言

張貼留言

這個網誌中的熱門文章

python 找圖自動點擊

需要 import 這幾個 module import cv2 import numpy as np import pyautogui import time 滑鼠點擊 def click_image(image,pos,  action, timestamp,offset=5):     img = cv2.imread(image)     height, width, channels = img.shape     pyautogui.moveTo(pos[0] + offset, pos[1] + ,offset, timestamp)     pyautogui.click(button=action) 圖片尋找 def imagesearch(image, precision=0.8):     im = pyautogui.screenshot()     img_rgb = np.array(im)     img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)     template = cv2.imread(image, 0)     template.shape[::-1]     res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)     min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)     if max_val < precision:         return [-1,-1]     return max_loc #返回圖片座標 使用方式 if __name__ == '__main__':     pp =imagesearch("./1.png") #尋找1.png的圖。(把圖跟程式放同一個目錄下)     click_image("./1.png", pp, "left", 1) #要點右鍵的話，就把"left"改成 "
閱讀完整內容

Python pyserial 抓取系統內的 COM PORT

讀取COM1的資料，再把讀到的資料寫入一個 the_com1.txt的檔案中。 import serial def connectCom(): ser = serial.Serial("COM1", 19200) print ser.port while 1: f = open( 'the_com1.txt','a') sline = ser.readline() time1=datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') out10=time1,"COM1",sline.strip() f.writelines(str(out10)) f.writelines("\n") f.close() 如果我們不知道到底有那一些COM PORT可以讀呢？可以藉由以下的片段來得知目前有哪一些COM PORT存在。 import serial def serial_ports(): p = ['COM%s' % (i + 1) for i in range(256)] rlt = [] for port in p: try: s = serial.Serial(port) s.close() rlt.append(port) except (OSError, serial.SerialException): pass return rlt
閱讀完整內容

VBA EXCEL 工作表變化 馬上執行 的作法 Worksheet_Change

圖片
沒想到還會用到 Excel 中的 VBA，當初寫VBA就是一段窮極無聊的日子，用Excel寫星象表… 現在居然要幫一位老大哥寫這樣的程式…當真所有的事，當下是很難知道它發生的意義是什麼… 癈話不多說 先開啟EXCEL，存成副檔名為xlsm，這樣可以使用巨集功能。 然後看一上面，標籤列，有無開發人員選項。 如果沒有，從 檔案->選項->自定功能區->開發人員(打勾) 如果有，點擊 visual basic，就可以開始寫VBA 我們的目的是這樣的，如果 worksheet中有任何的更動，都會執行一段程式。 所以我們先點擊左邊的工作表1，然後右邊的程式編輯欄中上面的選擇列中，選worksheet。要記得這個設定是 對應到個別的worksheet ，所以如果有其它工作表，要個別寫對應的程式。如下 接下來選右邊的change 選完就會自動產生兩個程式名。 Worksheet_Change與 Worksheet_SelectionChange，如下。Worksheet_Change是指任何在worksheet 上的變動，就會執行這個程式。Worksheet_SelectionChange是指，選定EXCEL中的格有變化，如本來選A1改點擊了B1，這個動作就會觸發Worksheet_SelectionChange。 我們在兩個程式中寫一個MsgBox, 如下 各位可以試試效果如何。只要點擊左上方，excel的小圖，就會回到excel的worksheet中。 我們在 Worksheet_Change中增加三行程式，會在A1, A2, A3格中填入a, b, c。 各位是否有推論，這樣的寫法，會產生無窮迴圈？ 這個很重要！在寫 Worksheet_Change程式時，要很小心，如果是 工作表1自己的 Worksheet_Change要對工作表1自己做改變，就會進入無窮迴圈。 所以我們要能自由的開關觸發功能。用   Application.EnableEvents  我們加入  Application.EnableEvents ，再試試看。  如此這般。
閱讀完整內容