機器學習中的一些方法(PPT 55頁)

線性回歸和梯度下降法
Logistic回歸
高斯混合模型和ＥＭ算法
機器學習中的一些方法
主要內容
線性回歸
舉個例子
形式化描述
訓練集
inputvariables
每個是n維的向量
outputvariables
第i個訓練樣本:
學習函數
使得對一個新的輸入x，能得到對應的目標值
一種求解方法
求出的梯度
函數在極值處梯度為0，
分別對求導
求矩陣的逆複雜度一般是O(n3)
梯度下降
損失函數
一般流程
首先對θ賦值，這個值可以是隨機的，也可以讓θ是一個全零的向量。
改變θ的值，使得J(θ)按梯度下降的方向進行減少，直到收斂
求解
GradientDescentAlgorithm
適用於無約束優化問題，目標函數有一階導數，精度要求不很高的情況
迭代終止準則
根據兩次迭代的絕對誤差
根據目標函數梯度的模足夠小
卷積神經網絡
..............................