機器學習數學凸優化之梯度下降
在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降（Gradient Descent）是最常采用的方法之一，另一種常用的方法是最小二乘法。這里就對梯度下降法做一個完整的總結。1. 梯度在微積分里面，對多元函數的參數求?偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度。比如函數f(x,y), 分別對x,y求偏導數，求得的梯度向量就是(?f/?x,?f/?y)T,簡稱grad f(x,y)或者▽f(x,y)。對于在點(x0,y0)的具體梯度向...
機器學習數學之凸優化學習
凸優化理論本身非常博大，對于廣大僅僅想要了解一下機器學習或者深度學習的同學來說，稍微了解一點凸優化也就夠了。器學習簡單來說，主要做的就是優化問題
機器學習數學之凸函數
凸函數沒有一個統一的定論,凸函數的定義一直是個模棱兩可的概念，機器學習中說的凸函數通常指的是下凸
機器學習數學之凸集，仿射集
空集、點、整個空間都是仿射（affine），因此也是凸（convex）
機器學習中常見數學概念
機器學習中常見數學概念