Gradient Descent with Large Datasets
Learning With Large Datasets
Stochastic Gradient Descent
대용량 데이터를 다룰 때 계산을 빠르게할 방법이 필요합니다. Gradient descent 의 문제는
Mini-Batch Gradient Descent
Stochastic gradient descent 와 batch gradient descent (오리지널 gradient descent) 의 사이의 방식이다. Stochastic gradient descent 에서 한 개의 데이터를 선택하는 것이 아니라,
Stochastic Gradient Descent Convergence
수렴하는지를 확인하는 방법은 cost 를 그래프에 그려보는 것이다. Iteration 숫자가 늘어남에 따라서 감소하면 수렴하는 것으로 볼 수 있다. 하지만, iteration 이 늘어남에 따라 cost 값이 증가하면 값을 늘려야 한다.
Advanced Topics
Online Learning
예를 들어, 웹사이트 같은 곳에서 유저에 대해서 지속적으로 이해하게 되는 것이다. 유저의 새로운
Map Reduce and Data Parallelism
하나의 머신이 아니라 여러 개의 머신에서 계산을 할 수 있는 방법에 대해서 다룹니다. 데이터를 나눕니다. 예를 들어, 첫 번째 100개의 데이터로