Chapter 4 학습원리
Inversion problem
베이지안 기법 \(p(\theta \mid X) = \dfrac{p(X \mid \theta) p(\theta)}{\int p(X \mid \theta) p(\theta) d\theta}\)
Intractability
이론은 이론이고 실제로 저거 계산 못함. exact, grid, approximation 이렇게 있는데 당신의 문제는 approximation 만 있다고 봐야. 그래서 근사 기법을 활용해야 함. Conditioning 과 Optimisation 이 있음
Conditioning vs Optimisation
각각 긍정적인 예측과 부정적인 예측의 차이
다르게 이해할 수 있습니다.
데이터에 모델을 훈련 condition 시키느냐 이건 condition 데이터에 모델을 최대한 끼워넣느냐 이건 Optimisation 이 접근 방법은 완전히 다릅니다. 장단점 존재.
Conditioning
혹은 fully bayesian
Sampling (MCMC) and analytic proxy (VB)
Optimisation
MAP 계열
Gradient descent (GD)
Stochastic gradient descent (SGD)