MPPI 제어를 이해하기 위한 배경지식

Affine Transformation
: 선형곱에 bias를 추가하는 Wx+b 변환 방식

HJB(Hamilton-Jacobi-Belman theory)

마르코프 체인 (Markob Chain)
: 시간이 지남에 따라 현재 상태가 다른 상태로 변화는 과정을 확률로 표현

몬테카를로 시뮬레이션
: 난수를 이용해 복잡한 문제를 근사적으로 해결하는 방법
: 전체적인 절차는 (1) 랜덤 입력값의 확률 분포 선정, (2) 모델에 입력값 투입, (3) 계산 결과를 해석하여 원하는 값 도출
: 예를들어 랜덤 입력을 넣어서 최적해 추정, 원 넓이 추정 등
: 입력값의 범위와 분포, 랜덤 샘플의 개수 등을 잘 설정하는 것이 중요

Importance Sampling
: 샘플링의 효율을 높이기 위해 관심(importance) 영역에서 더 많은 샘플을 생성하는 기법
: 원래 분포 대신 다른 분포에서 샘플링을한 이후, 차이 보정을 위해 가중치를 적용해 기대값을 추정
: 주로 베이지안 추정, 회귀 사건의 추정에서 활용


상대 엔트로피 (Relative Entropy)
a.k.a KL divergence (Kullback-Leibler)
: 두 확률분포 사이의 차이를 측정하는 방법
: P, Q 두 확률분포가 얼마나 다른지를 측정하는 방법으로, 값이 발산할수록 차이가 큰 것
: ex) P가 참인 확률분포인데, Q를 비교해보고자 하면 DKL(P||Q)로 계산 (Q||P 와는 비대칭)
: 다르게 해석하면, 모델 P 대신 모델 Q를 사용하면 정보의 손실이 크다고 볼 수 있음

확률변수와 분포
: 확률변수는 주사위의 숫자
: 확률분포는 주사위를 던졌을 때 해당 숫자가 나올 확률

기대값 (Expected Value)
: 확률 변수가 가질 수 있는 모든 값들의 가중 평균
: 이산 확률이라면 확률 변수 x 확률의 합
: 주사위라면 1*(1/6) + 2*(1/6)....