최적제어는 노이즈가 없다는 가정 하에서 아래와 같이 두 가지 방식으로 해결 가능
1) Pontryagin minimum principle (PMP) 상미분 방정식
2) Hamilton Jacobi Bellman (HJB) 방정식
PMP는 Wiener 노이즈가 존재한다는 가정하에 확률미분방정식으로 정형화 가능, 그러나 경계조건 문제 존재ㅏ.
HJB는 수치해석적으로 문제를 풀 수 있으나, 차원의 저주 문제를 해결해야 함
MPPI는 Path Integral 방법을 활용하기 때문에, GPU를 이용해 병렬적으로 계산 가능
--------
1. Path integral control
- 편미분 방정식인 HJB은 exponential transform과 feynman-Kac 식을 이용해 Path integral 형태로 변환 가능
동역학 모델 기반 상태방정식은 아래와 같다.
dx = (f(xt,t) + G(xt,t) u(xt,t))dt + B(xt,t)dw
최적제어를 위한 cost function을 V(xt,t)로 정의.
그러나 V(xt,t)는 비선형 PDE이며, 차원의 저주 문제가 있기 때문에 선형 및 path integral 방식으로 변환하는 것이 효율적
Feynman-Kac식을 이용하면 선형 PDE를 Path integral 문제로 바꿀 수 있음
그래서 V(xt,t)를 exponential transform를 통해 선형으로 바꿔주면 V(x,t) = -람다 log(phi(x,t))
-> 결과적으로 MPPI의 수식이 나옴
2. Importance Sampling
효율적으로 기댓값을 추정하기 위해 고안됨.
확률밀도추정, 강화학습 등의 분야에 활용 중
기댓값을 계산하고자 하는 p(x)의 pdf를 알고 있지만 p에서 샘플 생성이 어려울 때비교적 샘플 생성이 쉬운 q(x)에서 샘플 생성 후 p에서의 기댓값을 계산하는 방법
3.