1. 인공지능/(3) Optimization, 기본수학5 Linear vs Affine Transformation 선형변환과 아핀변환에 대한 고찰 (Linear & Affine Transformation) | Hooni's Playground아핀변환을 정리하는 차원에서 글을 써본다. 선형변환 (Linear Transformation) 고등학교에서부터 배우는 내용이다. 선형변환은 스칼라 a와 벡터 u, v에 대해 두 벡터 공간(U, V) 사이에서 다음 조건을 만hooni-playground.com 머신러닝에서 자주 볼 수 있는 affine 변환. y = Wx +k 선형변환은 f(a+b) = f(a) + f(b) 를 만족하마 Affine 변환은 f(a+b) = f(a) + f(b)를 만족하지 못함 Affine 변환에서,f(a) = Wa + kf(b) = Wb + kf(a) + f(b) = W(a+b) + 2k반면 f(a.. 2024. 8. 26. PSO 최적화 PSO의 경우 Gradient 정보를 활용하지 않아서 비선형적인 제어에 활용되기 좋음 PSO는 random하게 여러개로 Seed를 만들고 속도도 랜덤으로 부여함 그 다음 x+1 로 전진하고, 각각의 best와 global best를 뽑고 각각의 best와 global best로의 방향을 조합해서 다음 방향을 정함 이 과정을 반복 수렴 조건은 ? personal 및 global best 변화가 없을 때 아닐까 2024. 8. 20. SQP(Sequential Quadratic Programming) 최적화 1. SQP란?SQP란 sequential quadratic programming의 약자로, 복잡한 문제를 2차 계획 문제로 근사하여 순차적으로 풀어내는 최적화 방법(1) 2차 계획문제로 만든 후 (search direction dk를 구함)(2) Direction은 구했으니, 제약조건을 목적함수에 penalty function 형식으로 올림(3) (1)에서 구한 search directin에, Penalty Function이 반영된 목점함수를 최소화 하는 step size를 찾음 (golden section method 등)(4) 이를 계속 반복함CSD는 2차 계획 문제에서 Hessian Matrix를 Identity Matrix로 가정 (이러면 x1 x2의 2개 변수라면 원형이 나옴)* Constra.. 2024. 8. 3. non-linear 함수의 최적화가 어려운 이유와 해법 Non-linear 최적화 특히, 제한조건까지 있는 최적화 문제는 local optimum을 가질 수 있어서 최적화가 어려워 (global을 찾으려면 여러번 random하게 새로 시작해야 함)수치적으로도 불안정하기 때문에 여러가지 계산 및 알고리즘을 적용해야 함 비선형문제를 푸는 방법들 -> Gradient Based Method (Newton's 등)대표적으로 변수들을 2차 함수로 근사하고 제약조건은 1차 함수로 근사하는 SQP가 많이 사용됨.- SQP의 경우 1차 함수로 근사한 제약조건을 라그랑지 승수를 활용해 목적함수에 올림위상최적화에 사용되는 MMA(Method of Moving Asymptotes) 기법은 SQP와는 조금 다름- MMA는 목적함수를 2차함수로 근사하고, 제약조건도 2차 함수로 .. 2024. 8. 3. 이전 1 2 다음
