Sunwoo Kim's Computer Vision, Machine & Deep Learning Blog search

Signals and Systems-2. 푸리에 급수(Fourier Series)

|

푸리에 급수(Fourier Series)

지난 시간에 컨볼루션(Convolution)에 관해서 배웠다. 컨볼루션은 입력함수x단위임펄스함수의 합, 즉 급수(Series)였다. LTI시스템을 가정했을 때, 우리는 단위임펄스함수(입력함수)에대한 시스템의 임펄스응답(출력함수)를 앎으로, LTI시스템의 Superposition성질을 이용하여 입력함수를 단위임펄스함수를 이용하여 단위임펄스함수외의 다른 입력함수들의 출력함수 및 출력값을 간단하게 구할 수 있는 역할을 하였다.

오늘은 또다른 급수를 배운다. 그게 바로 푸리에 급수다. 푸리에 급수는 신호 도메인의 테일러 급수와 라고 할 수 있다. 테일러 급수는 f라는 함수를 다른 다양한 함수의 함을 통하여 근사시켜 표현한다. 이렇게 표현하면, 다항함수로 표현되어 미분 적분 및 다른 연산이 용이해진다는 장점이 있었다. 푸리에 급수는 테일러급수가 어떤 함수를 다른 함수를 통하여 근사시켜 표현한다면, 푸리에 급수는 입력신호 를 다른 신호의 합으로 근사시켜 표현하는 것이다.

복잡한 신호 = 단순한 신호1 + 단순한신호2 + ... + 단순한 신호n

그렇다면 여기서 말하는 단순한 신호는 무엇일까? 우리가 1장에서 배웠던 삼각함수로 구성된 오일러함수(Euler Function) 이다. 즉 복소평면까지 다룬 삼각함수의 합이라고 생각하면 된다.

입력 신호(S$_in$) = $ ... + c_{-2}e^{j(-2\omega_0)t} + c_{-1}e^{j(-1\omega_0)t} + c_0 + c_{1}e^{j(1\omega_0)t} + c_{2}e^{j(2\omega_0)t} + ... + c_{k}e^{j(k\omega_0)t}$

여기서 다시 한 번 오일러 함수를 복습해보자.

위 오일러 함수는 크기가 A인 오일러 함수이다. 그 때,

$A(f_e) = Ae^{j\theta} = A(cos(\theta) + jsin(\theta))$ 로 표현된다.

이 때 봐야할게 두 가지가 있다. 첫 번째는 바로 $\omega_0 $다. $\omega_0 = 2\pi f$라고 해보자. 여기서 $\pi$는 원주율을 의미하고, $f$는 주파수(frequency)를 의미한다. 그럴 때 오일러 함수를 다시 생각해보자. $f=1hz$라고 하면, $\omega_0 = 2\pi$가 된다. 이 뜻은 **오일러 함수의 주기가 $2\pi/sec$ 라는 것이다. 왜냐하면 $t=1sec$일 때, $\theta=2\pi$가 됨으로, 한 바퀴를 돌았다는 뜻이 되기 때문이다. 그렇다면 $f=2hz$일 때에는 어떻게 될까? $\omega_0 = 4\pi$ 그리고 $t=0.5sec$ 일 때, $\theta=2\pi$ 가 됨으로 0.5초에 한 바퀴를 돌았다는 뜻이 된다. 즉 주기가 $2\pi/0.5sec$ 로 두 배 빨라졌다.

두 번째로, $k$ 를 집중해서 봐보자. $k$를 보았을 때, 어떤 공통점이 있을까? 우선 정수(Integer)라는 것이다. 그리고 차수가 입력함수의 주기의 배수(입력:$2\pi$, 더해지는 함수들의 주기: $(1/2n) \pi$, $(k=2n\pi)$ )로 이루어 져야 한다. 이런 항의 합으로 이루어진 급수를 하모닉스(harmonics)라고 한다. 그렇다면 하필 실수가 아닌 정수만의 합으로 표현이 될까? 사실 실수여도 아무 상관이 없다. 하지만 그럴 필요가 없기 때문이다. 무한개의 개수의 항으로 표현된다고 한다면, 정수만으로 표현을 하여도 충분히 근사시킬수 있기 때문에, 실수와 정수를 동시에 사용하여 복잡하게 표현할 필요도 없고 불필요하게 계산량을 늘릴 필요도 없기 때문이다.

그런데 여기서 또 하나 의문이 드는 점이 생긴다. 오일러 함수는 복소함수이다 즉, 실수와 허수값이 모두 존재하는데 실제로 이런 신호는 존재하지 않는다. 실수항만 남겨서 신호를 표현해야 하는데 그러면 이 신호를 어떻게 표현해야 할까? 그것은 바로 간단하게 덧셈을 이용하면 된다.

$e^{j\theta} + e^{-j\theta} = cos(\theta) + jsin(\theta)+ cos(\theta) - jsin(\theta) = 2cos(\theta)$

벡터공간(Vector space)

갑자기 웬 벡터? 라는 생각이 들 것이다. 관련이 있으니 다음 내용을 같이 살펴보자. 우선 벡터공간(Vector space)란 무엇일까? 바로 아래의 8가지 공리를 만족시킨다면 무엇이든지 벡터공간이라고 할 수 있다.

우리가 흔히 아는 벡터는 방향성을 가지고 화살표로 표현되는 애들, 혹은 매트릭스로 표현되는 것들 뿐만이 아니다. 벡터 공간에 속하는 모든 것은 벡터라고 할 수 있는 것이다.

그렇다면 이제 이렇게 생각해보자. 어떤 빈 공간A가 있다. 그리고 우리는 임의로 크기와 주기가 다른 오일러 함수들을 저 공간A로 모두다 집어 넣을 것이다! 즉, 어떤 빈공간 A에 우리가 정의한 오일러 함수 $Ae^{jw_0t}$에서 $A와 w_0$의 모든 조합(Combination)이 존재한다고 생각하자. 그 후, 이제 그 공간A 안에 있는 원소들끼리 연산을 하여 8가지 공리를 만족시키는지 확인하자. 만약에 공간A 안의 모든 원소에 대해서 8가지 공리를 만족시킨다면, 공간A는 벡터공간이라고 할 수 있을 것이고, 그 안에 있는 원소는 벡터라고 할 수 있게 된다. 여기서 신호=벡터가 될 수 있다는 것이 중요한 점이다! 여기서 보면 간단히 대부분의 공리가 만족하는 것을 알 수 있다. 여기서 중요한게 세번째 공리이다. 세번째 공리를 만족 시키려면 공간안에서 0이 정의 되야한다. A가 0이면 0인 신호가 만들어지므로, $x + 0 = 0 + x = x$ 을 만족한다. 그리고 나머지 7가지의 공리를 만족하는 것을 임의의 두 함수를 잡고 연산을 해보면 모든 연산에서도 만족하는 것을 예상할 수 있다. 결국 오일러 함수 $Ae^{jw_0t}$를 벡터로 취급할 수 있다는 것이 가장 중요한 것이다.

내적(Inner product)

위에서 벡터인것을 파악은 했는데 이번에는 내적? 왜 내적이 나왔을까? 결론부터 말하자면 주파수가 다른 서로다른 두 신호는 수직관계를 이룬다는 점이다. 선형대수에서도 배웠겠지만, 수직인 벡터의 내적은 0이 나오는 것을 알고있을 것이다. 실수 영역의 두 벡터 a,b에 대해서 내적은 다음과 같이 정의된다.

$<a,b> = a^T b$

방금 실수 영역 이라고 했다. 우리가 다루는 오일러함수는 복소평면에서의 벡터라는 것을 위에서 알았다. 복소평면에 존재하는 벡터의 내적은 실수 영역에 존재하는 벡터의 내적과 약간 다르다. 두 복소벡터 a,b가 있을 때, 두 벡터의 내적은 다음으로 정의된다.

$<a,b> = a^T b^{\dagger}$ 여기서 $\dagger$ 는 켤레(conjugate)를 취하는 것을 의미한다. ($a+bi -> a-bi$)

위에서 말했듯이, 오일러 함수는 벡터이기도 하다. 그리고 내적 공간(Inner product space) 에 속한다. 내적 공간의 정의는 각자 찾아보도록 하자. 내적 공간에 속한다는게 뜻하는 것은, 내적 공간안에 속하는 벡터들 끼리는 내적이 모두 성립한다는 것이다. 내적이 정의 되면, 벡터의 길이 및 벡터 사이의 각도에 대해서 논할 수 있게 된다. 결론은, 오일러 함수는 내적이 가능한 벡터라는 것이다.

오일러 함수는 복소함수이다. 두 복소함수 f, g 의 내적은 다음과 같이 정의된다.

$<f(t), g(t)> = \int^{b}_{a}f(t)g(t)^\dagger dt$

이 때, $f(t)=e^{jk\omega_0t}, g(t)=e^{jr\omega_0t}$인 주기가 서로 다른 변수를 가지는 오일러 함수라고 하자. 그렇다면, 두 함수의 내적은 다음과 같이 쓸 수 있다.

$ <f(t), g(t)> = \int^{T_0}_{0}(f(t)g(t)^\dagger = \int^{T_0}_{0}(e^{j(k-r)\omega_0t}dt$ ... 식1
$=\int^{T_0}_{0}(cos(k-r)\omega_0t) + jsin(k-r)\omega_0t)dt$ ...식2
$if$ $k\ne r, then$ $0$
$o.t$ $then$ $T_0$

k와r이 같은 경우, 식1 에서 $e^0 = 1$ 이므로, 1을 해당 구간에서 적분하면 $T_0$라는 값을 간단하게 얻을 수 있다. k와r이 다른경우에는 적분을 한 번 해보면 된다. 이 때, $T_0$는 fundamental period이다. fundamental period란 모든 n에 대해서 $f(t) = f(t +nT_0)$ 를 만족시키는 $T_0$를 의미한다. 예를 들어, \(Periodic \ \ Funcion 는\ f(t)=f(t+nT)을\ 만족시키는\ 함수f를\ 뜻한다. \\ 이\ 때, n은\ 모든\ 정수,\ T는\ 함수f의\ 주기를\ 뜻한다. \\ 그리고,\ T중\ 가장\ 작은\ T를\ T_0(fundamental\ period)라\ 한다. \\ 에를 들어, sin(x)의 주기는\ 2\pi , 4\pi, 8\pi가 될 수 있다. 이 때, T_0=2\pi이다.\\\) ex) \(f(t) = sin(10\pi t)일 때,\ 주기함수인\ sin함수의\ 주기는\ 2\pi\ 이므로, \\ sin(10\pi t + 2n\pi) = sin(10\pi (t+nT_0))를 만족해야한다. \\ 이때, T_0는\ f(t)의 fundamentla\ period다. 그러면, \\ 10\pi t + 2n\pi = 10\pi (t+nT_0) \\ 2n\pi = 10\pi nT_0 \\ T_0 = 1/5 \\ fundamental\ period = 1/5\)

$sin(10\pi t)$의 fundamental period

푸리에급수는 주기가 Harmonics를 이룬다고 했다. 즉, 입력함수의 주기가 $2\pi$ 라면 그 입력함수를 이루는 함수들의 주기는 그의 배수인 $\pi$ , $(1/2)\pi$ , $(1/4)\pi$ … 의 주기를 가진 함수들의 합으로 이루어진다는 것이다. 그렇기 때문에 가장 긴 주기를 fundamental period를 적분구간 으로 설정한다면, sin및 cos함수는 한 주기의 적분 값이0이기 때문에, 주기가 배수인 함수들에 대해서 적분 결과가0 이므로, 최종적으로 적분 결과가 0인 값을 얻어낼 수 있다. 푸리에 급수식을 다시 요약해보자.

$x(t) = \sum_{-\infty}^{\infty}{a_ke^{jk\omega_0t}}$
단, k는 x(t)의 주기의 배수들로만 이루어 진다는 점을 기억하자.

여기서 잠깐 선형대수의 지식을 기억해보자! 기저(basis)에 대해서 다시 기억을 떠올려 보자. 우리가 아는 2차원 유클리디안 좌표평면의 기저는 무엇일까? $\left[ \begin{array}{rr}1 \ 0\end{array} \right]$, $\left[ \begin{array}{rr}0 \ 1\end{array} \right]$ 이다 그리고 우리는 이 기저의 선형결합(Linear combination) 을 통해서 2차원 유클리디안 좌표계의 모든 좌표를 표시할 수 있다. 이런식으로 3차원이면 3개의 기저가 있으면 모든 3차원 좌표계를 표시할 수 있다. 즉, 이런식으로 n차원에 n개의 기저가 있다면 n차원의 모든 좌표를 표시할 수 있다. 여기서 가장 중요한 것이 있다. 푸리에 급수 식을 다시 보자. 푸리에 급수를 구성하는 함수들은 모두 수직 이며 이는 곧 독립이라는 것을 뜻한다. 즉, 급수를 구성하는 모든 함수가 기저인 것이고, 앞의 상수를 곱하여 선형결합을 통하여 나타낸 것이다. $n->\infty$ 이라면, 푸리에 급수를 통하여 무한차원 까지 표현이 가능하다.

푸리에 계수(Fourier Coefficient)

마지막으로 푸리에 계수를 구하는 방법을 알아야 한다. 우리는 이때 내적을 이용하고 아까 배웠던 주기가 같으면 값이 나오고, 주기가 다르면 값이0이 나오는 성질을 이용하여 계수를 구할 것이다. 입력신호$x(t)$를 푸리에 급수를 이용하여 표현하면 아래와 같았다.

$x(t) = \sum_{-\infty}^{\infty}{a_ke^{jk\omega_0t}}$

이때, 우리는 $a_k$의 값을 구해야하는 것이다.

첫 번째, 양변에 $e^{-jr\omega_0t}$를 곱하자.

$x(t)e^{-jr\omega_0t} = \sum_{-\infty}^{\infty}{a_ke^{j(k-r)\omega_0t}}$

두 번째, 양변에 $x(t)$의 주기( $T_0$ )까지의 구간으로 적분을 하자.

$\int_{0}^{T_0}{x(t)e^{-jr\omega_0t}}dt = \int_{0}^{T_0}{\sum_{-\infty}^{\infty}{a_ke^{j(k-r)\omega_0t}}}dt$

이 때, $k==r$인 경우를 제외하고는 모두 0이 되므로, 결론적으로 $k==r$일 때, $a_r$ 만 남게 된다.

$=\int_{0}^{T_0}{a_r}dt=[a_r]^{T0}_{0}=a_rT_0$

이므로, 좌변 우변을 항을 잘 조절하면

$a_r=\frac{1}{T_0}\int_{0}^{T_0}{x(t)e^{-jr\omega_0t}}dt$

그런데, $k==r$인 경우의 결과이므로, r을 k로 치환 가능하다.

$a_k=\frac{1}{T_0}\int_{0}^{T_0}{x(t)e^{-jk\omega_0t}}dt$

이 식을 외우는게 아니고, 내적에 따른 결과로 기억하면 더 좋을것 같다. 이 식을 풀어쓰면 우리가 흔히 아는 cos, sin의 형태에서의 두 계수 역시 구할 수 있다.

마지막에 하나만 더 챙기고 가보자. 그렇다면 이 푸리에계수가 의미하는 것이 무엇일까? 조금 전에, 푸리에급수를 이루는 항들은 모두 독립적인 기저라고 하였고, 푸리에 급수는 이런 기저들의 선형결합(Linear Combination)이라고 하였다. 그런데, 조금전에 구한 푸리에 계수의 일반식을 보면, 입력신호 x 기저의켤레(conjugated basis) 의 적분인 것을 볼수 있다. 이것은 입력신호와 기저간의 내적을 의미한다. 즉, 푸리에 계수는 입력신호와 기저와 내적의 결과값인 것이다.

$ \frac{1}{T_0}<x_{T0}(t),e^{-jk\omega_0t}> = \frac{1}{T_0}\int_{0}^{T_0}{x(t)e^{-jk\omega_0t}}dt $

내적의 값은 벡터끼리의 각도차이가 작을수록 값이 크게 나온다. 이 말은 즉, 입력신호와 비슷할 수록 내적값이 크게 나온다는 것이다. 결론적으로 푸리에 계수는 기저함수가 입력신호를 구성하는데 얼만큼의 지분을 가지고 있는가를 나타내는 기여정도(contribution) 라고 볼 수 있다.

Comment  Read more

Mathematical statistics and Data Analysis-Joint Distribution(Chap3)

|

3. 결합분포(Joint Distribution)

이전 장들에서 우리는 단일 확률 변수에 대해서만 배웠었다. 하지만 우리가 다루는 데이터들은 하나의 변수에 의해서만 영향을 받지 않는다. 여러가지 변수들이 서로 종속적으로 영향을 주거나, 혹은 독립적일 수도 있다. 이렇게 종속적이거나 독립적인 여러 변수들을 동시에 고려할 수 있는 게 해주는 것이 결합분포이다.

연속한 확률변수에 대하여 결합분포는 다음과 같이 정의된다.

그리고 구간 사이에 해당하는 확률에 대해서는 아래 식과 같이 접근하여 구할 수 있다.

위의 경우와 같이 변수가 2개뿐인 이변수 결합분포와 같이 다변수 결합분포일 떄는 다음과 같이 식을 쓸 수 있다.

3.1 이산확률변수(Discrete Random Variables)

이산확률변수에 대한 결합분포는 다음과 같이 정의된다. 역시 연속확률변수와 다르게 점추정(특정 지점에 대한 확률)을 구하는 것이 가능하다는 것을 볼 수 있다.

동전을 세번 던지는 시행을 하여서 아래와 같은 표본공간이 나왔다고 하자. 여기서 h=head, t=tail으로써 각각 앞면, 뒷면을 의미한다.

이 때, 확률변수X는 세번 동전을 던지는 시행 중, 첫 번째 시행에 앞면이 나오는 횟수를 의미하고, 확률변수Y는 세번의 모든 시행에서 앞면이 나온 횟수를 의미한다. 그럴 때, 확률표를 아래와 같이 작성된다.

이럴 때, 첫번 째 시행에서는 뒷면이 나오고, 전체 세번의 동전던지기에서 앞면이 두번 나오는 경우, p(thh)의 경우는, $p(x,y)=p(0,2)$ 라고 쓸 수 있다. 그리고 그 값은 아래와 같다.

주변확률분포(Marginal Distribution)

주변확률분포는 결합확률분포에서 하나의 확률변수만 고려해주는 분포이다. 마치 우리가 미적분학에서 배웠던 편미분과 같은 원리라고 생각하면 좋을것 같다. 즉, 위의 예제로 생각해보면 확률변수X,Y 모두 고려했을 때 확률을 구하는 것이 아니고, X에대한 주변확률븐포라고 하면, X=0인 경우에 대해서 표본공간에 있는 모든 Y에 대한 확률 값을 더한 것을 같다. 다음 예제와 식을 보고 이해해보자.

위 식을 보면, 입력변수x 는 고정되고, 발생할수 있는 모든 Y에대한 결합확률을 모두 더해주는 모습을 볼 수 있다. 이때 중요하게 봐야할 것이 있는데, 확률P 밑에 있는 x는 대문자X이고 괄호안에 들어간 x는 소문자x라는 점이다. 즉, 대문자X는 확률변수를 의미하고, 소문자x는 확률변수X가 가질 수 있는 원소값을 의미한다.

다변수 및 다차원 주변확률분포는 다음과 같이 식으로 쓸 수 있다.

어려워 할 필요없이 위의 예제와 똑같이 생각해주면 된다. $X_1$에 대한 주변확률분포라면 확률변수$X_1$에 입력된 원소값에 대하여 나머지 모든 확률변수의 값을 대입한 모든 경우의 확률을 더해주면 더해주는 것이다. 다차원 주변확률분포는 고정되는 값이 확률변수 하나가 아니고 여러개라고 생각해주면 된다.

다항분포(Multinomial Distribution)

2장에서 N개의 set을 하부 n개의 셋으로 나누는 가지수에 대해서 배운적이 있다. 이를 확률적으로 보아서, 가지수가 아닌 n개의 셋으로 나눠질 수 있는 확률을 계산하는 것으로 바꿔서 생각해보면 된다. 식은 아래와 같다.

다항분포의 주변확률분포는 아래의 식과같이 구할 수 있다. 확률변수$N_i$를 제외하고 나머지 확률변수는 확률변수$N_i$입장에서는 자기와는 다른 확률변수라는 카테고리로 묶을수 있다. 그러므로 확률변수$N_i$에 대한 주변확률분포는 다음과 같이 쓸 수 있다.

연속확률변수(Coninuous Random Variables)

연속확률변수는 계속 말하지만 이산확률변수의 경우와 크게 다르게 생각하지 않아도 된다. 점추정을 할 수 없고 무한하게 존재하는 영역의 변수라고 생각하면 되는 것이다. 그렇기 때문에, 근사 가 필요하고 적분이 필요하게 된다. 일변수의 경우에 적분을 이용했듯이 이변수의 경우에도 적분을 이용하여 적용할 수 있고, 이때는 중적분이 이용된다.

연속확률변수의 확률 및 누적분포함수는 다음과 같이 정의 할 수 있다. (F(x):누적분포함수(CDF))

누적분포함수(CDF)와 확률밀도함수(PDF)는 서로 미분,적분 관계에 있다. 이변수의 경우 다음과 같은 미분을 통하여 CDF로부터 PDF를 얻어낼 수 있다.

여기서 예시를 하나 살펴보자.

주변확률분포(Marginal Distribution)

연속확률변수에 대한 주변확률분포도 이산확률변수와 똑같다. 이를 연속한 형태의 변수로 확장시킨 개념일 뿐이다. 연숙확률변수의 주변확률분포의 CDF와 PDF는 다음과 같이 정의할 수 있다.

예시를 통하여 살펴보자.

독립확률변수(Independent Random Variables)

독립확률변수에 대한 정의는 아래와 같다.

우리가 집합을 배웠을 때 독립에 대한 개념이 똑같이 확률변수로 옮겨온 것을 알 수 있다. 위 식의 뜻은 확률변수$X_1, X_2, X_3 ,.. X_n$이 서로에 대해서 모두 완벽하게 독립이라면, 종속적인 확률을 고려할 필요 없으므로 따로 확률을 구해서 곱해주면 된다는 뜻이다. 이러한 성질을 만족한다면, 각 확률변수는 서로 독립한다고 말을 할 수 있다고 하는게 위 정의의 뜻이다. 조금더 풀어쓰면 아래와 같이 쓸 수 있을 것이다.

조건부확률분포(Conditional Distributions)

조건부확률분포는 매우 중요하다. 2장에서도 보았었던, 베이즈 규칙을 이용하여, 사후확률을 예측할 수 있기 때문이다. 이에 대해서는 밑에서 더 얘기하도록 하게다. 조건부확률분포는 어떤 사건이 일어났다고 전제 되었을 때, 다른 사건이 일어날 확률을 의미한다.

이산확률변수(Discrete Random Variables)

이산확률변수의 조건부확률분포는 아래와 같이 정의된다.

바로 예시를 통해서 살펴보자.

조건부확률분포의 정의를 좌변 우변을 조금 바꿔보면 결합확률을 다음과 같이 쓸 수 있음을 알수 있다.

그리고 주변확률분포는 아래와 같이 쓸 수 있음을 알 수 있다.

이 부분에 대해서는 2장에서도 설명이 된 부분이다. 위의 예시에서는 $p(x=0)$을 구하기 위해서 $x=0$에 속하는 가로변의 확률을 모두 더한 것이 되겠다. 다른 예시를 살펴보자면, 간단하게 이렇게 생각해보자.

$P(당뇨) = P(당뇨\|사탕 먹기)P(사탕 먹기) + P(당뇨\|초콜렛 먹기)P(초콜렛 먹기)$라고 단순하게 생각해볼 수 있다. 이는 당뇨와 단 것을 먹는것 간에 상관관계가 있기 때문에 이런 예제를 생각해본 것이다. 그리고 종속관계가 있기 때문에 이렇게 생각해볼 수 있다. 우선 사탕을 먹어야 되니까, 사탕을 먹을 확률을 구해야 하고, 그럴 때 사탕은 먹은게 되니까, 사탕을 먹었을 때 당뇨에 걸릴확률은 얼마나 될까? 이렇게 생각하는 것이다. 이렇게하면 식을 외우지 않고도 바로바로 생각해 볼 수 있을 것이다.

연속확률변수(Continuous Random Variables)

연속확률변수에 대한 정의도 여태까지 해왔던 것처럼 접근해서 생각해보면된다. 연속확률변수에 대한 조건부확률분포는 다음과 같이 정의된다.

조건부확률분포를 이용하여 주변확률분포를 다음과같이 쓸 수 있다.

베이지안 추론(Bayesian Inference)

베이지안 추론은 아주 중요한 부분중 하나이다. 이 떄 가정(Hypothesis)와 증거(Evidence) 라는 게 아주 중요하다. 보통 우리가 가정과 증거라고 생각을 하면, 가정은 어떤 일이나 사건이 발생했다고 가상으로 전제를 해두는 것을 의미한다. 그리고 증거는 실제 어떤 일이 발생했을 때 그것을 뒷받침해줄 어떤 것이라고 생각을 할 것이다. 하지만, 여기서는 그러한 관점에 대해서 바꿔서 생각해볼 필요가 있다.

증거(Evidence)는 우리가 실제로 관측할 수 있는것, 가정을 뒷밤침 할 수 있는 것이라고 생각하자. 그리고 가정(Hypothesis)는 우리가 실제로 알고자하는 것 이라고 생각하자. 이를 예시를 통해서 살펴보자.

$P(E\|H)$, $P(H\|E)$에 대해서 생각해보자. $P(E\|H)$는 H일 때, E일 확률을 나타낸다. 우리가 어떤 실험을 한다고 생각해보자. 그러면 우리는 어떤 가설들을 새운다. 그리고 관측 결과들을 얻어내어 그 가설을 증명한다. 그런식으로 우리는 실제로 $P(E\|H)$에 대해서는 비교적 잘 알아낼 수 있다. 그리고 그 결과를 바탕으로 실제생활에 사용한다. $P(H\|E)$즉, 어떤 결과가 관측 되었을 때, 그 가설이 맞을 확률을 나타낸다. 베이지안 법칙을 바탕으로 우리는 $P(E\|H)$로 부터 $P(H\|E)$을 알아낼 수 있고, 반대의 경우로도 추론이 가능하다는 것을 알 수 있다. 우리는 실제로 알아내기 쉬운 $P(E\|H)$ 로 부터, $P(H\|E)$를 알아내어 사용하는 것이다.

기호로만 써서는 어려울 수가 있으니 이를 풀어서 생각해보자. 자동차에 시동을 거는 것을 생각해보자. 우리는 자동차가 시동이 안켜질때 여러가지 경우를 생각해볼 수 있다. 배터리가 없거나, 키를 제대로 안꼽았을 수도 있다. 우리가 일상에서는 이렇게 결과 즉, 관측을 먼저하게 된다. 이 때, 시동이 안켜지는게 E, 배터리가 없거나, 키를 제대로 안꼽았을 경우를 H라고 생각할 수 있다. 우리는 다시 시동을 켜기 위해서 어떤게 문제인지 알아내야 한다. 하지만 배터리가 없는지, 키를 제대로 안꼽았는지 확인해야 한다. 더욱 타당하게 확인을 하려면 어떤 원인 때문인지 확률적으로 관측해봐야 한다. 즉 신뢰도가 더 높은쪽을 알아내야 한다는 것이다. 이때 사용되는 것이 $P(H\|E)$이다. $P(시동X\|배터리X)P(배터리X)$의 확률이 더 높은지, $P(시동X\|키X)P(키X)$의 확률이 더 높은지 확인을 해봐야 한다는 것이다. 우리가 실험을 통하여 위의 확률들을 모두 알아 놓았다고 하면, 어떤 경우의 확률이 더 높은지 알 수 있다는 것이다.

Comment  Read more

Signals and Systems-1.2 Convolution

|

임펄스 함수(Impulse Function)

이산영역(Discrete Domain)

연속영역(Continuous Domain)

컨볼루션(Convolution)( $y(t)=f(x(t), h(t))=x(t)*h(t)$ )

이산영역(Discrete Domain)

연속영역(Continuous Domain)

그래프의 타우축의 글씨는 $t, t+1\delta, t+2\delta, t+3\delta, t+4\delta, t+5\delta, t+n\delta$를 의미한다.

Comment  Read more

Mathematical statistics and Data Analysis - probability(Chap1)

|

Sample space and set

집합(Set)

확률측정(Probability Measure)

Permutation & Combination

이항정리

n개의 set으로 나누기

조건부 확률(Conditional Probability)

전체의 법칙(Law of total probability)

베이즈 법칙(Bayes’ Rule)

상호독립(Mutual Independence)

Comment  Read more

Mathematical statistics and Data Analysis - Random Variables(Chap2)

|

이산확률변수(Discrete Random Variables)

확률질량함수(Probability Mass Function, PMF)

누적분포함수(Cumulative Distribution Function, CDF)

베르누이 확률변수(Bernoulli Random Variables)

이항분포(Binomial Distribution)

기하분포 & 음이항분포(Geometric & Negative Binomial Distribution)

초기하분포(Hypergeometric distribution)

포아송분포(Poisson Distribution)

연속확률변수(Continuous Random Variables)

가능도(likelihood)와 확률밀도함수(PDF)

누적분포함수(CDF)

지수분포(Exponential density)

Comment  Read more