Lec 3. Harmonic Analysis and the Fourier Series

 본 게시물은 University of Arizona의 Prof. J. Scott Tyo의 OPTI512R 강의를 보고 정리한 내용입니다.
전공자가 아닌 만큼 부정확한 정보가 포함되어 있을 수 있습니다.
부정확한 정보가 있다면 알려주시면 감사하겠습니다.

 

---

Functional Analysis

다양한 과학의 분야에서, 익숙한 Function들의 가중치 중첩으로, 새로운 Function을 작성하는 것은 매우 유용하다.

System(계)이 Linear 하다면, 관심 있는 Function에 대한 System의 동작을 Component part로 나누고, 결과를 합산하여 분석할 수 있다. 이를 수식으로 표현하면 아래와 같다.

 

$$f(x)= \sum_i a_i \phi_i (x) \\ \{\phi_i (x)_{i=1}^{N}\}$$ 

 

이때 Set $\{\phi_i(x)\}_{i=1}^{N}$는 Trigonometrical function, Exponential Function, Polynomial Function 등 어떤 것 든 올 수 있고, 이러한 Set을 Basis Set이라고 부른다.

이러한 분석을 Functional Analysis라고 하며, 이러한 Analysis는 Linear Algebra와 밀접한 관련이 있다.

 

아래는 Functional Analysis의 한 종류인 Taylor Series로 $1 \over {1-x}$를 expansion 한 것이다.

 

$${1\over{1-x}} = \sum^{\infty}_{n=0} a_n x^n = 1 + x + x^2 + x^3 + .....$$

 

Basis Vectors and Vector space

Vector Space는 이러한 Linear Combination에 닫혀있는 Set을 의미한다.

아래의 그림과 같이 (x, y)-Plane 상에 임의의 Vector $r$이 있을 때, $r = x \bf{\hat x} + y \bf{\hat y}$으로 표현된다.

이때, $\bf{\hat x},\; \bf{\hat y}$은 1의 길이를 가지는 Unit Vector이다. 또한 $x,y$는, 각각 $y\;axis,\;x\;axis$상에서의 $r$까지의 최단거리이다. $x,y$는 다음의 연산을 통해 $r$로부터 얻어질 수 있다.

 

$$x = r\cdot\hat{x} = (x\hat x + y \hat y) \cdot \hat{x} \\y = r\cdot\hat{x} = (x\hat x + y \hat y) \cdot \hat{y}\\ \hat x \cdot \hat x = 1\;and\;\hat x \cdot \hat y = 0$$

 

$\hat x \cdot \hat y = 0$인 이유는 주어진 Cartesian Coordinate의 두 Axis가 서로 Orthogonal 하기 때문이다.

 

Orthogonal Function Expansions

고등수학에서 학습한 Vector는 크기와 방향성을 가지는 물리량이었고, 이를 수학에서는 Euclidean vector라고 한다. Euclidean vector를 넘어서서 더 큰 Vector의 정의에서 보자면 Function 또한 Vector의 연속 혹은 결합이라고 볼 수 있다. 이를 활용하여 앞서 Vector에서 Orthogonality를 활용하여 Compoenent를 구하였듯이 Function에서도 Orthogonality를 활용할 수 있고, 이를 Orthogonal Function Expansion이라고 한다.

 

Vector space 혹은 Function space가 존재할 때, 그 space에 대해 Inner product를 정의할 수 있고, $<f(x),g(x)>$와 같이 표현되며, 다음과 같이 정의 된다. $<f(x), g(x)>\;:= \int_{x_0}^{x_0+X} f(x)g^*(x) dx$

 

Inner Product는 다음과 같은 특성을 가진다.

 

1. Conjugate Symmetry : $<f,g> = <g,f>^*$

2. Linearity : $<af, g> = a<f,g>, <f+h,g>  = <f,g> + <h,g>$

3. Positivity : $<x,x> \;> 0 \;for\;all\;x \neq 0$

4. Definiteness : $<x,x> = 0\;implies\;x = 0$

 

Inner Product를 활용하면 Orthogonal Function을 다음과 같이 정의할 수 있다.

$$<\phi_i, \phi_j> = b_i\delta_{ij}$$

 

이때 $\delta_{i,j}$는 다음과 같고, 이를 Kroneker Delta라고 한다.

 

$$\delta_{i,j} =\begin{cases}1 & i = j\\0 & i \neq j\end{cases}$$

 

Kroneker Delta의 이러한 특징을 앞서 살펴본 $f(x)= \sum_i a_i \phi_i (x)$에 적용하면 다음과 같은 결과를 얻을 수 있다.(단 모든 $i$ 에 대해 $b_i = 1$로 normalize)

 

$$<f, \phi_j> = \sum_i {a_i<\phi_i, \phi_j>} = \sum_i {a_i\delta_{ij} =a_j}$$

 

이는 곧 coefficients $a_j$를 inner product를 통해 결정할 수 있다는 것을 의미하고, 다음과 같이 일반화 된다.

 

$$a_j = <f,phi_i>$$

 

위 general formula는 앞으로, Fourier series, Fourier transform, Inverse fourier transform, Discrete fourier transform 을 계산하는데 사용될 것이고, 이외의 무수한 영역에서 활용 된다.

 

---

Periodic Signals And The Fourier Series

어떤 Function $f(x)$가 다음 의 조건을 만족 할 때, Function이 T의 Period를 가진다고 한다.

 

$$f(x+T) = f(x) \;for\;all\;x$$

 

Basiss set안의 Basis funtion들 또한 Period가 T인 Periodic Function을 $f(x)$라고 하자.

 

frequency $\xi_0 = {1 \over T}$라고 할 때, $f(x)$는 다음과 같다.

 

$$f(x) = \sum^{\infty}_{n=-\infty} c_n e^{j2\pi\xi_0 nx}$$

 

Series의 complex sinusoid들은 각각 T-periodic 하고, n 번째 sinusoid의 frequency는 $n\xi_0$이고, Period는 $T\over n$이다. n이 integer이기 때문에, T 내부에 정확하게 n개의 term이 존재한다.

 

Frequency $\pm\xi_0$는 signal의 Fundatmental Frequency로, 해당 signal의 frequency로, signal을 구성하는 basis들 중, fundamental frequency를 가지는 signal을 Fundamental Wave라고 하고, fundamental frequency의 정수배의 frequency를 가지는 signal을 Harmonics라고 한다.

 

coefficient $c_n$은 전체 signal에 기여하는 다양한 Harmonics의 상대적인 양을 결정하는 요소로, 다음의 수식을 통해 얻어 질 수 있다. $t_0$의 값은 임의의 값이고, integral을 간소화하기 위한 값을 선택할 수 있다. 

 

$$c_n = {1\over T} \int^{t_0 + T}_{t_0} f(x) e^{-j2\pi\xi_0 nx}dx$$

 

위 수식은 Fourier series를 complex exponential function으로 표현한 것이고, Real-valued Function으로 Fourier series를 표현한 것은 아래와 같다.

 

$$f(x) = \sum^{\infty}_{n=0} a_n \cos(2\pi n\xi_0x) + \sum^{\infty}_{n=1} b_n \sin(2\pi n \xi_0 x)$$

 

$$f(x) = \sum^{\infty}_{n=-\infty} (rect(x-{1\over2}-2n) - rect(x+{1\over 2} - 2n))$$

 

위 그림과 같은 그래프와 수식을 가지는 square wave function이 있을 때, coefficient $c_n$은 다음과 같이 얻어 질 수 있다. 이때 $T = 0$이고, $\xi_0 = {1\overT} = {1\over2}$이다.

 

$$c_n = {1\over 2} \int^2_0 f(x) e^{-j 2\pi {1\over2}x }dx \\ = {1\over2}\left[\int^1_0e^{-j\pi n x}dx - \int^2_1e^{-j\pi x n} dx\right] \\ = {-{1\over{j2\pi n}}}\left[e^{-j\pi n x }\mid^1_{x=0} -e^{-j\pi n x }\mid^2_{x=1}\right] \\ = {1\over{j\pi n}}[1 - e^{j\pi n}] \\ = \begin{cases}0 & n\;even\\{2\over{j\pi n}} & n\;odd\end{cases}$$

 

위 결과는 해당 Square wave가 odd harmonics로만 구성되었다는 것을 의미한다. 또한, 각각의 odd harmonics의 기여도(coefficient가) $1\n$처럼 감소한다는 것을 알 수 있다.

 

---

Truncated Fourier Series

앞서 Fourier Series를 무한한 개수의 complex exponentials의 superposition으로 작성하였으나, 현실에서는 모든 구간을 evaluate하는 경우는 매우 드물다. Fourier series를 적용하여 해결할 수 있는 실제 문제에서는 $|n| > N$에 대해 $c_n = 0$, 혹은 계산의 편의를 위해 $n = \pm N$에서 series를 truncate한다.

 

위 그림은 4개의 odd harmonics와 $-7 \geq n \leq 7$에서 evaluated 된 series를 보여준다. harmonics의 amplitude는 처음에는 급격하게 감소하다가, 3개정도의 harmonics 이후에는 amplitude의 감소폭이 줄어든다. 이는 각 연속항이 series에 크게 기여하지 않음을 의미하는 것이다.

 

Fourier Series는 discontinuity를 완전하게 재구성 할 수 없다는 문제점을 가지고 있다. 무한히 많은 signal을 조합한다면 original signal을 재구성할 수 있을 것이라고 예상이 되지만, 아무리 많은 signal을 더하더라도, discontinuous한 signal의 경우 discontiunity의 전후에서 overshoot과 undershoot이 발생하게 되고, 더 큰 오차를 만들어 내게 된다. overshoot과 undershoot이 발생하는 것을 Gibbs Phenomenon이라고 한다. Gibbs Phenomenon으로 인해 발생된 돌출점의 오차는 최종적으로 9% 정도의 크기를 가지게 된다.