Lec 4. Operators and Linear, Shift-Invariant Systems

본 게시물은 University of Arizona의 Prof. J. Scott Tyo의 OPTI512R 강의를 보고 정리한 내용입니다.
전공자가 아닌 만큼 부정확한 정보가 포함되어 있을 수 있습니다.
부정확한 정보가 있다면 알려주시면 감사하겠습니다.

 

---

Operators

Operator는 real physical process를 mathemetical notation으로 modeling 하여 represent 하는 mathematical representation이다. Operator는 일부 vector space에 대해 연산을 수행하고, 그 결과로 다른 vector space(때로는 input의 vector space와 같은)에 존재하는 output을 생성한다. Operator의 목적은 자연에서 관찰되는 Physical behavior를 captuer 하는 mathematical notation을 찾는 것이지만, 대부분의 경우 제한된 범위 내에서만 정확하게 동작한다.

 

Operator의 역할은 쉽게 말해 input function set $f_i(x)$에서 output function set $g_i(x)$로의 mapping을 수행하는 것으로, 이때의 mapping은 differential equqation, integral transform, aritmetic operation 등 등이 될 수 있다. Operation의 간단한 예로 다음의 1-D Helmholtz equation이 있다. ${d^2 \over {dx^2}} g_i(x) + k^2g_i(x) = f_i(x)$

 

 

위 그림은 mathematical pyhsics system의 information flow를 설명하는 데 사용되는 schematic flow chart를 나타낸 것이다. 이 mathematical model은 위 그림에서 $System\;S$로 표현되는데, 이 System은 Electronic Circuit, Optical Imaging System, Mechanical Oscillator 등 어떤 것이든 될 수 있다.

 

---

Linear, Shift-Invariant System

Linearity

Linear System은 Operator S가 다음의 관계를 따르는 Special System이다. 임의의 input $f_1(x)$ 와 $f_2(x)$가 이에 대응하는 output $S\left\{f_1(x)\right\}  = g_1(x)$와 $S\left\{f_2(x)\right\}  = g_2(x)$가 있을 때, 다음의 관계가 성립한다.

 

$$S\left\{ \alpha f_1(x) + \beta f_2(x)\right\} = \alpha g_1(x) + \beta g_2(x)$$

 

위 식은 principle of superposition으로 잘 알려진 principle로, 이를 이용해 우리는 임의의 input을 받아 더 간단한 여러 조각으로 나누고, 해당 조각을 System에 전달하고, 전달된 각각의 조각에 대한 response를 결정한 다음 output을 계산할 수 있다.

 

Lec 3에서 학습하였듯이, 이러한 조각들을 basis set이라고 생각할 수 있다. 강의에 따르면 앞으로 강의에서 사용될 두 가지의 핵심 basis가 있는데, 하나는 convolution을 생성하는 $\delta$-function basis와 Fourier Transform을 생성하는 Sinusodial basis이다.

 

Non-linear problem을 linearize 하는 예시를 간단한 역학 문제를 활용하여 살펴보자. 위 그림은 simple pendulum에 대한 물체도를 보여준다. 이 System의 motion equation은 $\overrightarrow{\tau} = I {d^2\theta \over dt^2}$이다.

(이때 $\overrightarrow{\tau}$는 Torque, $I$는 Moment of interia, $\theta$는 pendulum의 instaneous angular position이다.) 

 

Moment of interia equation $I = m\ell^2$과 위의 그림에 의해 다음을 얻을 수 있다.

 

$$-mg\ell \sin\theta = m\ell^2 {d^2\theta \over dt^2} \\ {d^2\theta \over dt^2} + {g \over \ell} \sin\theta = 0$$

 

이는 명백한 Non-linear differential equation이지만, Taylor Series expansion을 이용하여 작은 각도에 대해서 Linearized equation을 얻을 수 있고, 만약 input이 충분히 작다면, Equqation은 거의 linear 하다

 

$$\sin\theta \approx \theta - {1 \over 3!} \theta^3 + O(\theta^5) \\ {d^2\theta \over dt^2} + {g \over \ell} \theta = 0$$

 

Shift Invariant System & Causality

Shift-Invariant System은 Input을 Shift 할 경우 동일한 양만큼 Shift 된 Output이 출력되는 성질을 가진 System이다. 수학적으로는 $S\left\{ f(x - x_0)\right\} = g(x-x_0)$가 모든 $x$와 $x_0$에 대해 성립해야 한다.

 

Causal System은 Input이 주어지기 전에 Output을 가질 수 없는 System으로, 달리 말하면 System의 현재 output이 과거의 input에만 의존하는 성질을 가지는 System이다. 이러한 Causality는 time의 관점에서 parameterize 된 system을 고려할 때 매우 중요한 속성이다. 

 

 

The impulse Response of a LSI System

일반적으로 LSI(Linear Shift-Invariant) System은 $S\left\{ f(x) \right\} = g(x)$으로 설명된다. 하지만, System의 Exitation이 Impulse Function일 때, Output은 System의 Impulse Response라고 하고, 이 special response를 $h(x)$라고 표시한다. 이 경우 LSI System은 아래와 같이 표시되며 $\mathcal{L} \left\{ \right \}$는 LSI System의 Operator이다.

 

$$\mathcal{L} \left\{ \delta(x) \right \} = h(x) \\ \mathcal{L} = \left \{ \delta(x-x_0) \right\} = h(x-x_0)$$

 

Lec 3에서 학습한 Delta function의 속성을 활용하여 임의의 Fucnton $f(x)$를 Delta Function의 중첩으로 다음과 같이 작성할 수 있다. 아래 식은 임의의 function $f(x)$를 constant $f(\alpha)$에 의해 shift 된 $\delta$-function의 합으로 나타낸 것이다.

 

$$f(x) = \int^{\infty}_{-\infty} f(\alpha) \delta(x-\alpha) d\alpha$$

 

LSI System의 원리를 위 식에 적용시키면 아래와 같은 식을 얻을 수 있다.

 

$$\mathcal{L} = \left \{ f(x) \right\} = \mathcal{L} \left \{ \int^{\infty}_{-\infty} f(\alpha)\delta(x-\alpha) d\alpha \right \} \\ = \int_{-\infty}^{\infty} f(\alpha) \mathcal{L}\left\{\delta(x-\alpha)\right\}d\alpha \\ = \int_{-\infty}^{\infty} f(\alpha) h(x-\alpha)d\alpha$$

 

위 식으로부터 얻을 수 있는 점은 만약 $\delta$-function에 대한 system의 response를 알고 있다면, 임의의 exitation에 대한 response를 계산할 수 있다는 점이다. exitation을 shift 되고 weight 된 작은 pint source($\delta$-function)의 합으로 분할 한 뒤, 해당하는 shift 및 weight가 적용된 impulse response를 더하여 ouput을 얻을 수 있다.

 

아래 그림은 RC 회로에서의 이러한 효과를 나타낸 것이다.

 

현재 RC circuit에 흐르고 있는 impulse의 reponse에 해당하는 capacitor 양극단에 가해지는 voltage는 ${1 \over {(RC)}}  \exp({{-t}\over RC}) step(t)$이다. Exitation이 꺼지자마자, System은 예상대로 exponential 하게 0으로 되돌아간다. 그러나 Linearity와 Shift-invariance 특성 덕분에 일단 System의 input signal을 분해할 수 있다면, output은 각 구성 요소에 대한 System output의 합과 같기 때문에, output을 알 수 있다.

 

Eigenfunctions of LSI System

System의 Eigen function은 System의 output이 input과 동일한 function이지만, complex constant에 의해 Scaling 되는 special property를 만족시킨다. $x$의 function이지만, $\xi$에 의해 parameterize 되는 function family $\psi(x;\xi)$를 생각해보자, 이러한 family의 예로는 sinusodis $\cos(2\pi\xi x)$가 있다. 만약 이 function family가 system의 Eigenfunction이라면 다음의 mathematical property를 따른다.

 

$$S\left \{ \psi(x;\xi) \right \} = H(\xi)\psi(x;\xi)$$

 

위 수식에서 function $\psi$는 Eigenfunction이고, complex constant $H(\xi)$는 $\psi$에 해당하는 Eigen value이다. parameter $\xi$는 Eigen function family를 describe 하기 위해 사용된다. 예를 들어, $\psi(x;\xi) = x^{\xi_0}$일 수 있다.

 

Operator $\mathcal{L}\left\{ \right\}$에 의해 describe되는 system이 있다고 가정할 때, 우리가 유일하게 $\mathcal{L}\left\{ \right\}$에 대해 알고있는 사실은 이 것이 LSI operator라는 것이다. System에 대한 input이 frequency $\xi$의 complex exponential 일 때 다음과 같은 결과를 얻을 수 있다.

 

$$\psi(x;\xi) = e^{j2\pi \xi x} \\ \mathcal{L}\left\{ e^{j2\pi \xi x} \right\} = g(x;\xi)$$

 

System이 Linear 하기 때문에, input에 complex constant $e^{-j 2 \pi \xi x_0}$을 곱하여 다음과 같이 정리할 수 있다.

 

$$\mathcal{L}\left\{ e^{-j 2 \pi \xi x_0} e^{j2\pi \xi x} \right\} = e^{-j 2 \pi \xi x_0}g(x;\xi)$$

 

또한 System이 Shift Invariant 하기 때문에 위의 식은 아래와 같이 정리될 수 있다.

 

$$\mathcal{L}\left\{ e^{-j 2 \pi \xi x_0} e^{j2\pi \xi x} \right\} = \mathcal{L}\left\{ e^{j 2 \pi \xi (x-x_0)} \right\} = \mathcal{L}\left\{ \psi(x-x_0;\xi) \right\} = g(x-x_0;\xi)$$

 

결론적으로 위 두 수식의 결과에 의해  $e^{-j2\pi \xi x_0}g(x;\xi) = g(x - x_0;\xi)$가 성립하고 이에 따라 $g(x;\xi) = H(\xi) e^{j2\pi \xi x}$가 성립한다. 이는 complex exponential이 모든 LSI system의 Eigenfunction임을 의미한다.

 

우리는 LSI System이라는 정보만을 가지고, System이나 $\mathcal{L}\left\{ \right \}$에 대한 특별한 정보 없이 output을 도출하였다. 즉, particular frequency $\xi$의 complex exponential을 가진 LSI system을 exitation 하면, output은 동일한 frequency의 complex exponential이지만, constant $H(\xi)$에 의해 주어진 것과는 다른 Phase와 Amplitude를 가진 다는 사실을 알게 되었다.

 

위 그림에서 Output이 Input과는 다른 Amplitude를 가지고, Input과 $90^{\circ}$의 phase 차이가 있지만, 둘 다 response $H(\xi) = 10e^{-j {\pi \over 2}}$

 

Transfer Function

Eigen Value $H(\xi)$에 대해 조금 더 알아보자. 임의의 Function $f(x)$가 있을 때, Inverse Fourier Transform을 통해 이 function을 sine wave의 superposition으로 표현할 수 있다.

 

$$f(x) = \int^{\infty}_{-\infty} = F(\xi) e^{j2\pi \xi x} d\xi$$

 

위 수식에서 Fourier transform $F(\xi)$는 complex weight를 나타내고, input function은 frequency $\xi$의 complex exponential이다. Linearity를 활용하여 다음과 같이 정리할 수 있다.

 

$$\mathcal{L}\left\{f(x)\right\} = \mathcal{L}\left\{\int_{-\infty}^{\infty} F(\xi) e^{j2\pi \xi x} d\xi \right\} \\ = \int_{-\infty}^{\infty} F(\xi) \mathcal{L}\left\{e^{j2\pi \xi x}\right\} d\xi \\ = \int_{-\infty}^{\infty} F(\xi)H(\xi)e^{j2\pi \xi x} d\xi \\ = \mathcal{F}^{-1} \left \{ F(\xi)H(\xi) \right\}$$

 

우리는 앞서 LSI System이 Impulsive input에 대해 어떻게 response 하는지 안다면, convolution을 통해 임의의 input function $f(x)$에 대한 output을 결정할 수 있다는 것을 확인하였다. 위 수식은 System이 모든 $\xi$의 complex exponential에 대해 어떻게 response 하는지 안다면, input을 Fourier components로 분해하여, system을 통과시키고, 그 결과들을 합산하고 Inverse Fourier transform을 통해 output을 얻을 수 있다는 것을 말해준다.

 

System의 ouptu을 function of frequency로 describe 하는 special fucntion $H(\xi)$는 system의 transfer function으로 알려져 있다.

 

위 그림은 LSI system의 schematic flow chart를 update 한 것이다. space domain과 frequency domain 모두에서 system performance를 고려할 수 있다는 점을 확인할 수 있다. space domain은 impulse response $h(x)$에 의해 dictate 되고, frequency domain은 transfer function $H(\xi)$에 의해 dictate 된다. $h(x)$와 $H(\xi)$의 관계를 파악하는 것이 앞으로의 목표이다.