[이론] AI-ML-DL(1)

개인적인 조사 및 공부를 통해 작성된 문서이므로 부정확한 내용이 포함되어있을 수 있습니다. 정정이 필요한 내용이 있다면 알려주시면 수정토록 하겠습니다.

What is the Artificial Intelligence

인공지능(AI, Artificial Intelligence)는 인간의 학습능력, 추론능력, 지각 능력 및 그외의 지적 능력을 인공적으로 구현한 program 또는 이를 포함한 computer system을 뜻한다. 이러한 인공지능을 구현하는 방법론은 다양하고, 기계학습(ML, Machine Learning)과 심층학습(DL, Deep Learning)도 그중 하나이다.

그중 ML은 주어진 데이터를 이용해 통계학적 model을 학습시켜, 인공지능을 구현하는 방법이다. ML을 한마디로 정의하자면 "명시적 프로그래밍 없이 Data로 부터 학습하는 능력"이라고 할 수 있을 것이다. DL은 이러한 ML의 한 갈래로, 여러개의 층을 가지는 인공신경망(ANN, Artificial Neural Network)를 이용하여 구성하는 방식이다.

History of AI

AI는 1940년대 후반에 이르러, 인공적인 두뇌에 대한 가능성이 여러 분야의 학자들에 의해 본격적으로 논의 되기 시작하였다. 다만 생각하는 기계에 대한 초기 연구는 1930년대에도 이루어지고 있었으며, 이미 1943년에 월터 피츠(Walter Pitts)와 워런 매컬러(Warren Sturgis McCulloch)가 현대 AI의 가장 중심 연구분야인 Neural Network에 대한 연구를 진행하였다.

1950년에는 앨런 튜링(Alan Turing)에 의해 인간의 것과 동일하거나, 구별할 수 없는 기계의 지능적 행동에 대한 테스트인 Turing Test를 고안하였고, 1951년에는 manchester univ의 Ferranti Mark 1을 이용해 크리스토퍼 스트레이(Christopher Strachey)는 checker를 디트리히 프린츠(Dietrich Prinz)는 chess를 두는 program을 개발하였다. 1956년에 열린 Dartmouth conference에서 마빈 민스키(Marvin Minsky), 존 매카시(John McCarthy), 클로드 섀넌(Claude Shannon), 네이선 로체스터(Nathan Rochester)에 의해 Artificial Intelligence라는 용어를 제시하였고, 이를 걔기로 AI가 학문 분야로 들어서게 되었다.

AI가 학문 분야로 들어서게된 1956년~ 1974년을 AI의 1차 황금기라고 한다.
이 기간동안, 다양한 분야에 대한 AI 연구가 이루어지고, 개발되었으며, 이러한 program들은 대수학문제를 풀고, 기하학 정리를 증명하는 것과 같은 문제를 풀었고, 사람들은 이러한 기계의 지능적 행위를 보고 AI로 모든 것이 가능할 것이라는 낙관론을 펼쳤다. 이 기간동안 프랑크 로젠블라트(Frank Rosenblatt)에해 Perceptron이 개발되었고, 상당한 화제를 불러일으켰다. Perceptron은 비교적 정확히 기술된, 계산에 기반한 최초의 신경망 model이었고, 여러 분야에 큰 영향을 미쳤다.

하지만 낙관적 전망과 다르게 1969년 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)의 저서 'Perceptron'에서 단층 Perceptron의 한계점(단층 perceptron은 주어진 data의 선형분리문제도 해결하지 못한다는 점)이 알려지게 되었다. 또한 현재 연구되고 있던 AI들이 엄청난 지원에도 불구하고, AI 연구자들의 낙관론적 의견을 통해 높여진 기대치에 미치지 못하자, AI에 대한 자금 투자가 사라지며(자금 문제를 제외하더라도, Computing power의 한계, 타 연구자들 및 철학자들의 비판, Perceptron의 한계점 발견으로 인한 Neural Network 연구중단 등 복합적 원인이 있었다.) AI는 암흑기를 맞이하게 되었다.

1950~1980년대의 지배적인 Paradigm은 명시적인 규칙을 충분하게많이 만들어 지식을 다루면 인간과 유사한 수준의 인공지능을 만들 수 있을것이라 생각했다. 이러한 접근 방법을 Symbolic AI라고한다. Symbolic AI는 인공지능의 2차 황금기라 불리는 1980~1987년의 기간동안 Expert system의 유행으로 절정에 다다랐다.

Expert system은 특정 지식의 범위에 대해 문제를 해결해주거나 질문에 대답해주는 program이며 전문가의 지식에서 파생 된 논리적 법칙을 사용하였다. Expert system은 AI가 해결해야할 문제 영역을 특정 지식 범위로 제한함으로써, AI의 가장 어려운 문제인 보편화를 어느정도 피할 수 있었고, 전문가들의 지식을 포함함으로써 두각을 나타낼 수 있었다. 일례로 XCON이라고 불리우는 Expert system은 digital device 제작 회사인 CMU에 의해 개발되었고, 이 system은 매년 40 million dollar의 비용을 절감시켜주며 큰 성과를 거두었다. 이를 기점으로 전 세계의 회사들은 1985년에 1억 달러 이상을 AI에 투자하여 Expert system을 개발하고, 배포하였다. 또한 1986년 데이비드 루멜하트(David Rumelhart)가 현대 DL 학습법의 기반이 되는 Backpropagation을 이용한 학습 기법이 효과적인 결과를 보였고, 제프리 힌튼(Geoffrey Hinton)에 의해 Multi-layer Perceptron을 이용하여 Perceptron의 layer를 늘림으로써 기존의 single-layer Perceptron이 해결하지 못했던 비선형문제(XOR problem)를 해결함으로써, 1970년 이후 버려진 Neural Network라는 이론을 다시한번 부흥시켰다.

이러한 학문적 발달과 시장에서의 호황에도 불구하고, 인공지능에는 다시금 암흑기가 찾아오게 되었다. 1987년~1993년 까지를 2차 암흑기이자 인공지능의 겨울(AI Winter)라고 부른다. 이러한 암흑기는 ironic하게도 1차 암흑기의 원인 중 하나였던 낮은 Computing power가 해결됨으로 인해 촉발되게 되었다. 1980년대 후반 Apple이나 IBM의 personal computer의 성능이 급격하게 발전함에 따라, Expert system의 발전과 함께 AI 시장을 이끌어 오던 AI hardware(Symblics, Lisp 등)보다 성능이 좋아지게 되었고 이로인해 이들을 더이상 구매할 필요가 없어지게 되었고, 전체 AI 산업의 100 million dollar의 절반인 50 million dollar에 해당하는 시장 가치가 한순간에 사라지게 되었다. 또한 Expert System의 한계점 또한 대두되었는데, Expert system은 문제 영역을 특정 지식 범위로 제한하여, 해당 영역에 한해 좋은 성능을 보였지만, 이러한 특징 때문에 새로운 지식을 학습하거나, system을 update하는 것이 상당히 어려웠다. 이로인해 Expert system을 필두로 승승장구하던 AI에 다시금 회의론적 시각과 투자 축소가 이루어지게 되었다. Expert System의 몰락 이외에도, Neuarl Network를 다시금 부흥하게 했던 Multi-layer Perceptron의 Vanishing gradient와 Overfitting 문제(MLP의 경우 Hidden layer를 늘려야 복잡한 문제가 해결 가능하지만 층을 늘릴수록 위의 두 문제점이 심화되었다.)를 해결 할 수 없어 Neural Network에 대한 연구 또한 줄어들게 되었다.

AI Winter 이후, "지능형 Agent", "신체화된 마음(Embodied mind)"이론 등이 등장하며 AI에 대한 원론적인 연구가 진행되는 한편, 여러 어려움과 좌절에도 불구하고 계속해서 Neural Network에 대한 연구를 진행하던 제프리 힌튼(Geoffrey Hinton)의 2006년 발표된 논문 "A fast learning algorithm for deep belief nets"에서 Neural Network의 initial weight를 적절히 설정함에 따라 더 깊은 Neural network를 학습 할 수 있음을 보였고, 이러한 깊은 Network를 DNN(Deep Neural Network)라고 명명하며 본격적으로 Deep Learning이라는 용어가 사용되며 Neural Network가 다시금 주목 받게 되었다.

또한 반도체 산업과, GPU(Graphic Processing Unit)의 엄청난 속도의 성능 발전에 따라 더 깊은 Network의 학습이 가능해졌고, Internet의 보급을 통해 엄청난 양의 Data를 용이하게 수집할 수 있게 되며 다양한 Neural Network에 대한 연구가 진행되었다. 그 중 2009년 Stanford Univ의 페이페이 리(Fei-Fei Li)교수에 의해 설립된 ImageNet에서 개최한 image recognition 대회인 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 2012년 제프리 힌튼(Geoffrey Hinton) team의 Alex-Net이 기존의 shallow architecture 기반의 26%대 오차율을 16%까지 낮추는 기염을 토하며 DNN의 부흥을 다시금 알렸다. 이후 2017년까지 진행된 대회를 통해 인간 오차율로 알려진 5%보다 높은 성능인 2.3%의 오차율까지 성능을 개선하게 되었고, 이러한 과정속에서 다양한 architecture의 Network에 대한 연구와, 학습 방법론이 연구되며 다시금 AI의 황금기를 불러오게 되었다.

하지만 앞선 2번의 황금기에서 알수 있듯이 현재 AI가 만능 도구 처럼 여겨지더라도, 기술이 성숙해 짐에 따라 발견되는 문제점들과 이러한 문제점을 해결 할 수 없음으로 인해 암흑기를 맞이하게 되었던 것 처럼, 현대의 AI 기술 또한 언젠가 한계를 마주하고 다시금 암흑기를 맞이하게 될수도 있다고 생각된다. 이러한 암흑기를 피해가거나 피해를 최소화 하기 위해 조금 더 깊이있고, 성숙한 연구가 뒷받침 되는 것이 중요하며, 그러한 연구를 수행할 수 있는 연구자가 될 수 있도록 우리 스스로 노력해야한다.

Refernce

wikipedia 인공지능 항목

InsilicoGen 기술블로그

the Science Monitor