AI 개요 - Deep Learning (1)

AI는 인간의 사고방식을 모사하여 컴퓨터로 구현하려는 컴퓨터 과학의 분야이다. 이 글에서는 AI에서 가장 작은 개념을 의미하는 딥러닝에 대해 설명하고자 하는데, 이전에 적은 머신러닝 글과 비교하며 읽으면 좋다.

인공 신경망 출처: 용어로 알아보는 우리시대 DATA

 

딥러닝은 인공신경망(Artificial Neural Network: ANN)기반이며, ANN은 생물학적인 신경망에서 영감을 받았다. 

Neuron/Perceptron (출처: https://www.pallavibharadwaj.com/perceptron-and-its-implementation-in-python)

인간의 신경세포체인 뉴런은 자극을 받으면, 전기를 발생시켜 그 신호를 다른 뉴런에 전달하는 기능이 있다. 퍼셉트론은 뉴런에서 영감을 받았으며, input(자극)이 있고 중간 작업을 거쳐 output을 내보내는 구조(다른 뉴런에 신호 전달)를 가지고 있다. 퍼셉트론은 input에서 수치화된 값을 받게되고, 이 값들은 각각의 가중치와 곱하여 그 합을 내는 첫번째 단계를 거친다. 그 다음 (input × 가중치)의 합을 활성함수를 통해 threshold(임계치)보다 큰 경우 1, 아니면 0으로 output을 만들어낸다. 퍼셉트론은 input값과 가중치, 활성화 함수를 통해 간단한 논리 연산이 가능하다는 것을 보여준다. 

퍼셉트론으로 구현 가능한 간단한 logic gate and/or/not (출처: https://www.youtube.com/watch?v=E5V9zBBAfWM)

 

퍼셉트론을 하나만 이용한 단층 구조인 경우 선형으로 분리가 불가능한 구조는 구현할 수 없기에, not/or/and의 간단한 논리 연산은 가능했지만 XOR의 경우는 구현할 수 없었다(아래 그림의 xor에서 선 하나만 그어 검은 점과 하얀 점을 분리해내는 것은 불가능).

선형으로 분리 가능한 and/or 불가능한 xor (출처: https://towardsdatascience.com/radial-basis-functions-neural-networks-all-we-need-to-know-9a88cc053448)

이것을 해결하기 위해 등장한 아이디어가 다층 퍼셉트론 구조이며, 다층 퍼셉트론은 hidden layer를 추가할 때마다 더 복잡한 구조를 설계할 수 있고 더 복잡한 문제를 해결할 수 있다.

다층신경망

패턴 인식에서의 대부분의 input 값은 선형으로 분리가 불가능한 문제가 대부분이었기에, 여러 겹의 신경망을 쌓는 방법이 나오기 전에는 xor 문제를 해결할 수 없다고 판단되었었고, 이로 인해 AI winter로 불리는 암흑기가 찾아왔었다. 

 

오늘 글은 인공신경망에서 가장 기본적인 구조인 퍼셉트론 위주로 작성해봤다. 다음 글에서는 활성 함수를 설명해보도록 하겠다.