[Neural Network 6] 시그모이드 활성화함수

간략한 요약

이 비디오에서는 다층 신경망 발전의 중요한 초석인 활성화 함수에 대해 설명합니다. 특히, 계단 함수의 한계를 극복하고 다층 신경망 시대를 연 시그모이드 함수의 중요성과 장점을 강조합니다.

계단 함수의 한계: 내부 값의 차이를 오차에 반영하지 못함.
시그모이드 함수의 장점: 미분 가능, 내부 값의 차이 표현, 확률로 변환.
시그모이드 함수의 단점: 기울기 소실, 지그재그 현상.

소개

다층 신경망은 단층 퍼셉트론에 비해 강력하며, 오늘날 딥러닝의 기반이 되었습니다. 이번 영상에서는 다층 신경망을 발전시킨 중요한 요소 중 하나인 활성화 함수에 대해 알아봅니다. 활성화 함수는 신경망이 복잡하고 다양한 기능을 갖도록 하는 데 중요한 역할을 했습니다.

계단 함수의 한계

지난 영상에서 소개된 계단 함수는 특정 값 이하일 경우 0을, 역치 이상일 경우 1을 출력하는 비선형 함수입니다. 하지만 계단 함수는 내부 값의 차이를 반영하지 못하는 치명적인 약점이 있습니다. 예를 들어, 퍼셉트론의 계산 값이 0.001이든 0.499든 상관없이 출력값은 0이 되어 내부적인 차이가 무시됩니다. 이는 학습 효율성을 저해하는 요소입니다.

시그모이드 함수의 등장

학습 효율성을 높이기 위해 내부 값의 차이를 오차에 반영할 수 있는 활성화 함수가 필요합니다. 시그모이드 함수는 S자 형태의 함수로, 계단 함수를 부드럽게 만든 형태입니다. 이러한 작은 차이가 다층 신경망 시대를 여는 결정적인 혁신이 되었습니다. 시그모이드 함수는 미분 가능한 함수이기 때문에 오류 역전파 알고리즘을 사용할 수 있습니다.

시그모이드 함수의 장점

시그모이드 함수의 가장 큰 장점은 계단 함수로는 표현할 수 없었던 내부 값의 차이를 표현할 수 있다는 것입니다. 시그모이드 함수는 신경망의 내부 값에 따라 0과 1 사이의 값을 출력하며, 내부 값을 확률로 변환해주는 의미가 있습니다. 예를 들어, 개와 고양이를 분류하는 선형 분류기의 경우 시그모이드 함수에 의해 최종 출력값이 0과 1 사이의 확률로 출력될 수 있습니다. 확률로 변환한다는 것은 신경망의 출력값이 단순한 숫자가 아니라 어떤 의미를 가진 숫자로 변환되기 때문입니다.