TNT 1주차 스터디 (1)

 

모르는 것 위주로 정리

 

1. 로지스틱 회귀

위키백과에선 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다라고 나와있다. 

선형 예측 공식

독립변수는 각각의 데이터를 구분하는 기준인 위 식에서 x이고, 이를 선형 결합을 이용해서 예측하는 것이다. 여기서 베타는 회귀계수라고 하고 각각의 피처중요도에 따라 베타 값이 달라진다. (가중치라 생각하면 편할 듯하다.) 여기서 한층 발전해서 2가지 범주로만 이루어졌다고 가정해서 f(i)가 0.5보다 클때는 1, f(i)가 0.5보다 작을 때는 0, 이런식으로 2진 분류한다. 즉 f(i)를 [0,1]로 제한해야 하다보니 log-odd를 이용해서 sigmoid 함수에 넣는다.

다시 한번 정리하면

 

a) 선형 결합을 이용해서 값과 계수를 넣어 log-odd에 넣는다.

b) 이 값을 sigmoid 함수에 넣는다.

c) binary classification, 즉 이진분류한다.

 

로지스틱회귀(Logistic Regression) 쉽게 이해하기 - 아무튼 워라밸

이 블로그를 참조하면 log-odd나 log loss에 대해 자세히 알 수 있다.

 

2. Activation function : Sigmoid & Softmax & ELU(?)

먼저 활성화함수(activation function)을 알아보면 '입력된 정보를 고려해 노드의 output을 결정한다.' 고 나와있다. 더 깊게 이해하려면 밑의 사진을 보자.

https://www.youtube.com/watch?v=Jt5BS71uVfI

위의 사진은 크로스 엔트로피의 예시이다. Q는 Estimated probability , P는 True probability이다. 저 밑의 로그 함수에서 Q와 P를 대입하면 크로스 엔트로피가 나온다. 즉 이 Q와 P가 얼마나 유사한지를 비교하기 위해 크로스엔트로피를 구하는 것이다. 이 크로스엔트로피 함수에 확률에 바꿔서 집어넣기 위해 activation function, 활성화함수가 필요하다.  그중 대표적인 것이 sigmoid, softmax, logit 등이 있다.

 

수식으로 살펴보고 싶다면 밑의 게시물을 참고하면 좋다.

 

logit, sigmoid, softmax의 관계 - 한 페이지 머신러닝

 

너무 돌아갔지만 sigmoid는 binary classification을 위한 로지스틱회귀에 사용되고 softmax는 다항로지스틱회귀(범주가 더 다양)에 사용한다. 그래서 crossentropy같은 손실함수에 이용하기위해 데이터를 바꿔준다.

 

보통 실제 코딩에서는 마지막에 sigmoid나 softmax를 활용하고 보통 relu 등을 사용한다. 그 이유는 RELU가 optimization 속도가 제일 빠르고 미분하는데 계산 비용이 크지 않다. 하지만 중간에 뉴런이 죽는 경우가 많다고 한다.

 

이번 실습에서 처음으로 ELU에 대해 알게 되었다. RELU에 착안에서 Leaky RELU, PReLU, ELU, Maxout 등이 존재한다고 한다. 간단히 ELU를 정리해 보자면 앞서 말한 단점의 문제를 상쇄시키고 출력값이 zero-centered 하다고 한다, 하지만 추가적인 미분의 코스트가 들어간다고 한다. 

Review and Comparison of Commonly Used Activation Functions for Deep Neural Network 논문에서 말한 것과 다양한 레퍼런스를 비교할 때 

 

 

Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks

 

결론적으로, activation function을 RELU를 먼저 최우선으로 고려하고 그 외에도 ELU, Leaky RELU 등 다양하게 시험해보는 편이 모델 구축 에 효과적이라 느꼈다.

 

2편 -->

TNT 1주차 스터디 (2)

 

 

Comparison of Activation Functions for Deep Neural Networks

 

 

Activation function 종류 및 특징 · Seongkyun Han's blog