tf.keras.layers.Dense | TensorFlow Core v2.6.0 Just your regular densely-connected NN layer. www.tensorflow.org Dense layer은 NN으로 다시 연결할 때 사용한다. output = activation(dot(input, kernel) + bias) kernel : layer에 주어진 weight matrix bias : layer에 정해진 bias vector로 model을 optimize하기 위해 사용된다. 1. kernel_initializer 그 중 kernel_initializer = 'he_normal'을 많이 사용하는데 0을 중심으로 정규분포 해당하는 kernel을 가중치로 가져온다. 이외에도 ReL..

만약 에러가 train되는 마지막에 등장했다면 이 해법은 확실하다. batch를 활용해서 train하고 있을 때, 아마 마지막에 batch_size가 동일 하지 않기 때문에 발생된 에러이다. 예를 들어 dataset = Dataset().batch(batch_size) 이런 식으로 되어 있다면 이거를 dataset = Dataset().batch(batch_size, drop_remainder = True) 뒤에 단어를 추가해주면 간단하게 문제가 fix 된다. drop_remainder를 True로 설정하면 마지막 배치 크기를 무시하고 지정한 배치크기를 유지할 수 있다. 그래서 dimension과 관련된 에러없이 문제가 해결된다.

1. LIME & Attention LIME에 관한 간단한 설명 LIME과 관련한 스터디를 진행한 뒤, Attention이라는 새로운 method도 알게 되었다. 둘 다 모두 인간에게 NLP나 CNN이 어떻게 작동되는지 직관적인 뷰를 제공하는 툴이다. 즉 인공지능이 그렇게 판단한 이유를 보기 쉽게 설명한 다는 것이다. 위의 사진을 보면 I love you를 je t' aime로 통역한 이유를 알 수 있다. 진하게 표시한 부분이 가중치를 더 많이 준 것을 알 수 있다. 앞으로 task에서 많이 활용할 예정이다. 2. 데이터셋 뻘짓 데이터 모델에서 fft를 활용하려고 scipy.fftpack.fft()를 활용하려고 하였다. 하지만 이미 데이터셋 함수에서 from_tensor_slices를 활용해서 tenso..

바로바로 한컴입력기 땜에 그런것이다. 한글을 깔릴 때 같이 깔리나 보다... 1. 짜증나는 한컴 입력기 삭제(MS 오피스 한글 교정이 이상하거나 IDE 단축키가 오작동) www.lesstif.com 이분의 설명을 들으면 속이 시원해진다. 따라하면 번거로움 없이 코딩을 즐길 수 있다 ㅎ

1. Batch normalization https://www.youtube.com/watch?v=nUUqwaxLnWs Andrew Ng 교수님 설명 내용을 요약해보면 검은 고양이 사진만으로 train 시킨다고 할 때 test에서 갈색 고양이를 목격한다면 대응하기가 쉽지 않을 것이다. 이를 공변량 변화 (covariate shift)이라고 한다. 이럴 때 생기는 문제를 batch normalization은 안정화시킨다. Normalization은 평균과, 분산을 일정하게 조절하다보니 앞 부분의 NN이 달라지더라도 뒷 부분의 NN이 크게 변화되지 않아 부담을 줄여준다. 그리고 이를 통해 빠르게 훈련을 시킬 수 있다. 또한 regularization effect도 있어 overfitting을 방지하기도 좋다..

모르는 것 위주로 정리 1. 로지스틱 회귀 위키백과에선 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다라고 나와있다. 독립변수는 각각의 데이터를 구분하는 기준인 위 식에서 x이고, 이를 선형 결합을 이용해서 예측하는 것이다. 여기서 베타는 회귀계수라고 하고 각각의 피처중요도에 따라 베타 값이 달라진다. (가중치라 생각하면 편할 듯하다.) 여기서 한층 발전해서 2가지 범주로만 이루어졌다고 가정해서 f(i)가 0.5보다 클때는 1, f(i)가 0.5보다 작을 때는 0, 이런식으로 2진 분류한다. 즉 f(i)를 [0,1]로 제한해야 하다보니 log-odd를 이용해서 sigmoid 함수에 넣는다. 다시 한번 정리하면 a) 선형 결합을 이용해서 값과 계수를 넣어 log-o..