iMTE

activation functions In [1]: import matplotlib.pyplot as plt import numpy as np Step function¶ In [2]: def step(x): return 1*(x>0) In [3]: inputs = np.arange(-5,5,0.01) outputs = step(inputs) plt.figure(figsize=(8,5)) plt.plot(inputs,outputs,label='Step function') plt.hlines(0,-5,5) plt.vlines(0,0,1) plt.xlabel('input',fontsize=24) plt.ylabel('output',fontsize=24) plt.grid(alpha=0.3) plt.title("..

Likelihood function and Maximum Likelihood Estimation 1) Likelihood Likelihood는 주어진 parameter에대해서 관측된 데이터 (Observed data) 에 대한 확률로, 다음과 같이 나타낸다. 설명을 돕기위해서, 만약 관측된 데이터들이 서로 독립 (Independent)이고, mu와 sigma^2를 갖는 정규분포를 따를 경우에는 다음과 같이 likelihood를 표현할 수 있다. Likelihood는 위와 같이 계산이 된다. 2) Maximum Likelihood Estimation Maximum Likelihood Estimation (MLE)는 주어진 데이터에 대해 이를 잘 설명하는 모델의 parameter를 구할 때 사용되는 기술이다..

주성분 분석 PCA(Principal Components Analysis) 1. Curse of dimensionality 어떤 데이터에서 feature를 추출할 수 있고, 이 feature의 개수가 많으면 많을 수록 학습이 잘 될 것이라고 착각을 하게된다. 하지만 실제 유의미한 feature들을 찾는 것이 매우 중요하고. 몇몇 논문들은 성능이 최대가 되는 조합을 random feature 조합을 찾아서 찾아낸다. Curse of dimensionality는 dimension reduction의 방법으로 고차원의 feature vector를 저차원의 feature vector로 바꿔주는 방법이다. Curse of dimensionality는 K-NN에서 흔히 다들 심각성을 설명하는데, 차원의 수가 많아질..

Genetic algorithm 여러 개의 변수가 사용되는 경우 'Gradient descent'알고리즘을 사용하면 local minimum을 찾을 수 있고, 운이 좋으면 global minimum을 찾게 된다. 운이 좋다는 것은 시작점을 잘 선택했다는 것이다. (그래서 neural network에서 weight initialization이 매우 중요하다.) 하지만, Gradient descent는 많은 변수가 사용되면 계산 비용이 매우 커질 뿐만 아니라, gradient를 계산하기 위해서 편미분이 가능해야한다. 만약 편미분이 불가능한 상태에서는 optimization은 불가능한가? 답은 아니다. Genetic algorithm은 매우 직관적인 결과를 제공한다. Genetic algorithm (GA)은..

Han, Kun, Dong Yu, and Ivan Tashev. "Speech emotion recognition using deep neural network and extreme learning machine." Fifteenth Annual Conference of the International Speech Communication Association. 2014. Abstract 1. Speech emotion recognition은 어떤 feature들이 의미가 있는지 파악하기 어려움.2. Deep Neural Networks (DNN)은 raw data에서 high-level feature를 추출하여서 speech emotion recognition에 효과적인 결과를 보여줌.3. Extrem..