[CS231n]Image classification

1. Image Classfication

     API

    두 개의 함수를 사용함. Train과 Predictions

 

    First classifier: Nearest Neighbor (가장 심플한 classfier. 이 알고리즘은 약간 멍청함. )

    Training 단계에서는 모든 데이터를 암기한다. Predict 단계에서는 가장 비슷한 data를 찾아낸다.

       ex) 데이터 셋 예시: CIFAR10 

       ex) L1 distance; Manhattan distance (두 이미지를 비교하는 심플한 방법)

     

2.Python Code

 

import numpy as np

class NearestNeighbor:

    def __init__(self):

        pass

    def train(self, X, y):

    """ X is N x D where each row is an example. Y is 1-dimension of size N """

    # the nearest neighbor classifier smiply remembers all the training data

    self.Xtr = X

    self.ytr = y

    def predict(self, X):

    """ X is N x D where each row is an example we wish to predict label for"""

    num_test = X.shape[0]

    # lets make sure that the output type matches the input type

    Ypred = np.zeros(num_test, dtype = self.ytr.dtype)

    for i in xrange(num_test):

        #find the nearest trainging image to the i'th test image

        #using the L1 distance (sum of absolute value differences)

        distances = np.sum(np.abs(self.Xtr - X[i,:]), axis = 1)

        min_index = np.argmin(distances)

        Ypred[i] = self.ytr[min_index]

    return Ypred

 

Q. With N examples, how fast are training and prediction?

A:  Train O(1), Predict O(N)

더 큰 값의 K를 사용한다면, 

 

4. Distance Metrics

 

 L2는 L1과 반대로 좌표를 바꾸어도 값이 바뀌지 않는다. 

 L1 has coordinate dependency

http://vision.stanford.edu/teaching/cs231n-demos/knn/

http://vision.stanford.edu/teaching/cs231n-demos/knn/

지금까지 k값을 바꾸고 다른 거 metrics를 고르는 것에 대해 배움. 이러한 선택들을 hyperparameters라고함/

 

5. Hyperparameters

 어떤 k가 최적의 값일까? 어떤 distance가 최고일까? 이건 우리가 선택하는 값(hyperparameters)라 함

직접 해보고 대입하여 나중에 확인해보는 것임.

 problem-dependent

 

6. Splitting Data

 

7. Crossvalidation

 작은 데이터셋에 이용됨 딥러닝보단. training data를 여러 fold로 split하여 생각한다. 

 

8. KNearest Neighbor

9. Curse of dimensionality

10.Summary

11. Linear Classification

12. Deep Learning

13. Linear Classifier