danny-factory

로드맵

I. Linear Predictors  -  예측하는 함수를 어떻게 만드나 ( * 선형 )

II. Loss Minimization  -  어떻게 오차를 최소화하며 optimization을 할 수 있느냐

III. Stochastic gradient descent   -   방법!

I. Linear Predictors

1. Types of prediction tasks

   1) Binary Classification : 여러 개의 class로 분류하는 것이다. {-1,+1}과 같이 Discrete한 결과로 나눔

   2) Regression : Continuous한 결과로 나눔

2. Types of prediction tasks

   1) Multiclass classification : 출력 y is a category      ex) image를 cat/dog/truck 등으로 분류하는 작업

   2) Ranking :  출력 y is a permutation   ex) 웹페이지들을 중요한 순서대로 나누는 작업  

                   (그런데 이것은 classification인지 regression인지 모호한 면이 있음)

   3) Structured prediction : 출력 y is an object which is built from parts   ex) 한글 문장 -> 영어 문장

     3. Data

        1) Example : 입력 x에 대한 원하는 out put이 y인 자료  (x, y)

        2) Training Data : Set of examples.     

     4. Framework

      5. Feature extraction : input x 에 대한 원하는 출력을 얻기 위한 필요 feature들을 뽑아내는 작업  ex) 이름, 나이, 키 등

  6. Feature Vector :  각 feature들을 vector로 생각하자

                      를 High-dimensional 한 space안의 점이라고 생각하자

    7. Weight Vector : 각 'j' feature에 대한 가중치 vector 라고 생각하자

    8. Linear Predictors : 

              * Score 는 가중치가 곱해진 feature들의 합이다

                                                                            빨간색 부분은 Boundary case이며 어디로 넣든 상관없다