iMTE

Boosting and AdaBoost 1. Boost Boosting 방식은 꽤 합리적인 방법이다. 하나의 강력한 classifier로 데이터를 분류하는 것은 여러 한계가 있다. 잘 생각해보면, 우리가 '정보'를 찾을 때 네이버에서만 찾지는 않는다. 여러가지 포탈 사이트에서 정보를 찾아보면서 그 정보들을 긁어모아서 우리는 나름 '학습'을 한다. 하나의 규칙은 상황에 따라서 부정확할 수 있다. 우리는 어떤 의사결정을 할 때, 다양한 규칙들을 고려를 하고 그 규칙들을 기반으로 '선택'을 한다. 하지만 이 규칙들은 어쩔때는 잘 맞을 때도 있지만 아닐 때도 있다. 다수의 weak learner를 만들어, 이들의 결정을 voting하여 더 좋은 성능을 구현하는 것이 boosting의 핵심 아이디어이다. ense..