iMTE

Computer Vision [8] 1. Video RepresentationImage를 SIFT혹은 Hog Feature로 표현 (Representation)하는 방법을 이전에 학습하였다. 이번에는 Video를 표현하는 방법을 알아보자. 2. MotionVideo에서 유용한 Feature를 뽑으라면, 연속되는 frame사이에 object의 motion일 것이다. 정적인 object는 motion이 없을 것이며, 움직이는 object는 motion이 바뀔 것이다. Motion을 통해서 1) 3D structure estimation, 2) object segmentation, 3) recognizing action and shape등을 해낼 수 있다.Video에서 Motion을 추출하는 방법은 3가지가 ..

Computer Vision [7] 1. Metric LearningMetric Learning의 핵심은 "Similarity"이다. 어떤 이미지가 주어졌을 때, 이 이미지와 연관된 이미지를 찾는 방법은 무엇일까? 바로 Similar한 사진을 찾으면된다. 예를 들어, 얼굴 인식을 하는 경우를 생각해보자. 특정 얼굴 사진 A가 우리의 Dataset에 있고, 사용자가 얼굴 인식으로 스마트폰을 On시키고자할 때는 A와 비슷한 A'이 입력될 것이다. A와 A' 사이의 비슷함의 정도는 Dataset에 있는 다른 사용자의 B와 A' 사이의 비슷함보다 "가까울 것이다." 결국, 스마트폰이 On이 된다.비슷함의 정도를 나타내는 방법으로 Metric이 사용되며, 가장 흔히 알고 있는 Metric은 Euclidean Di..

Computer Vision [6] Computer가 어떤 사진을 보고 이해하고, 이해한 결과를 표현할 때 Classification은 매력적이다. 강아지 혹은 고양이의 특징들을 학습한 Computer가 자동적으로 강아지와 고양이를 구분해준다면, 수천장 수만장되는 사진을 우리가 직접 구분하지 않더라도, Computer가 빠르게 진행해 줄 수 있을 것이다! 최근 Deep Neural Network의 등장으로 기존의 Hand-crafted feature방법보다 더 정확할 뿐만 아니라, General Purprose GPU로 인해 매우 빠르게 진행된다. (나중에 CUDA관련된 Image Processing Topic을 다루고 싶다. CPU에 비해서 정말 빠르다.) 1. Image Representation 먼..

Computer Vision [5] 1. Homography 동일한 물체에 대해서 다른 위치에서의 찍힌 두 이미지 사이의 관계는 구할 수 있을까? Homography는 아주 simple한 방법으로 이 관계를 설명할 수 있다. 두 이미지의 관계를 나타내기 위해서는 Homography matrix H를 통해 Mapping될 pair point들이 모두 같은 plane에 있어야한다는 제약이 있다. Homography를 estimation하는 과정을 깊게 파악해보자. 다음 두 점이 pair를 이룬다고 하자, (이때 중요한건 pair들이 collinear 하면 안된다. 즉, estimation하는데 사용되는 3개의 점들이 선 하나 위에 있으면 안된다.) Homography Matrix H에 의해서 위와 같이 하나..

Computer Vision [4] 1. Camera ModelWorld의 물체는 Camera의 Lens를 통해 Sensor Plane에 투영이되고 우리는 이를 Image의 형태로 받아낸다. 따라서 Camera Model을 구하는 것은 실제 3D 물체의 coordinate와 Image의 coordinate의 관계를 찾는 것이다. 즉, I=MX, I는 2D Image이고 X는 3D 물체의 coordinate 그리고 M은 이 둘 사이의 관계인 "Camera Model"이다. 2. Homogeneous Coordinate가장 먼저 이해해야할 내용은 Homogeneous Coordinate이다.기본적인 coordinate system에서는 vector를 밑의 식과 같이 표현한다.하지만, Homogeneous C..

Computer Vision [3] 1. Fitting (Modeling)특정 Feature Extraction Methods로부터 추출된 Features는 우리가 원하는 특정 값과의 상관성을 찾는데 사용될 수 있다. Features를 사용하여 특정 값과의 상관성을 찾는 방법 중에는 가장 많이 사용되는 Least Square Method와 outlier에 강인한 RANSAC (Random SAmple Consensus)가 있다. 2. Least Square Method최소자승법이라고 불리는 Least Square Method는 y = ax +b와 같은 선형 관계를 찾는데 사용된다. y는 우리가 원하는 특정 값이며, x는 입력 Feature이다. a와 b를 찾는 것이 상관성을 찾아내서 모델화를 시키는 방법..

Computer Vision [2] 1. SIFT(Scale-Invariant Feature Transformation)앞 장에서, Harris Corner Detection은 Scale variation에 취약하며, Laplace of Gaussian (LoG)는 연산량이 많다고 언급하였다. 이를 해결하기 위해서 SIFT가 제안되었는데, SIFT는 두 부분으로 나뉜다.1). Detector - Interesting point를 찾고 그 point를 filtering 한다.2). Descriptor - Interesting point 주위의 방향을 바탕으로 dominant한 orientation과 주변 pixel들의 방향에 대한 정보를 끌어낸다.이 두가지 방법으로 인해서 SIFT는 1). Scale Va..

Computer Vision[1] 1. Image Features이미지는 각 pixel (0~255)로 나타나는 matrix이다. Raw pixel을 사용해 image를 분석할 수 있지만, Raw pixel은 1. scale variation, 2. intra-class variation, 3. deformation, 4. occlusion, 5. illumination change 등에 매우 취약하므로, 이미지의 pixel matrix에서 특정 "feature"를 찾는 과정이 필요하다. Feature는 하나의 이미지에 "vector" 형태로 추출되며, 추출된 "vector (e.g., feature)"는 Decision Marker (ex, machine learning models)에 의해서 분류(c..