특징 기반 컴퓨터 비전 알고리즘의 이해 - 1. Moravec의 관심 연산자(Interest Operator)

Hans Moravec은 카네기 멜론 대학의 로봇공학자로, 인공지능 및 로봇에 대한 역설¹로도 유명하다. 그의 박사과정 논문은 카메라와 바퀴가 달린 로봇을 이용하여 현실 세계에서의 장애물 회피와 길찾기를 가능케 하는 것을 주 목적으로 했는데, 이 과정에서 그는 영상의 특징이란 무엇인지에 대해 정의를 내리며, 관심 연산자라는 개념을 제안한다.

회색조(Grayscale) 영상과 화소 강도(Pixel Intensity)

논문에서 사용된 카메라는 촬영한 영상을 64레벨의 회색조 영상으로 변환하여 저장한다. 회색조 영상은 색상 정보가 모두 있는 영상에 비해 알고리즘 구현이 간단해지고 계산량이 줄어들기 때문에², 현대에 들어서도 본격적인 영상 처리 기법 적용 이전에 회색조 변환을 적용하곤 한다.

회색조 영상의 각 화소에는 점 하나만큼의 광원으로부터 방출되는 빛의 세기를 의미하는 값이 담기게 되며, 물리학 쪽에서는 이를 광도(Luminous Intensity)라고 한다. 물리량은 보통 연속적(아날로그)이기 때문에, 컴퓨터에서 이러한 데이터를 다루기 위해서는 필수적으로 인코딩을 해줘야 한다. 이렇게 각 화소의 광도를 이산적으로 인코딩한 값을 화소 강도라고 하며, 이는 일반적으로 0 과 2ⁿ - 1 사이의 값으로 표현된다.

Moravec이 제시한 ‘특징’의 정의

Moravec에 따르면 특징(feature)이란 화면 상 화소 주변의 지역성을 조사하여 찾을 수 있는 3차원 세계의 점이다. 어떠한 시점에서 보아도 분명하게 그 위치를 알 수 있을 때, 해당 특징은 좋다고 판단할 수 있다. 따라서 균일한 색상의 영역이나 단순한 모서리(기하학적인 의미)는 좋은 특징이 될 수 없다. 차이를 구분할 수 없는 부분이 존재하기 때문이다(이전 글의 파란 사각형과 검은 사각형을 떠올려 보자). Moravec은 이러한 이유로, 직교 방향으로 높은 대비를 이루는 꼭짓점(vertex 또는 corner, 이하 ‘코너’로 지칭함)이 가장 좋은 특징이 될 수 있다고 하였다. 인간에게는 이런 대비를 알아보는 것이 물 흐르듯 자연스럽다. 그렇다면 컴퓨터를 이용하여 이 과정을 처리하기 위해선 어떤 작업이 필요할까?

방향 분산(Directional Variance)

Moravec은 전체 영상의 데이터 중 일부분을 담을 수 있는 작은 정사각형의 “영상 윈도우(또는 패치)“를 이용하여, 직교 방향에 대한 분산 정도를 구하는 방법을 제시한다. 영상 윈도우의 수직, 수평과 대각 총 여덟 방향으로 인접한 화소에 대해 SSD(Sum of Squared Difference, 차이 제곱합)을 구해, 그 중 가장 작은 값을 관심 척도로 삼는다. 이 값이 극댓값이 되는 영역에 대해, 해당 영상 윈도우의 중심 화소를 특징점으로 판단한다. 이 방법을 이용하여, 보이는 모든 물체들에 대해 최소한의 특징을 선택할 확률을 최대화할 수 있다.

약점

관심 연산자의 근본적인 약점은 크게 세 가지가 있는데, 고주파 잡음에 반응하기 쉽다는 점과 앞에서 이야기한 여덟 방향 이외의 변화에 대해서 잘못 반응할 가능성이 있다는 점, 그리고 원근에 의해 물체가 겹쳐서 생기는 잘못된 특징점이다.

공간 주파수(Spatial Frequency)

화소 강도의 변화율에 대한 기준을 단위시간이 아닌 단위거리를 이용하여 측정하게 되면 이를 공간 주파수³라고 한다. 영상 처리에서는 공간 주파수를 사용하여 영상을 흐릿하거나 날카롭게 만드는 공간 필터링이 이미 널리 사용되고 있다. Moravec의 아이디어를 발전시킨 Harris와 Stephens의 코너점 검출기에서 Sobel 필터와 Gaussian 필터를 이용한 것 또한 공간 필터링의 예 중 하나이다.

영상에서 잡음이라 함은 원본이 담고 있는 형상에서 비롯되지 않은 밝기 또는 색상 정보를 의미한다. 관심 연산자는 화소 단위의 연산이 일어나기 때문에, 짧은 거리 사이의 화소 강도 변화가 큰 고주파 잡음에 태생적으로 취약할 수밖에 없었다. Moravec은 해당 약점의 해소법으로 축소된 영상에 연산자를 적용하는 것을 제안하였다.

모서리 거부 불가

Moravec은 앞서 단순한 모서리는 좋은 특징이 되기 어렵다고 한 바 있다. 따라서, 관심 연산자는 모서리를 거부하고 꼭짓점만을 특징으로 판단하여야 한다. 그러나 분산 정도를 측정할 때 사용되는 방향이 수직, 수평과 대각 총 8방향밖에 되지 않기 때문에, 그 사이의 방향에 평행하여 존재하는 모서리의 경우 거부되지 않고 전체가 특징점으로 판단될 수도 있다. Moravec은 이 문제에 대해 추가적인 해소법을 제시하지 못했다.

원근에 따른 잘못된 특징점

Moravec은 관심 연산자가 모서리가 겹칠 때 생기는 꼭짓점에 특히 잘 반응한다고 한다. 이 꼭짓점은 물론 물체의 실제 꼭짓점이거나 균열일 수 있으며, 이 경우는 굉장히 바람직한 경우라고 볼 수 있다. 그러나 3차원 환경을 2차원 영상으로 사영할 때 발생하는 원근감의 부재로 인해 생기는 ‘가짜 특징점’은 제거되어야 한다. 이는 어찌 보면 영상 처리의 근본적인 문제점으로, Moravec은 이 문제를 해결하기 위해서 좀 더 계산 비용이 많이 드는 방법들이 있을 것이라고 하였다.

결론

Moravec의 관심 연산자는 특징 기반 객체 탐지의 초석이 될 정도로 의미있지만 약점과 한계가 명확했다. 이후 Harris와 Stephens의 코너점 검출기에서 이를 보완하여 비약적인 검출 성능 개선이 이루어지게 되며, 이에 대해서는 다음번 글에서 다루도록 하겠다.

또한 관련된 이미지를 몇 개 추가하고 싶었으나, 스캔이 잘못되었는지 공개된 논문 PDF의 상태가 좋지 못하여 따로 올릴 수 없었다. 다음 글에서는 이해를 돕기 위한 이미지를 더 실어보도록 노력해야겠다.