I.

MPEG-7 시각 기술자를 이용한 관심영역 기반의 의료 영상 검색

ROI-based Medical Image Retrieval using MPEG-7 Visual Descriptors

MiSuk Seo*, ByoungChul Ko*, JaeYeal Nam*

* Department of Computer Engineering, Keimyung University, Deagu 704-701, forever1004@kmu.ac.kr

Abstract: We present a ROI(Region-Of-Interest)-based medical image retrieval method that is considering combination of visual descriptors and initial weights for similarity matching. For semantic ROI segmentation, we create Attention Window(AW) to remove the meaningless regions included in the image such as background and to reduce the amount of processing time for segmenting ROIs. In addition, in order to improve the retrieval performance and consider human perception, initial weights for feature distances are also proposed. Experimental results show that the ROI-based method having different initial weights gives the better performance than pervious related methods.

Keyword: ROI, medical image, retrieval system, MPEG-7 descriptor

서 론

정보통신, 컴퓨터 네트워킹, 데이터베이스, 정보관리, 사용자 인터페이스 및 정보저장관리 기술을 바탕으로 한 자동화 시스템의 도입으로 의학 분야에서는 방대한 의료 영상이 디지털화 되어 하나의 데이터베이스를 구축하고 있다. 따라서 대용량의 의료 영상을 효과적으로 검색하기 위한 필요성이 대두되었고, 이를 위한 멀티미디어 데이터 기술(description) 표준인 MPEG-7의 응용 연구가 활발히 진행되어 오고 있다[1]. 의료 영상은 관찰자의 눈에 따라 다른 의미를 부여할 수 있으며, 영상 내에서 중요한 의미를 내포하는 관심영역과 단색의 배경으로 구성된 특징을 가지고 있기 때문에 일반 자연영상과는 다른 특징기술 및 검색방법이 요구된다.

MPEG-7 기술자는 영상의 고유한 특징 정보를 기술하며 영상 특성에 따라 각 기술자를 이용한 검색 성능이 달라질 수 있다. 또한 영상 전체를 대상으로 특징을 추출하고 영상 간의 유사도를 측정한다. 때문에 이를 의료 영상에 적용할 경우에 의료 영상 내에 존재하는 비 관심영역의 영향을 받게 되어 효과적으로 의료 영상을 검색하지 못한다. 따라서 의료 영상의 관심영역을 배경으로부터 분리하고, 분리된 관심영역의 특징을 기술자의 조합을 통하여 복합적으로 기술하는 것이 필요하다.

II. 방 법

본 논문에서는 MPEG-7 기술자들을 이용한 관심영역 기반의 의료 영상 검색 기법을 제안하고 이를 기반으로 한 의료영상 검색시스템을 구현한다. 제안된 기법은 관심 윈도우와 쿼드-트리(quad-tree)를 이용하여 하나 이상의 관심영역을 추출하고, 각 영역에 대하여 색상(color), 질감(texture), 모양(shape) 특징을 추출한다. 추출된 특징벡터들을 조합하고 각 영역의 중요도 대비 맵(saliency contrast map)을 이용하여 초기 가중치를 설정한 뒤 이를 이용하여 비교 영상 간의 유사도 측정을 수행한다.

Figure 1. System architecture of the proposed method

1.  인간 시각 특성에 기반 한 관심영역 검출

일반적으로 완벽한 객체 기반의 영상 세그먼테이션(segmentation)은 현재의 컴퓨터 비전 기술로는 불가능하며 많은 처리 시간이 요구된다. 따라서 본 논문에서는 영상에 대한 세그먼테이션 과정 없이, 인간의 시각적인 특징을 이용하여 관심영역을 추출한다. 이를 위해 그림 2와 같이 명암 지도(luminance map)를 이용하여 영상 내에서 관심 윈도우를 생성한다[2].

(a)         (b)          (c)         (d)

Figure 2. ROI Segmentation (a)input (b)luminance map (c)Attention Window (d)Segmented ROIs

먼저 명암지도()를 생성하기 위하여 본 영상에 대하여 1/2로 크기를 줄인 회색도 영상(L)에 다른 크기의(12x12, 13x13) 필터를 각각 적용하고, 필터안의 중심점과  주변 점들 사이의 차이 값을 계산하여 원 영상에 대한 두 개의 특징지도(feature map)를 생성하여 정규화 한다. 그리고 생성된 특징 지도에서 잡음과 주변 포인트들의 영향을 제거하기 위하여 가우시안 필터를 적용한다. 이러한 과정을 통하여 영상 크기가 L이고, 사용된 필터 크기가 s일 때 해당 중심점과 이웃 점들 간의 명암 차이를 나타내는 을 구하는 식은 (1)과 같다. 은 이후 다시 원래 크기의 영상으로 샘플링 된다.

[eqn: bar{L`} = {1} over {2} LEFT ( sum _{s IN 11 TIMES 11,13 TIMES 13} ^{} L(s) RIGHT )]	(1)

명암지도가 추출되면, 관심 윈도우(AW: Attention Window)를 설정한다. 관심 윈도우는 영상 내에 존재하는 의미 없는 비 관심 영역을 제거하고, 관심영역 추출의 상당한 처리 시간을 줄이기 위래 사용된다. 먼저, 전체 영상에서 초기 관심 윈도우를 선정하고 초기 관심윈도우가 관심영역의 크기와 가장 유사한 근사 크기를 가질 때까지 그 크기를 한 픽셀씩 줄여나가는 방식을 취함으로써 최종적으로 분리된 관심 윈도우를 얻어낸다. 초기 AW의 크기는 영상분석을 통해 계산된 값으로 의료 영상에 존재하는 최대 관심영역의 크기를 포함하도록 설정되었다.

2. 쿼드-트리를 이용한 관심영역 세그먼테이션

본 논문에서는 영상 세그먼테이션을 위한 처리시간을 줄이기 위해 쿼드-트리(quad-tree)에 기반 한 관심영역의 세그먼테이션 기법을 제안한다.

Figure 3. ROI segmentation steps using a quad-tree

먼저 관심 윈도우 안에서 명암지도의 평균값([eqn: mu _{AW}])을 계산하고 이를 영역 분할을 위한 임계값으로 사용한다. 초기 관심 윈도우를 4x4개의 서브-블록(sub-block)으로 분할한 서브 영역 내에서의 명암지도 평균([eqn: mu _{R _{i}}])이 지정된 임계값 [eqn: mu _{AW}] 보다 클 경우, 해당 서브-블록은 다시 4x4개의 서브-영역으로 재분할되며, 작은 경우에는 해당 서브-영역을 제거시킨다. 이러한 서브-영역의 제거는 결국 명암지도 값이 임계값보다 작을 경우 중요 영역이 포함되어 있을 가능성이 적다고 보는 것이며, 그 반대의 경우는 중요한 영역이 포함되어 있을 가능성이 높다는 의미로 해석하는 것이다. 그리고 이러한 과정에서 제거되지 않은 서브 영역들은 보다 세밀한 관심영역을 추출하기 위해 보다 더 작은 서브 영역으로 분할하는 과정을 거친다. 이러한 과정은 3번의 분할 단계까지 반복적으로 수행한다. 마지막으로 각각의 영역들을 이웃하는 큰 영역으로 합병하고, 선정된 주요 영역과 거리가 멀리 떨어진 작은 영역들을 제거함으로써 관심영역을 얻어내게 된다. 그림 3은 제안된 세그먼테이션 기법을 통하여 관심영역이 추출되는 과정을 보여준다.

3.  MPEG-7 시각 기술자

MPEG-7의 비주얼 기술자는 영상과 비디오의 색상, 질감, 모양, 움직임 등의 특징을 기술하는 기술자로 구성되어 있다. 본 논문에서는 추출된 하나 이상의 관심영역에 대한 색상, 질감, 형태 특징 기술을 위해 Color Structure Descriptor(CSD), Edge Histogram Descriptor(EHD), Region Shape Descriptor(RSD)를 각각 사용하였다.

3.1 Color : Color Structure Descriptor (CSD)

CSD는 영상의 유사한 색상 간의 히스토그램과 지역 공간 구조의 분포를 나타내며, 구조적 특징을 가진 색상 분포를 효과적으로 기술한다. 추출된 특징은 8비트 양자화 된 1차원 배열의 특징 벡터를 생성한다.

	(2)

M은 {256, 128, 64, 32} 중 하나의 값을 지정하고 S 는 structuring element의 크기를 나타낸다. CSD를 이용한 질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역간의 유사도 식은 식(2)과 같다. 수식 (2)에서 qc와 rc는 각각 질의 영상과 참조 영상에서 얻어진 영역을 의미하고 와 는 각각 질의와 참조 영상의 qc와 rc영역에서의 i번째 특징 벡터 값을 의미한다.

3.2 Edge : Edge Histogram Descriptor (EHD)

EHD는 분할된 서브 영상을 토대로 수직, 수평, 대각선 두 방향의 4 종류 에지와 비 방향성 에지를 검출하여 에지의 국부 분포를 나타낸다. 각 서브 영역마다 5가지의 에지 타입이 존재하기 때문에 4*4=16의 서브 영상에 전체 16 5=80개의 빈(bin)을 가지는 히스토그램이 추출되고, 이는 식(3)과 같다.

	(3)

	(4)

EHD를 이용한 질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역 간의 유사도 측정은 식(4)과 같다. qc와 rc는 각각 질의 영상과 참조 영상에서 얻어진 영역을 의미하고 QEHD(i)(qc)와 REHD(i)(rc)는 질의와 참조 영상의 qc와 rc 영역에서의 i번째 특징 값을 의미한다.

3.3 Shape: Region Shape Descriptor (RSD)

RSD는 Angular Radial Transform(ART) 기법을 사용하며 생성된 ART 계수는 정규화 된 35개의 계수로 표현된다. 질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역 간의 유사도(Diff_RSD)의 측정은 식(5)과 같다. 수식 (5)에서 과 은 각각 질의와 참조 영상의 계수 크기를 나타낸다.

	(5)

3.  유사도 측정

각 기술자로 생성된 특징 벡터의 크기는 다양한 값의 범위를 가지기 때문에 영상 간 유사도를 측정하기 위해서는 정규화가 필요하다. 따라서 벡터간 거리를 이용한 유사도 측정에 있어, 각 관심영역에서 추출된 세 특징 벡터는 정규화가 필요하며 이를 위해 가우시안 정규화(Gaussian normalization method)를 이용한다[3].

질의 영상은 하나 이상의 관심 영역이 추출되며 이에 대해 세 가지 특징 벡터들이 생성된다. 질의 영상 내의 관심영역 Q1은 목표 영상 안에 포함된 영역들과의 유사도 수행을 위해 1: N 의 관계를 가지며, 각각의 참조 영역 Ref1, Ref2, Ref3과 특징 값의 거리를 측정한다. 그 중 정의된 임계값을 넘지 않는 최소 거리의 영역을 찾고 이를 참조 집합인 Rc에 포함시킨다. 그림 3에서의 연산 결과, 질의 영상내의 영역 Q1, Q2와 가장 유사한 영역인 Ref1, Ref3이 최종 후보 참조 집합 Rc = {Ref1, Ref3}에 포함되고 유사도 비교 수행을 위해 사용된다.

Figure 3. Example of finding a candidate reference set

질의 영상의 관심 영역들에 대한 후보 참조 집합이 결정되면, 특징 벡터의 거리 차를 구하기 위해 영역의 중요도에 따른 초기 중요도 가중치 (wi)를 평가하여 설정한다. 관심영역 간의 중요도 평가는 인간 시각 특성에 부합하는 명암 대비 지도를 이용한다. 먼저, 명암 대비 지도 i를 이용하여 각 관심영역의 분산 vi를 계산한다. 구해진 분산을 평가하여 더 높은 분산을 가지는 영역이 더 중요한 영역으로 가정하고, 식(6)을 이용하여 상대적인 중요도 값을 부여한다.

	(6)

N은 관심영역의 개수를 의미하며, 수식에서 분모가 exp(vi)일 경우 선형 조합 보다 특징 값의 작은 변화에 민감하게 작용하기 때문에 검색 성능 향상에 도움을 준다. 하나 또는 다수의 관심 영역에 대해 구해진 세 특징 벡터간 거리 차는 일반적으로 식(7)과 같이 합산하지만, 설정된 초기 가중치를 이용한 유사도(S)는 식(8)과 같이 변형되어 적용된다.

	(7)
	(8)

III. 실험 결과 및 분석

제안된 시스템은 데이터베이스에 저장된 영상 중에서 사용자가 질의한 영상과 가장 유사한 상위 k개의 영상을 검색한다. 질의 영상으로부터 관심영역이 추출되면, 이를 이용하여 질의가 가능하고, 추출된 관심영역이 다수일 경우 원하는 영역만을 정하여 질의할 수 있으며 색상, 질감, 모양 특징을 부분적으로 선택하여 질의가 가능하다. 각 관심영역간의 유사도를 측정하고 최종적으로 영상 간의 거리 차가 구해지면 유사도 차에 따라 오름차순으로 정렬되어 검색 된다. 그림 4는 제안된 관심영역 기반의 의료 영상 검색 시스템의 인터페이스를 나타낸 것이다.

Figure. 4. User interface of the proposed ROI-based medical image retrieval system

본 논문에서는 3459개의 바이오 영상으로 데이터베이스를 구축하고, 30개의 세포 영상을 질의 영상으로 사용하여 알고리즘의 검색 성능을 비교 분석하였다. 데이터베이스의 바이오 영상은 식물 세포, 동물 세포, 전자 현미경 및 각종 조직(histology) 영상 등을 포함하며, 질의 영상에 대해 주관적으로 선별한 15개의 유사 영상으로 실험하였다. 수행된 방법의 유효성과 성능을 평가하는 도구로는 Precision/Recall 방식에 비해 검색 결과의 충실 지수를 반영할 수 있는 NMRR(Normalized Modified Retrieval Rank)와 ANMRR(Average Normalized Modified Retrieval Rank)를 사용하였다. 정규화 된 NMRR과 ANMRR은 0에서 1의 값을 가지며 0에 가까운 값을 가질수록 좋은 성능을 나타낸다.

먼저, 동일한 가중치를 부여한 제안된 관심영역 기반의 검색과 전체 영상을 비교하는 일반적인 검색[1]의 결과를 비교하였다. 그림 5는 관심영역의 기반의 제안 알고리즘이 더 높은 성능을 나타냄을 보여준다. 이는 영역에서 관심영역이 두드러지게 하나의 영역으로 대표될 경우, 배경의 영향을 크게 감소시켜 더욱 높은 검색 성능을 가진다. 그러나 영상에서 관심영역이 다수로 추출될 경우는 영상 전체를 대상으로 한 검색과 유사한 검색 성능을 가진다.

Figure 5. Performance comparison between proposed ROI-based method and full image based method

두 번째로, 영상에서 하나 이상의 관심영역이 추출된 경우 관심영역에 대한 상대적 중요도를 평가하여 초기 가중치를 설정한 뒤, 영상 간 특징 벡터 값을 비교하는 제안된 알고리즘의 검색 성능을 분석하였다.

Figure 6. Comparison between proposed system with the different initial weights and proposed system with the same initial weights

그림 6의 결과와 같이, 제안 알고리즘은 관심영역에 인간 시각에 부합하는 가중치를 부여하여 보다 더 적절한 영역을 유사영역으로 판단하기 때문에 높은 검색을 나타낸다. 실험 결과를 통하여 제안된 방식이 기존의 방식과 검색 결과를 비교하여 27.44～37.13%의 향상된 검색 성능을 가짐을 알 수 있다.

세 번째로, 바이오 영상에 가장 적합한 특징 기술자를 평가하기 위하여 세 기술자들을 조합한 제안 알고리즘과 각 기술자들을 분리하여 그 결과를 분석하였다. 표 1은 특징을 조합하여 사용하는 것이 검색에 더 효과적이며, 각각의 기술자들 사용에서 발생하는 오류를 줄일 수 있음을 보여준다. 제안된 세 가지 기술자 사이에서, EHD는 대체적으로 높은 성능을 나타내고 RSD가 상대적으로 낮은 성능을 나타낸다. 그러나 EHD는 추출된 관심영역의 개수 변화에 민감하게 반응하여 불규칙한 검색 성능 분포를 가지는데 반해, CSD는 관심영역의 개수에 상관없이 고른 검색 성능을 나타냄을 알 수 있다.

Table 1. Comparison between ROI with three descriptors and ROI with individual descriptors

Method	ANMRR
ROI + Three Descriptors	0.3347
ROI + CSD 1-Descriptor	0.4641
ROI + EHD 1-Descriptor	0.4475
ROI + RSD 1-Descriptor	0.5082
Full image with Three Descriptors	0.3906

IV. 결 론

본 논문에서는 세 가지 영상 특징 기반의 비주얼 기술자를 조합하여 이용하고 영역에 대한 초기 가중치를 설정하여 영상 간 유사도 측정을 수행하는 관심영역기반의 의료 영상 검색 기법을 제안하고 이를 기반으로 한 시스템을 개발하였다. 수행된 실험에서 제안된 방식은 기존의 방식과 검색 결과인 ANMRR을 비교하여 향상된 높은 검색 성능이 나타났다. 향후 제안된 방식은 영상으로부터 보다 더 정밀하게 관심영역을 추출하고, 추출된 관심영역으로부터 영역의 경계면을 검출하여 보다 정확한 관심영역을 분리해 내도록할 것이다. 또한 검색된 결과에 대해 사용자 주관의 적합성 피드백이 가능하게 하여 보다 더 향상된 검색 시스템으로 개발되고자 한다.

감사의 글

본 연구는 산업자원부의 지방기술혁신사업 (RTI04-01-01) 지원으로 수행되었음.

참고문헌

1. Manjunath B.S. et al.: Introduction to MPEG-7, John Willey&Sons, Ltd (2002).

2.  SooYeong Kwak, ByoungChul Ko and Hyeran Byun, "Automatic Salient-object Extraction using the Contrast Map and Salient Points," Lecture Notes in Computer Science, Vol. 3332, pp.138-147, 2004.

3. Ko B.C. and Byun H.: FRIP: A Region-based Image Retrieval Tool Using Automatic Image Segmentation and Stepwise Boolean AND Matching, IEEE Transaction on Multimedia, Vol. 7. Issue 1, (2005) 105-113.

4.  Itti L., Koch C. and Niebur E., "A Model of Saliency - based Visual Attention for Rapid Scene Analysis," IEEE Trans. on PAI, Vol.20, pp.1254- 1259, 1998.

5. Loupias, E., Sebe, N.: Wavelet-based salient points for image retrieval. In Research Report RR 99.11.