I.

내용기반 의료 세균화상 검색 시스템의 설계 및 구현

Design and Implementation of a Content-based Medical Microbial Image Retrieval System

심춘보, 신용원

Dept. of Radiological Science, Dept. of Healthcare Management, School of Computer Information Engineering,

Catholic University of Pusan

Abstract

In this study, we design and implement a content-based medical microbial image retrieval system which can make use of accurate decision on colony as well as efficient education for new technician. For this,  we first propose  a color feature extraction method, which is able to extract color feature vectors of visual contents from a given microbial image based on especially anaerobic bacteria image using HSV color model. In addition, for better retrieval performance based on large microbial databases, we present an integrated indexing technique  that combines with B+-tree for indexing simple attributes such as badge, specimen, department, and microbial name, inverted file structure for text medical keywords acquired from description information, and SBF(Scan-Based Filtering) method for high dimensional color feature vectors. Finally, we expect to decrease rapidly learning time for elementary technicians by well organizing knowledge of clinical fields through proposed system.

Key Words: Medical Microbial Image, Content-based Retrieval System(CRS), Color Feature Vector

배 경

최근 의학지식은 매년 폭발적으로 증가하고 있다. 임상지식의 경우만도 1930년부터 1975년 사이에 무려 11배로 증가하였다1). 양적인 증가 외에도 화상, 그래프와 같은 이미지 자료에서 소리와 같은 멀티미디어 자료까지 다양한 자료를 접할 수 있게 되었다. 이렇게 자료가 다양화되고 양적으로 증가하면서 의료 정보 및 지식 또한 급속도로 변화하고 있다2). 이러한 변화에 대처하기 위해서는 양적으로 증가하는 자료 속에서 필요 정보를 신속하게 찾아내어 지식화할 수 있는 기술이 요구된다. 아울러 다양한 유형의 자료를 효율적으로 저장하고 이용하기 위한 방법 또한 매우 중요시되고 있다.

의료 분야는 진료, 연구, 예방, 교육과 같은 다양한 목적으로 자료와 지식을 이용하므로 일반적인 자료와 지식의 구조와는 다른 모습을 보이고 있다. 시변성을 반영하는 진료 자료의 특징과 연구 목적을 위해 주제별로 자료를 정리하는 등의 여러 목적으로 자료와 지식을 구조화해야만 한다. 그러나 이러한 자료와 지식의 구조화는 진료시의 의사결정과 같은 정보처리 중심보다는 자료를 직접 접하는 현장에서의 데이터를 중심으로 이루어져야만 한다. 지식의 구조화가 임상현장에서 비교적 낙후되어있는 미생물검사실은 주로 감염성이 강한 검체를 다루고 업무수행과정이 자동화된 기계에 의존하기보다는 세균의 접종, 배양, 동정, 현미경 검경 등에 숙련된 기술을 요하는 특수성이 있는 분야이다. 그러므로 신규병리사의 업무 파악과 능숙한 업무수행을 위해 요구되는 시간도 다른 검사분야보다 훨씬 많이 요구된다. 임상미생물 검사실에서 수행하는 검사 중 그람 염색검사의 경우 검사결과의 보고가 일반적인 생화학검사실의 경우처럼 자동분석기에서 출력되는 데이터를 그대로 옮겨 적는 것이 아니라 현미경시야에서 세균의 성상을 검경한 후, 세균의 성상에 관해 학습한 내용을 토대로 임상병리사 자신이 주관적으로 판단하여 보고를 한다.

신규병리사의 세균 성상에 관한 교육은 체계적인 방법에 의존하는 것이 아니라 기존의 임상병리사가 업무수행 과정 중 간헐적으로 신규 병리사에게 자신이 교육에 적당하다고 판단되는 현미경시야를 보여주는 방식으로 행해져 왔으며 이로 인해 신규 병리사의 교육에 상당한 기간이 요구되었다. 따라서 본 연구에서는 신규 병리사를 위한 교육에 도움을 줄 수 있을  뿐만 아니라 세균 성상에 대한 정확한 판단에 유용하도록 하기 위해 내용-기반의 세균화상3) 검색 기술을 이용하여 교육이나 임상현장에서 사용하고자 한다. 즉, 임상병리사가 알고 있는 단순 속성(애트리뷰트) 정보를 통한 데이타베이스 검색 이외에, 세균화상에 대한 설명 정보에 대한 텍스트 키워드에 기반한 검색, 그리고 세균화상 자체의 색상(color)이나 형태(shape) 또는 질감(texture) 등과 같은 세균화상에 대한 내용에 기반한 검색을 지원해야 하며, 이러한 시각화된 정보를 이용하여 대용량 주석정보 삽입의 문제와 사용자의 검색 질의와 데이타베이스에 저장된 주석 정보와의 불일치성(inconsistency)의 문제를  해결할 수 있을 것이다.

II. 방 법

본 연구에서는 세균화상 중에서 특히 의료 혐기성 세균화상 객체를 이용한 내용-기반 정보검색 시스템을 설계 및 구현한다. 이를 위해 먼저, 혐기성 세균화상 객체의 시각적인 특징인 색상 정보에 기반하여 효율적인 이미지 특징벡터를 추출할 수 있는 방법을 제안한다. 아울러, 방대한 양의 세균화상 데이터베이스에 대한 빠른 검색을 위해, 세균화상의 단순 속성 정보에 대해서는 B+-트리 색인 기법, 세균화상에 대한 부가적인 설명을 나타내는 텍스트 설명 정보에 대해서는 역화일 기법(inverted file)4), 그리고 세균화상 특징인 색상 특징벡터에 대해서는 스캔-기반 필터링 (Scan-Based Filtering:SBF) 기법을 이용한 통합 색인 검색 기법을 제안한다. 아울러, 세균화상 객체에 대한 사용자의 편리한 검색을 위하여 사용자 질의 인터페이스를 설계한다.

1. 전체 시스템 구성도

본 논문에서 설계한 의료 세균화상를 이용한 내용-기반 정보검색 시스템의 전체 구조는 Figure 1과 같으며, 전체적으로 전처리 과정, 키워드 및 화상에 대한 특징벡터 추출, 사용자 인터페이스, 질의 분석 및 통합 검색, 색인 기법이란 컴포넌트들로 구성되어 있다. 먼저 세균화상에 대한 속성정보, 화상 정보, 그리고 화상에 대한 부가적인 설명정보로 구성된 세균화상 데이타가 주어지면, 전처리 과정 단계에서는 이미지 객체에 대한 특징벡터를 추출하기 위한 전처리 단계로서 배경(background)와 객체(foreground)를 분리하는 객체 분리(segmentation) 과정이 이루어진다. 둘째, 키워드 및 이미지 특징벡터 추출 컴포넌트에서는 하부 저장 시스템에 있는 색인 기법에 삽입할 텍스트 키워드를 자동 추출하고, 분리된 이미지 객체로부터 색상에 대한 특징벡터를 추출한다. 색인 컴포넌트는 세균화상 데이타들로부터 추출한 색인 정보 즉, 단순 속성, 추출된 키워드, 그리고 화상 특징벡터 각각에 대해 그에 적합한 색인 기법을 이용하여 색인을 수행한다. 한편, 사용자는 원하는 세균화상 데이타를 검색하기 위해 사용자 인터페이스 컴포넌트를 이용하여 사용자 질의를 입력하고, 입력된 질의에 만족하는 검색 결과를 브라우징한다. 마지막으로, 검색 컴포넌트는 주어진 사용자 질의를 분석하여 단순 속성, 텍스트, 이미지에 대한 검색을 수행하고, 아울러 이를 통합하여 사용자가 원하는 데이타를 유사성이 높은 순서대로 사용자 인터페이스에 출력한다.

2. 세균화상 전처리 과정

의료 세균화상 객체에 대한 내용-기반 검색을 위해서는 먼저 이미지 객체가 가지는 특징을 분석하고, 이를 기반으로 특징벡터를 추출해야 한다. 특징벡터를 추출하기 전에 수행해야 할 가장 중요한 과정은 이미지 내의 배경을 제거하고 의미있는 객체 영역만을 분리하는 과정이다. 이 부분에 대한 연구는 컴퓨터 비젼이나 패턴 인식 및 이미지 처리 분야에서 에지 검출(edge detection), 이미지 클러스터링 기법(clustering), 이미지 변환 기법(transformation) 등과 같은 매우 다양한 방법을 통해 많은 연구가 이루어졌다. 본 연구에서는 Figure 2와 같은 전처리 과정을 수행하여 이미지 내의 객체 영역을 분리한다.

Figure 1. 전체 시스템 구조

2.1 세균화상 클러스터링 단계

본 논문에서는 세균화상으로부터 객체를 분할하기 위한 방법으로 퍼지 이론을 이용한 클러스터링 방법 중에서 가장 많이 알려진 Fuzzy c-mean(FCM) 알고리즘5)을 사용한다. 이 방법은 Bezdek에 의하여 제안되어진 클러스터링 알고리즘으로 각 화소의 클래스에 관한 소속 함수값이 1이 되는 확률적 제약 조건(probabilistic constraint)을 이용하고 있다.

2.2 세균화상 잡음 제거 단계

클러스터링 단계에서 정확하게 분리해내지 못한 부분에 대한 잡음(noise)를 제거하는 단계로 본 연구에서 사용하고 있는 방법은 3×3의 크기를 가지는 마스크(mask)를 사용하여 전체 클러스터링 되어진 이미지를 순회하면서 마스크 내에 1의 값을 가지는 화소의 수가 4보다 적으면 0으로 치환하는 알고리즘을 적용하여 이미지 내의 잡음을 제거한다.

2.3 이미지 객체 영역 채우기 단계

클러스터링 단계에서 이미지 객체 안에 임의의 화소나 영역이 이미지의 배경과 비슷한 색상을 갖게 되면 분리된 객체 영역 안이 배경 값(0)으로 나타나기 때문에 이러한 부분에 대해서는 객체 영역을 채우는 단계가 필요하다. 이 단계에서는 물방울 채움(flood-fill) 알고리즘과 스캔 라인(scan-line) 알고리즘을 이용하여 객체 영역 안을 최대로 채운다.

3. 색인을 위한 키워드 추출 및 특징벡터 추출

3.1 키워드 추출

미국에서 개발한 UMLS(Unified Medical Language System)6)의 의료분야 용어집과 같이 텍스트를 기반의 의료 정보를 효율적으로 검색을 위해서는 문서 정보를 분석하여 문서의 내용을 대표할 수 있는 정확한 키워드 리스트(즉, 색인어 리스트)를 추출하는 문서 자동 색인 과정이 매우 중요하다. 본 연구에서는 형태소 분석을 이용한 키워드 추출 방법을 이용한다.

Figure 2. 특징 추출을 위한      전처리 과정

3.2 특징 추출

화상을 구별하는 시각적인 척도 중에서 가장 많이 사용하는 것은 화상의 색상 특징이다. 일반적으로 물체를 표현하기 위해서 사용되는 RGB좌표계는 빨강(red), 녹색(green), 파랑(blue)의 세가지 원색으로 구성되며, 대부분의 비디오 모니터나 컴퓨터 그래픽스와 같은 분야에서 널리 사용되고 있다. RGB 색상 공간은 색상들간의 의존성이 매우 높고 색상들간의 근접성(proximity)이 색상의 유사성(similarity)을 나타내지 못한다는 단점을 지닌다. 이러한 단점을 보완하기 위한 방법으로 YIQ, YUV, Munsell, CIE-XYZ, Ohta, HSV 등 여러 가지 색상 변환 모델이 연구되었다. 본 연구에서는 그 중에서도 HSV(Hue, Saturation, Value) 색상을 이용한다. 이 모델은 균일한 분포(uniform)와 비선형적인(non-linear) 특성을 가지며, 색상 변환(transform)이 까다롭지 않은 장점을 가진다. HSV모델에서 H값은 색상의 집합을 나타내면서 0도에서 360까지의 각도를 가진다. S값은 H값의 각도에 대한 색상의 세기(채도)를 나타내며, V값은 색상의 밝기 즉, 명도로서 V값이 클수록 색상은 흰색에 가까워지고, 작을수록 검정색에 가까워진다. 본 연구에서는 색상 특징벡터 차원의 수에 따라 크게 2가지 방법으로 나누어 색상 특징벡터(색인 키)를 추출한다. 각 방법의 알고리즘은 다음과 같다.

1. 배경이 제거된 이미지 객체의 모든 픽셀들을 HSV 색상 공간으로 변환

2. Figure 3의 알고리즘을 적용하여 색상 히스토그램 생성

3. 색상 히스토그램 정규화 (객체 안의 전체 픽셀 수로 나눔)

4. 22차원의 색상 특징벡터 키 생성

Figure 4는 실제 화상으로부터 추출한 22차원의 색상 히스토그램 키의 예를 보여준다.

Figure 3. 색상 특징벡터 생성 알고리즘

For(객체 안의 모든 픽셀) {

RGB 색상을 가지는 픽셀을 HSV 색상 공간으로 변환;

if( (S == 0) || (V < 0.3 || V > 0.9) ) {  /* 무채색과 유채색 구분 */

if(V < 0.25) hist_index = 21;    /* 검정색 */

else if(V < 0.5) hist_index = 20;   /* 어두운 회색 */

else if(V < 0.75) hist_index = 19;   /* 밝은 회색 */

else  hist_index = 18;         /* 흰색 */

}

else { /* H값(0-360)에 의해 18종류의 유채색으로 분류 */

if( H >= 340.0 )  hist_index = 0;

else  hist_index = ( (int)H + 20 ) / 20;

}

}

Figure 4. 색상 특징벡터의 추출 예

4. 색인 기법

일반적으로 의료정보 검색 시스템에서 색인 기법은 사용자가 검색하고자 하는 정보를 순차적으로 하나씩 탐색하는 것이 아니라 데이타로부터 추출한 키(key)들과 주소(address)로 구성된 색인 정보들을 이용하여 사용자 질의에 대해서 보다 빠른 검색 성능을 제공하기 위함이다. 제안하는 통합 색인기법은 Figure 5와 같다.

Figure 5. 통합 색인구조

4.1 단순속성을 위한 색인기법

본 연구에서는 세균화상에 대한 단순 속성정보 즉, 배지, 검체, 진료부서, 세균명 등을 위해서는 기존에 많이 알려진 B+-트리 색인 기법을 이용하여 색인을 수행한다.

4.2 키워드를 위한 색인기법

세균화상 정보를 설명하는 부가적인 텍스트 설명 정보에 대해서는 자동 색인기를 통해 중요한 키워드들을 추출하며 이들에 대해서 기존의 정보검색 분야에서 이용되었던 역화일 기법(inverted file)을 이용하여 색인을 구성한다.

4.3 특징벡터를 위한 CBF 색인기법

세균화상의 내용에 해당하는 색상정보로부터 추출한 22차원의 고차원 색상 특징벡터를 위해서는 스캔-기반 필터링(SBF) 기법을 제안한다. 제안하는 방법은 Figure 6과 같이 데이타 파일(data file)에 저장되어 있는 실제 특징벡터들에 대한 순차탐색을 수행하기 전에 각각의 특징벡터에 대한 비트맵(bitmap)으로 구성된 요약정보인 시그니쳐들로 생성된 시그니쳐 파일(signature file)을 탐색하여 불필요한 시그니쳐를 필터링함으로써 탐색 성능을 향상시키는 기법이다. 이 방법의 장점은 ‘0’과 ‘1’의 비트맵 정보로 되어 있는 시그니쳐 정보가 실제 고차원의 색상 특징벡터에 비해 훨씬 적은 용량을 차지함은 물론 이로 인해 시스템 버퍼로 로딩할 수 있는 세균화상에 대한 시그니쳐 정보가 많게되어 디스크 I/O의 수를 매우 줄일 수 있어 검색 성능을 향상시킬 수 있게 된다.

Figure 6. 특징벡터를 위한 스캔-기반 필터링 기법

III. 구 현

Figure 7. 세균화상 검색시스템의 구현

본 연구에서 제안하는 내용기반 세균화상 검색 시스템은 윈도우즈 2000 서버에서 비주얼 C++ 언어를 이용하여 구현하였으며, 사용자 즉, 임상병리사는 세균화상에 대한 속성 정보, 부가적인 설명정보, 이미지 정보를 저장하고 아울러 Figure 7과 같은 사용자 인터페이스를 이용하여 구축된 세균화상 데이타베이스로부터  속성 정보, 텍스트 키워드, 세균화상에 대한 색상 정보를 이용하여 검색 가능하도록 하였다. 검색된 화상은 이비인후과에서 검사의뢰한 Acute Tympanic membrane aspirate검체로부터 Blood 배지에서 자란 Bacterioides Fragilis 세균을 찾아내어 사용자 인터페이스 화면에 보여준다.

IV. 고찰

본 연구에서의 신규 병리사를 위한 교육 및 세균 성상에 대한 정확한 판단에 유용한 내용-기반 세균화상 검색 시스템을 설계 및 구현하였다. 이를 위해, 먼저 세균화상 중에서도 혐기성 세균화상을 이용하여 객체의 시각적인 특징 즉, 화상의 내용인 색상 정보를 HSV 색상 모델을 기반으로 추출하는 방법을 제안하였다. 아울러 세균화상에 대한 단순속성정보, 부가적인 정보인 텍스트 설명정보로부터 추출한 중요 키워드, 화상으로부터 추출한 고차원 색상 특징벡터에 대한 효율적인 검색을 위해 각각 B+-트리, 역화일 기법, 스캔-기반 필터링 기법을 이용한 통합 색인 기법을 제안하였다. 제안하는 시스템을 통해 초보임상병리사가 단순속성정보 및 세균화상정보를 찾아냄으로써 임상현장에서의 체계적인 교육이 아니라 지식을 구조화함으로써 교육시간의 단축과 세균화상에 대해 정확한 판단을 내릴 수 있게 되었다. 구현되어진 세균화상검색 시스템은 차후에 호기성세균, 진균을 포함한 통합화상시스템으로의 확장이 요구되며, 아울러 웹을 통한 서비스를 구축함으로써 e-Learning으로의 확장도 기대된다.

참고문헌

1. 조현, 의료정보관리학, 정문각, 2002:139.

2. 김선일, 김덕원, 박광석, 의료정보학, 여문각, 1995:  9-10, 115-117.

3. 정윤섭, 이경달, 이삼열, 최신 진단미생물학. 제2개정판, 서흥출판사, 1995:265-268.

4. W. B. Frakes, R. Baeza-Yates,"Information Retrieval Data Structures & Algorithms," Prectice Hall, 1992.

5. J. C. Bezdek, M. M. Triedi,"Low level segmentation of aerial image with fuzzy clustering," IEEE Trans. SMC, SMC-16, pp.589-598, 1986.

6. Unified Medical Language System, U.S. National Library of Medicine, 8600 Rockville Pike, Bethesda, MD 20894, National Institutes of Health, http://www.nlm.nih,gov/research/UMLS.