I.

광흐름 기법을 이용한 섬모 운동 횟수 측정

Automated Measurement of Ciliary Beat Frequency Based on Optical Flow

WooJae Kim[eqn: {} ^{1}], TaeHwa Han[eqn: {} ^{1}], HyunJun Kim[eqn: {} ^{2}], HeeJoung Hwang[eqn: {} ^{3}], RaeWoong Park[eqn: {} ^{1}]

[eqn: {} ^{1}]Dept. of Medical Informatics, School of Medicine, Ajou University, Suwon

[eqn: {} ^{2}]Dept. of Otolaryngology, School of Medicine, Ajou University, Suwon

[eqn: {} ^{3}]Gachon University of Medicine and Science, Inchon

Abstract:  The cilia of the nasal mucosa remove the microorganism and noxious particles; plays the role of the first protective mechanism of our body. The performance of mucous transportation in the nasal cavity can be measured observing repetitious ciliary movements. The upper respiratory infection,  sinusitis, bronchitis and bronchiectasis are diseases caused by wrong ciliary movements. There are various methods of the measurement of the CBF. This study uses an optical flow methodology that uses the iterative Lucas-Kanade method in pyramid to analyze ciliary movements. This method can get strong results in color and shape changes of the object because it uses moving area of cilia. We experimented with 10 samples and obtained 95.0% accuracy.

Keyword: Ciliary Beat Frequency, lucas-kanade, optical flow, image analysis

배 경

비강 내 점액층의  섬모는 미생물과 독성성분을 동기화하고 규칙적 운동을 통하여 제거함으로서, 외부로부터 우리 몸의 1차 방어기관으로서의 역할을 수행한다. 비강 내 점액 수송계의 성능은 섬모운동의 반복적인 움직임 메커니즘으로 측정할 수 있다.  섬모 운동 횟수(CBF, ciliary beat frequency)는 다양한 양상을 가지며 특히 온도, 약물, 몸의 이상 기능 등에 민감하게 반응하여 운동양상을 달리한다.

섬모의 이상으로 인한 질병도 다양하여 선천적인 원발성 섬모운동 이상증과 후천적 섬모운동 이상증, 섬모정체 등의 질병은 섬모기능의 장애로 발병할 수 있으며, 상기도 감염, 비강 및 부비동염, 기관지염, 기관지 확장증 등은 섬모운동의 이상으로 유발되는 질병이다.  이와 같은 상기도 및 하기도의 질환들은 이비인후과, 내과, 소아과 질환에서 매우 발생빈도가 높은 질환이다. 이 질환들의 병태생리를 이해하고 그 질환의 진단 및 치료에 필수적인 객관적인 자료를 제시하기 위해서는 기도점막에서 중요한 역할을 하는 섬모기능에 대한 객관적이고 정량적인 측정방법이 요구된다.  그러므로 섬모운동의 반복적 움직임 메커니즘과 질병 및 약물에 의한 섬모 운동 횟수의 변화양상을 검측하기 위하여 정량적이고 객관적인 측정방법이 필요하다.  점막의 기능을 평가하기 위한 방법으로 점액섬모 운동속도 측정법과 섬모 운동 횟수 측정법이 있다. 점액섬모 운동속도 측정법은 점액의 성상과 섬모의 기능의 합을 이용하기 때문에 점막의 총체적인 상태를 모두 반영한다는 것이 다른 평가법보다 유리하지만 직접적인 검측이 어렵다[eqn: {} ^{1-4)}].

섬모 운동 횟수 측정은 섬모의 기능만 평가하는 방법으로 염증상태의 섬모 또는 처방 약물에 노출된 섬모의 운동능력을 알아볼 수 있는 방법이다[eqn: {} ^{3)}][eqn: {} ^{6)}].

섬모 운동 횟수의 객관적인 측정법으로는 시네마토그래픽 방법, 광전신호를 이용하는 방법, 레이져 광산란을 이용하는 방법 등이 있다.  이중 레이져와 섬유광학 프로브로 이루어진 광전신호를 이용한 방법이 가장 널리 이용되지만, 이 방법은 현미경의 반사광이나 투과광을 이용하기 때문에 섬모의 ROI (Region of interest)에 대한 정확한 횟수 측정이 어렵다[eqn: {} ^{6-8)}].

최근 섬모 운동 횟수 분석기술은 컴퓨터 비젼 기능의 적용으로 더욱 발전하였으며[eqn: {} ^{9)}], 이 방법은 획득한 영상에 대한 영상분석을 이용하여 섬모 운동 횟수를 측정하는 기술이다.  본 논문에서는 섬모영상을 분석하기 위하여  광흐름(optical flow) 기법을 이용하였다.

섬모의 움직임 영역 추출에 동영상 분석 기법을 적출하는 방법으로 다음과 같은 세 가지 기법이 많이 사용된다.  첫째는 배경 차이를 이용하는 방법[eqn: {} ^{10)}] 둘째는 물체의 색 혹은 모양 정보를 이용하는 방법[eqn: {} ^{11)}], 셋째는 움직임 정보를 이용한 방법[eqn: {} ^{12)}]이 있다.  이중 광흐름은 움직임 정보를 이용한 방법으로 영상의 광흐름을 모두 구한 뒤 이를 전역 움직임 필드와 지역 움직임 필드로 나누어 움직이는 물체를 분리하며, 움직임 정보만을 사용 하므로 물체의 색과 모양 변화에 강인한 결과를 얻을 수 있다.

II. 재료 및 방법

Image Aquisition	▶ Inverted microscope ▶ CCD camera
□
	▶ Optical Flow calculation ▶ Iterative Lucas-Kanade in pyramid
Measurement of CBF
□
	▶ Comparison between experiment data and control data
Comparison with Control
□
Result	▶ Accuracy Measurement
Figure 1. Scheme of ciliary beat frequency measurement

가. 재료

비강에서 점막조직 10개를 체취한 후 배양용기에 옮겨 넣고 점막 조각이 배양액에 의해 흔들리지 않도록 고정한 후 도립 현미경(Axiovert 200 MAT, Carl Zeiss, Hamburg, Germany)으로 관찰하였다.    도립 현미경에 부착한 CCD (Charged Coupled Device)카메라(Moticam 2000, Motic Inc., Hong Kong, China)의 초당 100 프레임의 속도로 획득한 영상신호를 개인용 컴퓨터로 보내어 아날로그 영상을 디지털 영상으로 변환하였다. 획득한 영상은 Visual Studio 6.0(Microsoft, seattle, USA)으로 개발한 어플리케이션과 Office Excel 2003(Microsoft, seattle, USA)을 이용하여 섬모 운동 횟수를 구하였다.

나. 방법

1. 제안하는 섬모 운동 횟수 측정법

광흐름은 명도 유형이 변화함으로써 발생하는 화상에서 명백한 움직임의 속도 분포를 이용함으로써 연속적인 영상들 사이의 차이를 표현한다.

I(x,y,t)는 시간 t에서 좌표(x,y)의 이미지 밝기이며 이미지 순열(sequence)를 제공한다.  이미지의 대상(object)이 움직이면 dt의 시간이 흐른 뒤 대상의 변위(displacement)는 (dx,dy)이고, 움직임에 대한 표현은 식 1과 같다.

[eqn: I(x+dx,y+dy,t+dt)`````````````````````````````````````````````````````````````````````(식``1)# ```````````````=I(x,y,t)+ {Partial I} over {Partial x} dx+ {Partial I} over {Partial y} dy+ {Partial I} over {Partial t} dt+...,]

식 1에 이미지에 있어서 밝기의 변화가 없다고 가정한다면, dx, dy, dt가 0이므로 식 2와 3이 유도된다.

[eqn: I(x+dx,y+dy,t+dt)=I(x,y,t)````````````````````````````(식`2)# {Partial I} over {Partial x} dx+ {Partial I} over {Partial y} dy+ {Partial I} over {Partial t} dt+...=0``````````````````````````````````````(식`3)]

광 흐름 벡터는 영상에서 임의의 픽셀(x,y,t)에서의 순간적인 변화률로 정의하는데 광흐름을 이용한 움직임추정은 주어진 이미지에서의 속도벡터를 구하는 것이다.  2 프레임에서 속도성분에 변화가 없이 일정하다는 가정하여 [eqn: v _{1} (x,y,t),`v _{2} (x,y,t)]를 각각 dx/dt, dy/dt로써 이미지 좌표 각각의 속도벡터 성분으로 나타내고 Taylor's 전개를 이용하면 광흐름 방정식(Optical flow equation) 식 4를 유도 할 수 있다.

[eqn: - {Partial I} over {Partial t} = {Partial I} over {Partial x} v _{1} (x,y,t)+ {Partial I} over {Partial y} v _{2} (x,y,t)```````````````````(식`4)]

식 4를 n-차원 스칼라 함수 f([eqn: x_{ 1},...,x _{ n}])의 벡터 연산자인 기울기(gradient) 연산자를 이용하면 식 5와 같이 된다.

[eqn: NABLA I(x,y,t) BULLET v(x,y,t)+ {Partial I(x,y,t)} over {Partial t} =0``````````````(식`5)]

[eqn: NABLA I(x,y,t)]는 시간 t에서의 x, y에 대한 기울기를 나타낸다. 이미지에서 식 5를 이용하면, 임의의 한 점에서 움직임으로 인한 세기의 변화에 따른 하나의 값만을 구할 수 있으나 그 점에서의 움직임 벡터는 2변수를 가지기 때문에 식 5만으로는 움직임 벡터를 구할 수 없다.  즉, 이미지 평면에서의 기울기 방향에 있는 움직임만을 알 수 있다.  따라서 이러한 문제를 해결하기 위한 또 다른 조건이 필요하게 되었다.

Subject	CBF (/sec)	Controlled CBF (/sec)	Difference (/sec)	Accuracy
1	11.4	11.8	0.4	96.6%
2	13.3	13.8	0.5	96.4%
3	11.8	9.0	-1.2	86.7%
4	11.8	12.0	0.2	98.3%
5	10.8	11.6	0.8	93.1%
6	11.1	10.8	0.3	97.2%
7	12.4	11.7	0.7	94.0%
8	10.5	10.9	-0.4	96.3%
9	13.8	13.3	0.5	96.3%
10	13.3	14.0	-0.7	95.0%
Total	12.0	11.9	-0.1	95.0%
Table 1. Result of experiment [eqn: Accuracy= {1} over {M} sum _{K=1} ^{M} X _{K} `,X= {F _{i} -□F _{i} -F _{a} □} over {F _{a}}# F _{i} :`Cilliary``beat`frequency# F _{i} :Controlled`Cilliary``beat`frequency]

Horn-Schunck는 평탄화(Smoothness)조건을 주어   광흐름 기울기 제곱값이 최소가 되는 값을 찾는 방식으로, 픽셀사이의 속도 벡터의 변화에 대한 조건을 주어서 광흐름을 계산한다. Lucas-Kanade는 움직임 벡터가 특정한 블록내에서 일정하다는 것을 제안하였는데, 즉 특정 불록에서 각각의 픽셀점에서의 속도성분은 모두 같은 방향의 속도성분을 가진다는 가정하였고, 속도성분은 다음 식 6과 같다[eqn: {} ^{13)}].

[eqn: v(x,y,t)=v(t)=[v _{1} (t)v _{2} (t)] ^{T} ````````````````````````````````````````````(식`6)]

Figure 3. Result that express ciliary beat        frequency of subject 9 in Table 1 :

x axis : frame y axis : sum of vector

실제 영상에서 모든 픽셀에 대하여 다음 프레임의 이동 벡터를 전부 구한다는 것은 많은 연산량을 필요로 하기 때문에 corner detection을 하여 특징점의 광흐름을 구할 수 있다.  그러나 특징점이 많으면 연산량이 증가하며 특징점이 적으면 애매모호함이 발생할 수 있다.  본 연구에서는 주어진 피라미드 단계에 따라 특징점을 찾게 되고 이 정해놓은 특징점의 개수를 다 찾으면 특징점의 좌표를 반환하여 획득한 영상의 움직임을 정량화하는 피라미드를 적용한 Lucas-Kanade 방법[eqn: {} ^{14)}]을 이용하여 벡터의 합을 로그 파일에 기록하여 섬모 운동 횟수를 구하였다.

Figure 2. Vector in ciliary movement : By sum   of vector in frame ciliary that move measurement

피라미드의 이점은 모든 픽셀의 변위벡터 d를 계산하는 동안 각 잔여 광흐름 벡터 [eqn: d ^{L}](L=피라미드 단계)이 매우 작게 유지될 수 있다.  각 기본적인 광흐름 계산 단계가 [eqn: d _{max}]까지 픽셀 모션을 처리할 수 있다고 가정하면, 그 다음 피라미드의 실행이 처리할 수 있는 전체 픽셀 모션은 식 7이 된다.

[eqn: d _{max`final} =(2 ^{L _{m} +1} -1)d _{max} `````````````````````````````````````````````(식`7)]

이것은 상대적으로 작은 통합(integration) 원도우의 크기를 유지하면서 대형 픽셀 모션을 가능하게 한다.

III. 실험 및 결과

섬모 움직임의 영상을 광흐름 기법을 이용한 프로그램으로 영상을 분석한 뒤 분석 결과를 로그파일로 저장하였다.  획득한 로그파일은 엑셀 프로그램을 이용하여 벡터 그래프를 구하였고 그림 3과 같은 그래프를 이용하여 섬모 운동 횟수를 구하였다. 실험값과의 비교를 위하여 관련 전문가 1명이 동일한 영상을 느린 재생을 통하여 눈으로 섬모 운동 횟수를 측정한 대조값을 이용하여 실험값의 정확도를 계산하였다.  정확도는 눈으로 측정한 대조값에서 실험값과 눈으로 측정한 값의 차이값을 뺀 값을 눈으로 측정한 값으로 나눈 값의 전체 평균을 구하여 계산한다. 계산한 정확도 측정의 결과는 표 1과 같다.

IV. 고 찰

비강내의 섬모세포는 외부로부터 끊임없이 들어오는 미생물, 독성물질 및 불순물을 동기화하고 정렬된 움직임을 통하여 제거함으로써 우리 몸을 보호하는 1차 방어기전으로 섬모 운동 횟수는 중요하다. 따라서 본 연구에서는 섬모 운동 횟수의 좀 더 정확한 측정을 도모하고자 한다.

광흐름은 명도 변화에 따른 화상의 움직임 속도 분포를 이용하여 움직임 정보만을 사용하므로 물체의 색과 모양 변화에 강인한 결과를 얻을 수 있다. 실험은 10개의 섬모 동영상을 이용하였으며 정확도는 95.0%였다.

제안한 방법은 기존의 섬모 운동 횟수를 측정하기 위한 방법들 보다 구축비용을 절감할 수 있고, 프로그램의 설치와 조작이 간단하여 이비인후과 임상연구자의 임상실험에 편의를 제공한다.  향후 추가적인 연구 방향으로는 로그파일의 분석을 프로그램 내에서 분석하여 횟수를 보여 줄 수 있는 기능을 개발하여 실시간 횟수 측정을 할 수 있는 방법을 적용 하고자 한다.

참고문헌

1. Sakakura Y, Ukai K, Majima Y, Murai S, Harada T, Miyoshi Y. Nasal mucociliary clearance under various conditions. Acta Otolaryngol (Stockh) 1983;96:167-173.

2. Kennedy DW, Shaalan H. Reevaluation of maxillary sinus surgery: experimental study in rabbits. Ann Otol Rhinol Laryngol 1989;98:901-906.

3. Czaja JM, McCaffrey TV. Reversibility of abnormal mucociliary clearance in experimental chronic sinusitis. Am J Rhinol 1996;10:281-289.

4. Hassab MH, Kennedy DW. Maxillary sinus ostioplasty versus nasalantral window in maxillary sinusitis: an experimental study. Am J Rhinol 1996;10:357-363.

5. Min YG, Yun YS, Rhee CS, Sung MW, Lee KS, Ju MS, et al. Effects of phenylephrine on ciliary beat in human nasal respiratory epithelium: quantitative measurement by video-computerized analysis. Laryngoscope 1998;108:418-421.

6. Lee WI, Verdugo P. Laser light-scattering spectroscopy: anew application in the study of ciliary activity. Biophys J 1976;16:1115-1119.

7. Ingels KJ, van Strien HL, Graamans K,         Smoorenburg GF, Huizing EH. A study of the photoelectrical signal from human nasal cilia under several conditions. Acta Otolaryngol (Stockh) 1992;112:831-838.

8. Paltieli Y, Fradis M, Ben-David J, Podoshin L, Shiti H, Kam Z. In vivo measurement of human nasal mucociliary motility using a laser light scattering instrument. Ann Otol Rhinol Laryngol 1997;106:859-862.

9. Hennessy SJ, Wong LB, Yeates DB, Miller IF, Automated measurement of ciliary beat frequency. J. Appl. Physiol., 1986;60(6);2109-2113

10. Bhat KS, Saptharishi M, Khosla PK, Motion detection and segmentation using mosaics Multimedia and Expo, 2000. ICME 2000. 2000 IEEE Int. Conf. 2000;3;1577-1580

11. Comaniciu, Ramesh V, Mean shift and optical prediction for efficient object tracking Proc. 2000 IEEE Int. Conf. Image Processing Vol. III;2000 Sept 70-73;Vancouver, Canada.

12. Wixson L, Detecting salient motion by accumulation directionally-consistent flow IEEE Trans. Pattern Anal. Machine Intell. 2000;PAMI-22(8);774-780

13. Byun CB, Kim JY, Kim SK, Lee WH, Lee BR, Chung CH, A study of a motion estimation with an optical flow, KACC proceedings of the 11[eqn: {} ^{th}];1996 Oct 12-15;Korea

14. Available at : http://mrl.nyu.edu/~bregler/classes/vision_fall06/bouget00.pdf  Accessed October 14 2006