I.

의학 논문 색인을 위한 한국어 MeSH 키워드 추천 시스템

A Korean MeSH Keyword Suggestion System for Medical Paper Indexing

Jae Sung Lee, PhD*, Young Soon Oh*, Sang Hee Han*,  Young Sung Lee, M.D.□

* Department of Computer Education, College of Teachers, Chungbuk National University, Cheongju, jasonl@cbu.ac.kr

□Department of Health Informatics and Management,  Chungbuk National University, Cheongju

Abstract: Indexing medical documents is important to retrieve medical information efficiently, but it is labor intensive and an annoying task for indexers or authors. This paper presents that whether an automatic indexing program can help the human task for Korean medical keyword indexing. We developed an automatic indexing program using Korean MeSH (K-MeSH) and evaluated the performance as compared with technical indexers and authors. The result was that the current program's  performance was much lower than technical indexers', but it was same as the authors' performance. It showed that it is very affirmative to develop the automatic indexing program to help authors at least, and to help technical indexers with improving the program by enriching K-MeSH and utilizing K-MeSH structure.

Keyword: MeSH, Korean medical keyword, automatic indexing, information retrieval

배 경

많은 한국어 의학 논문들이 작성되고 저장되어, 진료나 새로운 연구를 위한 정보로 공유되고 재활용되고 있다. 또, 축적되는 정보의 양이 증가함에 따라, 보다 정확하고 빠른 정보 검색이 필수적으로 되고 있다. MEDLINE과 같은 외국의 의학 정보 서비스 기관은 이러한 필요성을 이미 인식하여, 표준의학 용어인 MeSH를 구축하고[1], 이를 의학 논문 색인 및 검색에 활용하여 효과를 보고 있다[2,3].

한국 의학 논문에서도 MeSH 용어이 중요성을 고려하여 키워드 선정시 영어 MeSH용어를 사용하도록 하고 있다. 또, MeSH의 한국어 버전인 K-MeSH를 제공하고 있으며, 이를 사용하여 색인한다면, 한국 의학 논문에 대해서도 효과적인 의학정보 검색을 수행할 수 있을 것이다.

그러나, MeSH나 K-MeSH 용어를 사용하여 키워드를 선정하는 과정은 복잡하여 저자들이 확인하지 않고, 대략 입력하여 실제적으로는 MeSH나 K-MeSH 키워드가 정확하게 논문에 입력되어 있지 않다. 김병성과 김수영(1998)의 연구에 따르면, 가정의학저널 논문에서 약 25.2%가 정확한 MeSH 키워드이었으며, 유사한 키워드가 18.8%, MeSH 키워드로 볼 수 없는  경우가 55.9%로, 실제 전체적으로는 44%만이 MeSH키워드를 사용하였다[4].

정보검색의 효율을 위해서는 정확한 표준 키워드의 사용이 필수적이며, 또한 저자가 쉽게 키워드를 선택할 수 있는 방법이 필요하다. 영어 의학용어에 대한 키워드 추천은 미국 NLM을 중심으로 대대적으로 연구되고 있으나[5], 한국어 키워드 추천에 대한 연구는 초기 단계이다.

본 연구에서는 논문 요약 혹은 전문에서 저자가 사용한 용어를 모두 검색하여 관련된 K-MeSH 표준 용어(우선어)를 제시하고, 이 표준 용어를 이용하여 자동 계산된 중요 키워드를 순서대로 제시하여 저자가 편리하게 키워드를 선택할 수 있는 시스템을 제안하고 평가한다. 평가는 색인전문가가 색인한 결과및 저자가 입력한 것과 비교하여, 색인의 완전 자동화에 대한 가능성을 검토하였다.

II. 방 법

한글 키워드 추천을 위해서 우선 한글 키워드 대상 용어들을 추출해야 한다. 한국어는 영어와 달리 많은 어미가 붙어 변화하는 교착어이므로, 키워드의 후보가 될 수 있는 단어 부분을 분리해 내는 작업이 필요하다. 일단 용어들을 분리해내면, 이를 중요도 순으로 나열하여 키워드를 추천한다.  (여기에서 사용한 K-MeSH는 MeSH 1999년도판을 한글화한 것으로 총 47,100개의 엔트리가 포함되어 있다.) 우선 전체적인 시스템 작동을 설명하고, 세부 과정에 대해 설명한다.

1.  시스템 작동

그림 1은 K-MeSH용어 추천 시스템(KTAP : K-MeSH Term Access Program : 이하 KTAP)의 작동 과정을 보여준다. 우선, 논문 요약(논문 전문도 가능)을 입력하고 [추천] 키를 누르면 그림2의 화면으로 바뀐다. 그림 2에는 논문 요약에 나타난 K-MeSH용어들이 하이퍼링크로 표시되어 나타나 있고, 이 중 한 용어를 클릭하여 표시한 화면이 그림 3이다. 그림 3에는 K-MeSH 트리의 상세한 내용이 표시된다. 또 그림 2의 하단부에는 색인용 키워드를 중요도 순서로 제시하고, 우선어, 영어, 고유번호 등의 관련정보도 함께 표시한다. 사용자가 필요한 키워드를 선택 체크상자에서 선택하여 복사 단추를 누르면 □선택된 키워드□라는 중간의 칸에 키워드들이 복사된다.

2.  한글 용어의 추출

의약 용어들은 대부분 명사 혹은 복합 명사들로 이루어져 있다. 이러한 명사는 순수하게 명사+명사 형태 뿐만아니라, 수식어(형용사, 관형사 등)+명사형들의 용어들도 많이 포함되어 있다. 이러한 형태의 용어들을 모두 검색하기 위해 우선 해당 용어를 탐색한 후, 해당 용어의 문자열이 인식되면, 그 다음으로 그 앞뒤에 붙어 있는 문자열이 적절한 문자열인가를  확인하여 올바른 용어를 추출해 냈다. 예를 들어, 해당 용어가 인식된 후 그 뒤에 어미나 조사 등이 올 경우, 앞의 용어는 올바른 용어이다. 하지만, 그 뒤의 문자열이 어미나 조사가 아닐 경우, 인식된 해당 용어는 다른 단어의 일부이거나 잘못된 인식일 가능성이 있다. 두 음절 이상의 용어들이 인식되었을 경우는 대부분 K-MeSH용어일 확률이 높아 앞뒤 문자열에 대한 조사를 생략했다. 한음절의 경우, 대부분은 키워드로서의 중요도가 떨어질 뿐만 아니라, 다른 용어들의 일부로 쓰이는 경우가 많아 모두 무시하는 방법을 사용했다. K-MeSH에는 띄어쓰기가 다른 용어들을 많이 포함하고 있지만, 모두 포함시킬 수 없고, 문맥내에서 다른 용어들과 함께 붙여 쓸 경우, 추출도 어려울 수 있다. 이를 위해 띄어쓰기 변이를 가진 모든 용어를 추출하는 방법을 사용하여 K-MeSH용어를 추출했다[6].

3.  키워드의 추천

주어진 용어들 중에서 중요한 의미를 갖는 용어를 추출하는 방법은 주로 정보 검색의 방법을 많이 이용한다. 본 연구에서는 가장 일반적으로 많이 사용되는 TF(Term Frequency) * IDF (Inverse Document Frequency) 방법을 사용한다[7].  각 용어는 모두 K-MeSH에 등록된 용어로 한정하였고, 모든 용어는 우선어로 바꾸어 계산했다. IDF는 KMBASE[8]에 있는 논문 25,729중 90%인 23,156개를 선택하여 계산하였다. IDF 계산에 사용되지 않은 논문 중 임의로 10개를 선택하여 이를 키워드 추천의 정확성 평가를 위해 사용했다.

4.  키워드 추천의 정확성 평가

시험용으로 선택된 10개의 논문에 대해 색인 전문가 3인에게 가능하면 K-MeSH용어를 사용하여 각각 색인하도록 의뢰했다. 이 결과와 저자의 키워드, KTAP 프로그램으로 생성한 상위 10개의 키워드를 비교하였다. (실제 색인 전문가들이 추출한 색인어는 분야 등의 정보가 포함되어 있으나, 이 실험에서는 순수 키워드만을 대상으로 비교하였다.) 일반적으로 색인은 전문가마다 다르게 선택할 수 있으므로, 색인 전문가 3인중 2인 이상이 선택한 키워드만을 모아 정답으로 가정하였다. 평가는 이 정답 키워드 집합을 대상으로 정확률(precision)과 재현률(recall)을 계산한 후, 다시 F-measure를 계산하여 측정하였다. F-measure는 정확률과 재현률을 통합하여 하나의 측정값으로 계산해주며, 정확률과 재현률의 중요도에 따라 차등하여 계산할 수 있으나, 본 실험에서는 중요도가 같은 것으로 하여 계산하였다.

KTAP 프로그램은 순수하게 K-MeSH 용어만을 키워드로 사용하는데 반해, 색인전문가나 논문 저자는 K-MeSH가 아닌 다른 용어를 키워드로 사용할 수도 있다. 이를 고려하여 색인전문가나 논문 저자들이 사용한 용어 중 동의어나 유사어는 K-MeSH로 바꾸고, 그 이외 용어는 제외한 후, 이들을 위에서 정한 방식으로 정답 집합을 만들어 결과를 측정하였다. 또, 각각의 평가결과가 통계적으로 유의한지를 검사하기 위해 각각에 대해 t-검정을 실시하였다.

III. 결 과

표 1은 일반 용어 색인을 허용하여 색인한 결과로 10개의 실험용 요약 문서 각각에 대한 색인주체별 F-값을 나타낸 것이다. 색인 전문가들의 색인이 저자나 KTAP에 비해 월등하게 좋았다. 저자의 색인도KTAP에 비해 훨씬 점수가 높았다. 표 2는 표 1과 같되, K-MeSH용어로 한정하여 측정한 F-값이다. 여기에서도 색인 전문가들의 색인 점수가 저자나 KTAP에 비해 훨씬 높았다. 하지만, 저자와 KTAP의 차이는 거의 없었다.

이를 통계적으로 검증하기 위해 전문가 중 점수가 가장 낮은 전문가A와 KTAP의 점수를 가설검정을 이용하여 비교하였다. 첫 번째 가설 검정은 다음과 같다.

H0: 전문가의 색인 점수와 KTAP의 점수가 차이가 없다.

H1: 전문가의 색인 점수와 KTAP의 점수 차이가 있다.

이에 대한 독립표본 t검정 결과 유의수준 5%(p=0.003)로 H1을 채택한다. 전문가의 색인점수와 KTAP의 점수는 차이가 있으며 평균차는 34%의 현저한 차이를 나타낸다. 저자와 KTAP의 결과를 비교하기 위해 다음과 같은 가설을 같은 요령으로 검증하였다.

H0: 저자의 색인 점수가 KTAP의 점수와 같다.

H1: 저자의 색인 점수가 KTAP의 점수가 차이가 있다.

이에 대한 독립표본 t검정 결과 유의수준 5% (p=0.968)로 H0를 기각하지 못했다.

표 3은 실제 추출한 키워드를 보여준다. 추정 정답은 4개가 나왔고, 이중 □니코란딜□ (Nicorandil)은 K-MeSH에 □니코랜딜□로만 등록되어 있다. KTAP을 제외한 모든 색인주체들이 K-MeSH 등록여부와 관계없이 □니코란딜□은 색인어로 추출했다. 만약 □니코란딜□이 □니코랜딜□의 유사 외래어로 K-MeSH 등록되었다면, KTAP도 이 용어를 추출했을 것이다. 현재의 비교는 K-MeSH에 등록된 용어만으로 한정하므로, 일단, □니코란딜□은 K-MeSH 색인 비교에서는 제외시켰다.

추정 정답 색인어 중, □아데노신□과 □혈류속도□는 저자와 KTAP모두 추출해 냈다. 하지만, □관상동맥순환□은 저자와 KTAP이 모두 추출하지 못했는데, 이는 논문 요약에 이 용어가 포함되어 있지 않았기 때문이다. 하지만, 색인 전문가들은 주어진 용어 외에 그 문서의 특징을 나타내는 새로운 용어를 찾아내어 색인하였으므로, 새로운 용어인 □관상동맥순환□을 추출한 것이다. KTAP은 새로운 용어를 제시하지는 못하지만, 시소러스 상에서 그와 유사한 관련 용어들을 제시하고 있다. 즉, 새 용어 □관상동맥순환□(G09.330.163.324)과 관련된 용어인 □혈류속도□(G09.330.612.095), □이완기□(G09.330.800.295), □수축기□(G09.330.800.880), □심박수□(G09.330.612.509) 등을 제시하고 있다.

논문	전문가A	전문가B	전문가C	저자	KTAP
1	80.0%	61.5%	80.0%	66.7%	28.6%
2	50.0%	25.0%	66.7%	0.0%	15.4%
3	50.0%	20.0%	66.7%	0.0%	14.3%
4	28.6%	75.0%	75.0%	0.0%	0.0%
5	85.7%	80.0%	100.0%	50.0%	14.3%
6	28.6%	66.7%	57.1%	0.0%	16.7%
7	44.4%	44.4%	66.7%	33.3%	14.3%
8	15.4%	80.0%	71.4%	72.7%	25.0%
9	28.6%	72.7%	83.3%	22.2%	26.7%
10	20.0%	44.4%	75.0%	0.0%	30.8%
평균	43.1%	57.0%	74.2%	24.5%	18.6%

표 1. 문서별 각 색인주체의 F-measure값 (일반용어 색인 허용)

문서	전문가A	전문가B	전문가C	저자	KTAP
1	75.0%	60.0%	100.0%	80.0%	30.8%
2	40.0%	28.6%	80.0%	0.0%	16.7%
3	54.5%	40.0%	80.0%	40.0%	14.3%
4	50.0%	66.7%	66.7%	0.0%	0.0%
5	100.0%	50.0%	100.0%	50.0%	18.2%
6	40.0%	100.0%	100.0%	0.0%	18.2%
7	100.0%	0.0%	80.0%	0.0%	16.7%
8	44.4%	100.0%	88.9%	44.4%	26.7%
9	33.3%	66.7%	85.7%	0.0%	30.8%
10	22.2%	66.7%	100.0%	0.0%	46.2%
평균	56.0%	57.9%	88.1%	21.4%	21.8%

표 2. 각 문서별 색인주체의 F-measure값(K-MeSH 용어로만 색인 제한)

색인주체	색인어
추정 정답	니코란딜*, 아데노신, 혈류속도, 관상동맥순환
전문가A	니코란딜*, 아데노신, 혈류속도, 관상동맥순환, 도플러초음파검사법, 비교연구
전문가B	아데노신, 심혈관조영술, 관상동맥조영술, 관상동맥순환, 관상혈관(심장혈관), 심전도기록법, 니코란딜*, 혈관확장제(혈관운동계통), 혈류속도
전문가C	관상동맥순환, 혈류예비력*, 혈류속도, 도플러 유도 철선*, 니코란딜*, 아데노신
저자	관상동맥 혈류예비력*, 니코란딜*, 아데노신, 도플러 유도철선*, 혈류속도
KTAP	아데노신, 혈류속도, 혈류, 동맥, 확장기, 수축기, 충혈, 심박수, 제제, 주사

표 3. 색인주체별 문서1에 대한 추출 키워드 예 (*표시는 K-MeSH용어가 아님을 나타내며, 괄호안의 용어는 괄호앞 용어에 대한 우선어임)

KTAP이 K-MeSH 용어로 된 정답 색인어를 추출하지 못한 이유는 크게 2가지로 종합하여 설명할 수 있다. 첫째로 논문에 사용된 용어가 K-MeSH내의 유사어 (상용어나 동의어)로 등록되지 않은 경우이고, 둘째로 논문내에서 사용한 용어만으로 직접 색인어를 찾을 수 없는 경우이다. 첫째, 유사어로 등록되지 않아 정답 키워드를 찾지 못한 예로는 유사어로 한글 단어나 외래어 이형태 등이 포함되지 않은 경우 (□니코랜딜□에 대한 유사어인 □니코란딜□이  없음), 외래어와 한글을 혼합하여 표기함으로써 찾지 못한 경우 (□그래이브스병□을 □Graves병□으로 사용함), 약어로 나타내서 찾지 못한 경우 (□중화효소연쇄반응□을 □PCR법□으로 사용함) 등이다. 이러한 유사어를 제대로 처리했다고 가정하여 실험 결과를 다시 평가하면 KTAP의 성능이 33%로 높아졌다. 둘째, 논문내에서 사용한 용어만으로 직접 색인어를 찾을 수 없는 경우로는 앞에서 설명한 □관상동맥순환□ 등과 같이, 논문에 나타난 유사한 용어들을 포괄적으로 나타내는 경우이다. 이와 같은 경우를 처리하기 위해서는 전문 색인가와 같이 기존의 지식을 활용하여 추론하거나, 일반화할 수 있는 기술이 필요하다.

IV. 결 론

본 연구에서는 한국 의학 논문에 대해 자동으로 키워드 추천을 할 수 있는 프로그램을 개발했고, 이를 색인전문가 및 저자 키워드 추출 능력과 비교하여 평가하였다. 평가결과 다음과 같은 결론을 내렸다.

1. 색인 전문가의 전문성을 인정하여 색인 정확도를 평가한 결과 색인 전문가가 저자나 현재의 KTAP보다 우수했다.

2. 색인을 K-MeSH용어로 한정할 경우, 독립표본 t검정결과 유의수준 5%내로 저자와 KTAP이 같은 색인 능력을 나타냈다.

현재의 색인추천 프로그램으로도 K-MeSH 용어만 사용할 경우, 저자와 같은 능력을 나타냈지만, 더 높은 수준의 색인을 위해 다음 사항을 개선할 수 있다.

1. 현재의 K-MeSH에는 한글 유사어, 외래어 이형태의 표기들, 약어, 영어 및 한글 혼합 용어 등이 일부 누락되어 있다. 자동색인의 목적으로 사용하기 위해서는 보완이 필요하며, 보다 많은 유사어가 추가되어 보완될 경우, KTAP의 성능이 더 향상될 것으로 기대한다.

2. 필요한 경우, 논문에 나타나지 않은 용어를 색인어로 추론하여 추출하기 위한 방법이 필요하다. 이는 MeSH의 계층적 구조 등을 이용하여, 용어를 일반화함으로써 이루어 질 수도 있을 것이다.

감사의 글

본 연구를 위해 색인을 도와주신 카톨릭 의대 도서관 정선화님, 삼성의료원 조혜민님, 연대의대 김미희님께 감사드립니다.

참고문헌

1. MeSH (Medical Subject Heading) .

2. Hersh W, Buckly C, Leone TJ. OHSUMED, An interactive retrieval evaluation and new large test collection for research. In proceedings of seventeenth annual international ACM-SIGIR conference on research and development in information retrieval. Dublin, Ireland, Spring-Verlag, 1994;192-201.

3. Srinivasan P. Optimal document indexing vocabulary for MEDLINE. Information Processing & Management, 1996;32(5):503-514.

4. 김병성, 김수영, 가정의학회지 논문의 영문 주제어 선택에 있어서 MeSH용어 사용 여부와 선택 정확도, 가정의학회지, 1998;19(7):531-537.

5. Alan R. A., James G. M., Clifford W. G, Susanne M. H., Willie J. R., The NLM Indexing Initiative's Medical Indexer, MEDINFO 2004, 268-272.

6. 이재성, 김미숙, 이영성, 한국어 의학 문서에 대한 영문 MeSH 키워드의 자동부여 - 띄어쓰기 변이 처리 효과를 중심으로, 한글·언어·인지 학술논문집, 2004;16(1):82-89.

7. William Frakes and Ricardo Baeza-Yates editors, Information Retrieval, Prentice Hall, 1992.

8. 한국의학주제어 및 통제검색어 (KM-Tree : Korean Medical Subject Heading). http://kmbase.medric.or.kr/.