[닥터번역] 인공신경망 기반 맞춤형 기계번역엔진의 성능 평가

번역학연구 24권 1호 (2023년3월31일)

“인공신경망 기반 맞춤형 기계번역엔진의 성능 평가: 법률 및 특허 한영번역 결과물 평가 사례를 중심으로” – 이지은, 최효은 (이화여대)

링크: https://www.kci.go.kr/kciportal/landing/article.kci?arti_id=ART002945403#none

 

기계 번역의 결과물을 번역 전문가가 평가하여 그 품질을 가능해 보는 재미있는 연구입니다. 법률 번역과 특허 번역을 대상으로 하여 오트란이라는 기계 번역기의 성능을 분석한 것인데, 특허 번역의 경우 특허공보 30건에서 발명의 명칭과 요약을 발췌한 83 개 세그먼트의 영어 번역텍스트를 대상으로 평가를 수행한 것입니다.

 

좋은 시도이기도 하고, 특히 요즘 과학기술 번역자들이 많이 궁금해하는 내용이기도 합니다. 신문 기자들이 재미 삼아 인공 지능에 몇 문장 번역을 시켜 놓고 ‘이게 더 좋다 저게 더 좋다’하는 것보다는 훨씬 믿음이 갑니다. 이런 연구를 해주신 저자들께 감사하며, 앞으로 더 많은 연구 결과를 보기를 희망합니다.

 

하지만 아직까지는 아쉬운 점도 많습니다. 제가 보기에, 현재 이용 가능하고 또 최근에 빠르게 발전한 인공 지능 번역기가 아주 여러 개 있다는 점, 대상 세그먼트가 83개 밖에 되지 않았다는 점, 그리고 발명의 명칭과 요약이 특허 번역에서 (아마도) 제일 난이도가 낮은 부분이라는 점, 그리고 '인간' 평가자가 두 명 밖에 없었으며 둘 사이의 평가 결과에 상당한 차이가 있었다는 점을 고려하면, 연구자들께서 이 주제에 대해서 연구할 것이 앞으로 참 많을 거라는 생각이 듭니다. (동시에, 앞으로 당분간은 이 주제에서 논문 주제가 부족할 일은 없겠다는 생각도 듭니다.)

 

기계 번역된 특허 번역물에 포함된 오류의 예를 설명하는 한 예시가 주의를 끌었습니다.

이 <예 3>과 관련해서 ‘평가자 E3은 ‘원문의 ‘제조과정을 단순화할 수 있어’에서 ‘제조과정을’이 번역에서 누락됨. 또한 원문의 ‘효과가 있다’가 번역에서 누락됨.’으로 코멘트를 기재하여, 오트란 결과물에서 여러 구절의 누락 문제를 지적하였다. 특히 문서임을 고려할 때 ‘thus can be simplified’ 부분은 ‘제조과정을’의 누락으로 인해 ‘검사장치’인 ‘the test apparatus’ 자체가 ‘단순화 되었다’라고 잘못 해석될 가능성이 높다.’고 논문에 나와 있습니다.

 

한국어 ST를 보면, 하고 싶은 말은 ‘검사장치의 구조’가 좋다는 것인데, 그래서 ‘검사장치’나 ‘구조’를 주어로 번역문을 쓰면 여러 오류가 나오기 싶습니다. 형식적으로는 ‘효과’가 주어가 되어야 하는데, 그렇게 되면 요점이 잘 강조되지 않습니다. 한국어 ST에 주어가 명확하게 드러나 있지 않기 때문에 생기는 일입니다. (한국어 문장에는 주어가 없는 경우도 많고, 주어가 두 개씩 있는 경우도 있습니다.)

 

이 시점에서 자동으로 드는 생각은, ‘나라면 어떻게 번역할까?’입니다.

 

“The simplicity of the structure of the test apparatus according to the present invention enables one to simplify the manufacturing process in order to reduce the cost.”

 

이렇게 쓰면 예쁘고 깔끔하고 ‘영어스러운’ 문장이 되겠습니다만(일반적인 과학기술 논문이라면 이렇게 쓰겠습니다), 특허 번역자들은 이런 문장을 쓰면 ‘왜곡’했다는 평가를 받습니다. ‘영어스러운’ 문장보다는 ‘특허스러운’ 문장을 써야 하니까요. 그래서 많이 어색하더라도 단어의 누락을 최소화하고 어순도 최대한 그대로 유지하면서 이 정도로 번역할 것 같습니다.

“According to the present invention, the test apparatus has a simple structure and thus the manufacturing process can be simplified, and so there is an effect of reducing costs.”

 

'재미도 없고 감동도 없는' 문장이지만, 이 업계에서는 수용 가능한 특허 번역문이라고 생각합니다. 특허의 영어는 현실 세계의 영어와 많이 다르니까요. (청구항 부분은 차이가 더욱 큽니다.)

 

위의 예에서도 볼 수 있듯이, ST 원문이 간명할수록 기계 번역문의 품질이 좋아질 가능성이 높아 보입니다. 사람이 사람에게 하는 말이든, 사람이 기계에게 들려주는 말이든 명확할수록 좋습니다. 아직까지는 ‘행간도 읽을 줄 모르고 눈치도 볼 줄 모르는’ 인공 지능에게 법률 문서와 특허 문서를 맡길 수는 없을 것 같습니다. 그리고, 과학기술 번역자와 같은 전문적인 문서의 번역자라면, 인공 지능의 번역을 평가할 수 있을 정도의 전문성을 갖추어야 앞으로 살아남을 것 같습니다. 물론 살아남은 번역자는 아주 소중한 자원으로 여겨질 것입니다.