요즘 주변을 돌아다니다 보면 예전의 비해 많은 외국인을 볼 수 있다. 각종 예능 프로그램에서도 많은 외국인이 자주 출연하여 한국의 문화를 배우거나, 한국에 살아가는 장면이 자주 연출된다. 이전과는 다르게 조금씩 개방되어 사람들의 외국인 인식이 달라졌으며 많은 다문화 가정이 형성되었다. 실제 각 초,중,고등학교 다문화 가정 자녀가 다니는 비율이 2012년의 비해 2017년에는 3배 가깝게 증가하였다(출처: 교육통계연구센터 [2017 교육통계분석자료집]). 이 많은 다문화 가정의 구성원들이 한글을 조금 더 쉽게 학습할 수 있도록 도와주는 프로그램이다.
한글을 포함한 언어를 학습하는 방법으로는 '말하기', '쓰기', '읽기', '듣기' 가 있다. 여기서 '읽기'와 '듣기'의 경우 TV, 신문 등을 통해 쉽게 접할 수 있으며, 번역기의 발달로 학습을 하는데 있어 여러 자원을 사용 가능하다. 하지만 '쓰기'와 '말하기'의 경우 앞서 소개한 '읽기'와 '듣기'보다는 비교적 접할수 있는 기회가 적으며 그 중 '말하기' 학습을 위한 어플리케이션을 개발했다.
이 어플리케이션의 프로세스는 크게 4개의 단계로 이루어져 있다.
- 해당 사용자의 현재 학습 진행도의 따라 아나운서가 녹음한 파일(이하 레퍼런스)을 듣는다.
- 레퍼런스를 듣고 사용자는 최대한 비슷하게 따라 발음한다.
- 녹음한 파일과 레퍼런스를 비교하여 점수를 나타낸다.
- 점수가 일정 점수를 넘지 못할 경우 재녹음하며, 넘을 경우 다음 단계로 넘어간다.
1. Normalize: 두개의 음성파일은 서로 녹음 환경이 다르다. 서로 다른 녹음 환경을 최대한 비슷하게 맞춰주기 위해 적용하였다. 각각의 음성파일 모두 큰값 순서대로 정렬을 한뒤 상위 10%의 평균을 구한다. 구해진 평균의 비를 한쪽 음성파일 값에 곱하여 값의 크기를 맞춰주었다.
2. Smoothing: 두 음성파일을 비교하기 전처리 작업으로 음성파일의 값을 리니어(linear)한 곡선의 형태로 만든다.
3. 면적 비교: 두 음성파일을 면적을 통해 비교하는 알고리즘이다. 두개의 파형에서 겹치는 부분(교집합)과 전체모양(합집합)을 이용하여 구하는 방법으다. 면적 점수 = 교집합/합집합 * 100
4. 모양 비교: 두 음성파일을 모양을 통해 비교하는 알고리즘이다. 면적만을 사용하여 점수를 나타냈을 경우 값의 신빙성이 떨어진다. 음성파일의 저장된 값은 소리의 크기이며 아무렇게 발음을 한들 레퍼런스와 겹치는 부분만 많다면 점수가 높게 나오므로 파형의 모양을 분석하여 점수의 차별을 두었다. 모양 비교의 경우 1차 미분을 통해 각 극점을 찾고 각 극점간의 거리를 통해 모양 점수를 내었다. 하지만 음성파일은 연음과 같은 변수때문에 오목한 부분과 볼록한 부분이 정확히 구분되지 않는 경우있다. 이런 경우 2차 미분을 통해 1차 미분값의 변화를 감지하고 두개의 파형의 극점을 맞춰준다.