글로벌 칼럼 | 아무도 말하지 않는 윈도우의 약점, "음성 인식"

윈도우에는 마이크로소프트가 굳이 나서서 알리지 않는 기능이 하나 있다. 스타일러스를 사용해서 메모를 하고, 윈도우 헬로(Windows Hello)를 사용해서 얼굴을 인식하거나 로그인하고(또는 웹 보안), 코타나(Cortana)에게 어떤 일을 상기시키도록 지시할 수도 있는 윈도우에서 유독 음성 인식(Speech recognition) 엔진을 사용해 명령을 내리거나 받아쓰기를 하는 기능만큼은 별로 내세우지 않는다.

마이크로소프트가 이 기능에 침묵하는 이유를 찾아보면 대략 10년 전으로 거슬러 올라간다. 당시 마이크로소프트 제품 관리자 섀년 보쳐는 윈도우 비스타에 내장된 음성 받아쓰기를 시연했지만 이 시연은 속된 말로 폭망했다.

이후 마이크로소프트는 음성 인식 기능을 굳이 드러내지 않았다. 지금은 윈도우 내에서 받아쓰기로 문서를 작성할 수 있다는 것을 아는 사용자는 극소수에 불과하다.

만일 윈도우가 이 기능에 재도전할 적당한 시점을 꼽는다면 바로 지금이다. 컴퓨터와 인공 지능의 발달로 기술적인 토대가 훨씬 더 견고해졌기 때문이다.

마이크로소프트 음성 인식 연구와 코타나, 빙을 총괄하는 해리 슘 부사장은 마이크로소프트 오피스 내 받아쓰기 기능의 미래에 대한 질문을 받자 "아주 좋은 질문"이라고 운을 뗀 뒤 "이 기능은 지금 알려진 것보다 훨씬 더 큰 역할을 할 수 있다"고 강조했다.

그래서 한번 테스트해 보기로 했다. 다른 최신의 음성 기반 기술에 비해 어느 정도 수준인지 가늠해보기 위해 윈도우의 음성 받아쓰기 기능을 세부적으로 살펴봤다.


음성 인식이 완벽할 수 없는 이유
받아쓰기라고 하면 몇몇 사람은 여전히 만화 둔즈베리(Doonesbury)에서 조롱한 애플 뉴튼(Newton)을 떠올린다. 이 만화에서 뉴튼은 "I am writing a test sentence"라는 말을 "Siam fighting atomic sentry"로 받아쓴다. 사실 그렇게 생각한다 해도 이상할 것은 없다.

윈도우 음성 인식은 비스타 이후 변한 점이 전혀 없는 마이크로소프트 스피치 레코그나이저(Speech Recognizer) 8.0을 기반으로 한다. 슘의 말을 빌자면 "할아버지뻘" 기술이다.

그러나 하드웨어는 바뀌었다. 즉, 음성을 듣고 해석하는 데 필요한 처리 성능이 10년 전에 비해 훨씬 더 좋아졌다. 서피스 북과 같은 PC에 내장된 통합 어레이 마이크의 품질이 좋아진 덕분에 굳이 전용 헤드셋이 없어도 높은 정확도를 얻을 수 있기 때문이다. 그렇다면 받아쓰기의 대중화가 마침내 이루어진 것일까?

윈도우의 음성 기능을 테스트하면서 필자가 직접 경험한 바에 따르면, 받아쓰기 시스템이 실용성을 갖기 위해서는 고도의 완벽함이 필요하다. 이 기사는 부제를 포함해 1,028개의 단어로 구성된다. 받아쓰기 소프트웨어를 사용해 이 기사를 쓴다고 가정할 경우 정확도가 95%라면 대략 50번 이상 오류를 수정해야 한다는 의미다. 50번이라니, 듣기만 해도 질린다.

현재 개인적으로 테스트 중인 다른 음성 인식 제품 용도로 필자가 고안한 방법을 사용해 테스트한 결과 윈도우의 정확도는 93.6%였다. 일단 수치 자체로도 상당히 낮은 수준이고 필자가 실험 중인 전용 소프트웨어에 비해서도 떨어진다.

또한 윈도우는 필자가 구두점을 넣으려고 할 때 "comma"라는 단어 자체를 집어넣는 경향이 있다. 이런 오류는 보기에 따라 사소한 문제일 수도 있지만 심각하게 받아들일 수도 있다.

물론 이것은 기준선일 뿐이다. 받아쓰기 소프트웨어를 사용해 본 사람이라면 누구나 알겠지만 정확도를 얻기 위한 핵심은 학습이다. 시간이 지나면서 받아쓰기 프로그램은 사용자의 억양, apricot의 "a"를 "bad"처럼 발음하는지, "ape"처럼 발음하는지 등을 학습하고, 사용자가 무의식적으로 내는 소리를 걸러내는 방법도 익힌다.

필자가 마이크로소프트 직원들에게서 듣기로는 제대로 학습된 경우 윈도우 음성 인식의 정확도는 99%라고 한다. 단어 1,000개당 오류가 10개 정도니까 꽤 준수한 수준이다.


그러나 문제는 소프트웨어를 학습시키기 위해 시간을 투자할 사람이 별로 없다는 데 있다. 윈도우 음성 인식의 경우 최대 10분 동안 일련의 연습 문장을 실행해야 하는데, 체감상 굉장히 길고 지루하다.

코타나와 시리는 사전에 수백만 개의 음성 샘플로 교육이 된 상태이므로 이러한 사전 준비 시간이 필요없다. 사람들에게 즉시 만족스러운 결과를 제공하는 데는 그만한 이유가 있는 것이다.

PC나 폰에서 사용 가능한 코타나가 윈도우 자체의 오래된 받아쓰기 시스템보다 훨씬 더 우수한 이유는 코타나가 접속할 수 있는 마이크로소프트 클라우드의 막강한 연산력에 있다. 마이크로소프트는 사용자의 음성 입력을 받아 마이크로소프트가 이미 알고 있는 사용자에 대한 정보와 상호 연관시켜 코타나의 영혼이라고 할 수 있는 지능을 생성한다.

마이크로소프트가 자랑하는 음성 인식과 현실의 괴리
검증된 코타나의 기능을 감안하면 최근 마이크로소프트가 주최한 이그나이트(Ignite) 행사에서 음성이 중요한 주제로 부각되었을 법도 하다. 그러나 이그나이트에는 음성 받아쓰기에 관한 세션은 단 하나도 없었고, 음성 인식에 대한 세션만 딱 하나 있었다. 한편 마이크로소프트 CEO 사티아 나델라는 기조 연설에서 손글씨 인식을 마이크로소프트 미래의 핵심 구성 요소로 언급했다.


예를 들어 스카이프 번역기(Skype Translator)를 보자. 나델라에 따르면 마이크로소프트의 범용 번역기인 이 프로그램은 음성 인식, 음성 합성, 기계 번역의 세 가지 분야의 연구를 토대로 한다. 나델라는 "이 세 가지 기술에 딥 러닝과 신경망, 스카이프 데이터를 적용하면 마법이 펼쳐진다"고 말했다.

나델라는 또한 "워드 또는 아웃룩 내부에서도 문서를 작성할 때 이제 단순히 유의어 사전 기반의 맞춤법 검사를 하지 않는다. 사용자가 무엇을 쓰는 지에 대해 연산을 통한 완전한 언어적 이해가 이제 가능하다. 오피스가 이제 난독증을 돕는 역할도 할 수 있다"고 설명했다.

그러나 이 말은 쓰기가 아닌 말하기에는 해당되지 않는 듯하다. 이 연설에서 나델라는 마이크로소프트의 음성 알고리즘이 NIST 스위치보드(NIST Switchboard) 테스트를 사용해 6.9%의 단어 오류율을 기록했다고 자랑했다.

정확도가 93.1%니까 그리 좋아 보이지는 않는다. 그러나 스위치보드 테스트에서 사용하는 샘플레이트는 겨우 8KHz인데, 이는 2000년도 전화 통화 정도의 품질이다. 원노트 내장 코덱인 윈도우 미디어 오디오 10은 훨씬 더 정확한 샘플을 제공하는 최대 48KHz의 오디오를 캡처할 수 있다.

필자가 보기에 기술적으로 퍼즐을 맞추는 데 필요한 조각은 모두 갖춰져 있다. 장애물이 있다면 아마 조직적인 문제일 공산이 크다. 지난 6일을 기준으로 마이크로소프트 오피스 앱은 코타나와 빙에서 떨어져 자체 그룹으로 분리해 나왔다.

한편 슘은 지능이 마이크로소프트 제품에서 여전히 중요한 요소라면서 "AI 기술을 모든 마이크로소프트 제품에 불어넣고 있음은 확실하다"고 말했다. 또한 마이크로소프트 대변인은 마이크로소프트가 앞으로 더 많은 것을 선보일 것이라고 말했다.

마이크로소프트는 공식 성명에서 "마이크로소프트는 다양한 기기와 환경을 포괄하는 대화를 중요한 가치로 여긴다. 지금은 우리가 믿는 가능성의 시작 단계일 뿐이다. 코타나와 대화를 다양한 생산적 시나리오에 연결할 수 있는 기회는 풍부하다. 현재 코타나는 오피스 365와 통합되어 예정된 회의, 항공편 및 배송 추적 등의 정보를 일목요연하게 제공하며, 빙 역시 오피스 내에서 지능적인 정보를 제공한다. 마이크로소프트는 이 분야에 집중적으로 계속 투자할 것이다"고 밝혔다.

그러나 마이크로소프트가 생산성을 내세운다면, 스카이프를 사용해 방글라데시의 호텔을 예약하는 것을 두고 PC내 음성 인식의 미래라고 할 수는 없을 것이다. 관건은 자신의 경험에 대한 쓰기, 그것도 손가락이 아닌 음성을 사용한 쓰기다.