美서 ‘시맨틱 디코더’ 기술 개발

문장 떠올리면 곧바로 글로 옮겨
탐침이나 칩 이식 수술 필요없어
기능성 MRI로 뇌 움직임을 측정
잠재적 오용 가능성 우려도 커져

영화 ‘인셉션’에는 타인의 꿈을 해킹하는 기술과 사람들이 등장한다. 아직은 SF처럼 타인의 머릿속을 해킹하는 기술은 없지만 관련 기술들은 계속 연구되고 있다.이런 상황에서 미국 텍사스 오스틴대 컴퓨터과학과, 신경과학과 공동 연구팀은 어떤 문장을 머릿속에 떠올리면 바로 글로 옮겨 주는 인공지능 ‘시맨틱 디코더’라는 기술을 개발했다고 3일 밝혔다. 이번 연구 결과는 신경과학 분야 국제학술지 ‘네이처 뉴로사이언스’ 5월 2일자에 실렸다.연구팀은 의식은 있지만 말을 하거나 글을 쓸 수 없는 사람들을 돕기 위해 이번 기술을 개발했다고 밝혔다. 사지 마비로 인해 말하거나 글을 쓸 수 없는 사람들의 의사소통을 도와주는 기술을 ‘신경 보정술’이라고 한다. 스티븐 호킹 박사가 생전에 사용했던 것처럼 눈동자 움직임으로 컴퓨터 화면에 표시된 가상 키보드나 마우스를 원하는 글자로 이동시켜 타이핑하는 ‘포인트 앤드 클릭 타이핑’ 기술도 신경 보정술의 하나이다. 문제는 이런 기술들 대부분이 사용자가 원하는 문장이나 단어를 표현하는 데 시간이 걸린다는 점이다.

그런데 시맨틱 디코더는 사용자가 이야기를 듣고 말을 하기 위해 생각하는 것을 곧바로 문장으로 바꿔 화면에 띄워 주는 기술이다. 게다가 생각하는 모든 것을 문장으로 변환시키는 것이 아니라 여러 생각 중 사용자가 상대에게 알리고 싶은 문장만 골라 화면에 띄울 수 있다는 장점까지 갖추고 있다.시맨틱 디코더는 오픈AI의 챗GPT, 구글의 바드(Bard)를 만드는 데 활용된 ‘트랜스포머 모델’을 활용했다. 트랜스포머 모델은 인공지능 언어 모델의 일종으로 문장 속 단어들의 관계를 추적해 맥락과 의미를 학습하는 신경망 기술이다. 셀프 어텐션이란 수학적 기법으로 서로 떨어져 있는 데이터들의 관계를 파악해 미묘한 뉘앙스까지 감지해 낼 수 있는 것으로 알려져 있다.

또 이번 기술은 기존의 신경 보정술들과 달리 대상자의 뇌에 탐침이나 송수신용 칩을 이식하는 수술도 필요 없다. 연구팀은 20~30대 건강한 성인 남녀 7명을 대상으로 실험했다. 실험 대상자들에게 16시간 동안 라디오나 팟캐스트를 들려주면서 기능성 자기공명영상(fMRI)으로 뇌의 움직임을 측정했다. 특정 구절이나 단어의 의미와 관련한 뇌 움직임을 매핑하도록 인공지능을 훈련했다. 이를 통해 시맨틱 디코더가 새로운 이야기의 의미를 포착하는 순간 뇌의 움직임을 분석해 정확한 단어와 문장으로 만들어 내도록 한 것이다. 연구팀에 따르면 시맨틱 디코더가 언어 처리 뇌 영역과 해당 네트워크 활동으로부터 연속적인 언어를 추론할 수 있다는 사실을 확인했다.연구팀은 실험 대상자들에게 4개의 짧은 무성 동영상을 시청하도록 하면서 시맨틱 디코더를 작동시켜 정확성을 측정했다. 그 결과 시맨틱 디코더는 실험 대상자들이 비디오를 보면서 떠올린 생각들을 그대로 문장으로 바꿀 뿐만 아니라 요약하기까지 했다.

문제는 사람의 생각을 읽을 수 있는 기술이 개발되면서 잠재적 오용 가능성에 대한 우려도 커지고 있다. 연구를 이끈 알렉산더 후스 교수(인공지능)는 이에 관해 “이번 기술이 나쁜 목적으로 사용될 수 있다는 우려를 매우 심각하게 받아들이고 있다”면서 “현재 기술이 초기 단계인 만큼 프라이버시를 보호하는 정책을 만들고 해당 장치의 용도를 규제하는 등 선제 대응도 병행돼야 할 것”이라고 말했다.