멀티모달(Multi-Modal)

인류가 다른 포유류와는 달리 문명을 건설하고 도구를 사용하면서 과학이라는 성과를 내놓았던 데에는 지구상의 여러 개체들과 차별화되는 특징이 큰 역할을 했다. 첫 번째는 바로 언어다. 텍스트로 소통하고 기록하면서 지식을 축적하는 것이다. 두 번째는 다양한 시각 정보를 받아들이고 이해하는 뇌의 처리능력이다. 세 번째는 후각과 미각, 통각을 비롯한 다양한 감각과 기억을 융합하면서 사물을 받아들이는 지식 통합 능력이다.

기존에 우리가 만들었던 AI는 텍스트나 자연어를 이해하는 데 중점을 두었다. 어떤 개념을 이해하기 위해서는 시각과 미각, 촉각, 테스트까지 여러 개념을 통합해서 인식했다. 데이터 처리나 통계, 텍스트를 검색하여 보여주는 것은 가능하지만 인간과 유사한 방식의 사고는 할 수가 없다. AI가 세상을 제대로 인식할 수 있도록 하기 위해 등장한 것이 멀티 모달리티(Multi-Modality)이다. 모달리티(modality)는 양식이라는 뜻으로 보통 어떤 형태로 나타나는 현상이나 그것을 받아들이는 방식을 말한다.

텍스트, 음성, 이미지, 영상 등 다양한 형태의 데이터를 통합적으로 처리할 수 있는 AI기술을 가리키는 용어가 멀티모달(Multi-Modal)이다. 멀티모달(Multi-Modal)은 시각, 청각을 비롯한 여러 인터페이스를 통해서 정보를 주고받는 것을 말하는 개념이며, 이렇게 다양한 채널의 모달리티(modality)를 동시에 받아들여 학습하고 사고하는 AI를 멀티모달(Multi-Modal) AI라고 한다. 쉽게 말하면 인간이 사물을 받아들이는 다양한 방식과 동일하게 학습하는 AI라는 말이다.

멀티모달(Multi-Modal) AI는 차량의 전면부가 크게 파손된 차량의 사진과 번호판의 사진을 보험사에 전송하면 해당 차량이 가입된 보험 상품을 검색하고 고객의 피해 정도가 얼마나 될지 예측한 다음 담당자와 고객에게 사고 접수와 처리를 바로 진행하도록 해줄 수 있다. 즉 정확한 상황인지를 통해서 조금 더 명확한 판단을 내릴 수 있는 똑똑한 AI라는 것이다.