Transforming Music into Waves
: An AI-Based Sensory Conversion Approach
Introduction
Silo는 AI 기반 사운드 비주얼라이제이션 기술을 통해 소리를 파동, 질감, 색채, 진동으로 변환하여
들리지 않아도 눈과 몸으로 음악과 소리를 체험할 수 있는 새로운 방식의 데이터 및 경험을 제공합니다.
이 기술은 단순한 시각화가 아닌, 감정·음색·리듬을 반영하는 고품질 멀티모달 데이터로 확장 가능하며,
MR 환경에서 실시간 상호작용을 가능하게 합니다.
Background
현재 대부분의 사운드 기반 시각화는 파형을
단순히 2D 그래프나 스펙트럼 형태로 변환하는 수준에 머물러 있습니다.
이에 반해, Silo의 기술은 음색 분석 기반 PBR 머티리얼 매핑, Valence-Arousal 감정 추정 컬러 매핑,
MR 시각·햅틱 피드백 시스템을 통해 소리를 질감, 감정, 신체 경험으로 연결합니다.
이를 통해 모두가 동일한 소리 경험을 다른 감각 언어로 공유할 수 있는
고품질 멀티모달 데이터와 체험을 제공합니다.
Sound Visual X AI
AI 모델 1차 적용
작업기간 : 2025.08~09 (약 1개월)
음악 시연 모델
MR-Based
Visual and Haptic Feedback System
입력 및 처리
(MR 환경 → Arduino)
다중 채널 촉각 피드백
신호 처리 및 제어
(Arduino → FPGA → Shift Register)
출력 구동
(MOSFET Driver → Transducer Array)
본 연구에서 구현한 MR 기반 소리–촉각 변환 시스템은 Meta Quest 기반 MR 환경,
Arduino–FPGA 신호 처리 모듈, 다중 채널 트랜스듀서 배열의 세 요소로 구성된다.
이 아키텍처는 단일 진동 피드백을 넘어서, 소리의 주파수·진폭·리듬을 다중 채널 촉각 언어로 변환하는 기반을
제공하며, 소리를 단순히 "보는 것"에 그치지 않고, 공간적·신체적 경험으로 체험할 수 있으며,
이는 MR 기반 다감각 융합 연구의 확장 가능성을 보여준다.