도시아(°C.ai)는 visionOS 기반의 AR/MR 전시감상 AI 도슨트예요. 현실 공간(전시관/미술관)에 설치된 작품을 자동으로 인식하고, 이에 해당하는 작품 설명 및 작가에 대한 지식과 정보를 AI 컴패니언 기반의 음성 대화형 인터랙션으로 제공해요. 현재 프로토타입 개발을 완료했으며, 25년 상반기 내 베타버전을 출시함으로써 '집에서 즐기는 한국 미술관'을 표방하여 국내 비전프로 생태계 활성화 및 이슈화에 기여하고자해요.

특정 공간을 기반으로 한 Image Tracking(특정 마커 인식 시 작품 및 3D 포탈 팝업) 기능을 포함하여 휴먼 인터페이스 가이드라인 준수, OpenAI Assistants API 연동을 진행했어요. 또한 프로토타입의 경우에 특정 공간을 기준으로 설계되었지만, 향후 개인화된 앱(집에서 즐기는 원격 전시/미술관)으로 접근하여 다양한 K-헤리티지를 다룰 수 있도록 지속적인 콘텐츠업데이트를 진행할 예정이에요.

# Apple Vision Pro AI Docent Application (AI Companion)

## Project Result Overview

모두의연구소 XRC 랩 활동(11월까지) 산출물이라고 할 수 있는 프로젝트 시연 및 전시회를 모두의연구소 강남에서 11/15 - 11/16 양일간 진행했습니다. 내용 간단히 요약해 봅니다.

애플 비전 프로 상에서 오프라인 도슨트와 비교되는 인공지능 XR 도슨트 소프트웨어를 기획/디자인/개발했습니다. 많은 분들이 생소한 개발 환경에 고생하셨습니다.

개발 스택은 다음과 같습니다.

- 애플 비전 프로 / 비전 OS

- Swift 언어

- SwiftUI(2D) / RealityKit(3D)

- 기타 애플 네이티브 프레임워크/라이브러리

- OpenAI Assistants API / TTS API

사용한 툴은 다음과 같습니다.

- Xcode / Cursor IDE

- Reality Composer Pro

- 미드저니 / 블렌더

전시 기간에 많은 분들이 체험하고 설문 조사에 참여해 주셔서 너무 감사했습니다. 조사 결과는 논문으로도 작성되었습니다.

## Project Architecture Technical Overview

[Technical Architecture Overview](https://gamma.app/docs/AI-Docent--qyct8dtopw8s7y1)

## Presentation Files

[2024.10.15 삼성전자 사내 소프트웨어 컨퍼런스 발표](https://1drv.ms/p/c/3018bfb10e7ffd89/EYn9fw6xvxgggDAxFwAAAAAB3bPusZvJeAZVqJQy80krHQ?e=in2kYg)

[2024.10.25 KWDC24 Speaker Profile Page](https://kwdc.dev/en/2024/speaker/12/)

[2024.10.25 KWDC24 Presentation File(키노트 포맷)](https://drive.google.com/file/d/1JGGbCi3zq8HcMzr6muDoa6x0LWwt4kTB/view?usp=drive_link)

[2024.10.25 KWDC24 Presentation File(PPT 포맷)](https://1drv.ms/p/c/3018bfb10e7ffd89/EYn9fw6xvxgggDAxFwAAAAAB3bPusZvJeAZVqJQy80krHQ?e=in2kYg)

[2024.11.21 아트코리아랩 다학제 연구 결과 발표회](https://docs.google.com/presentation/d/17fKozpCSMQE6echzQ8OEVom6ebvKPULrCUaHb0KSO9o/edit?usp=sharing)

## Running Demo

[2024.11.15 Youtube AI Docent 전시회 시연 영상](https://youtu.be/Ih51htAFUPI)

## Papers

[2025.02.10 HCI2025 학술대회 발표 논문 - 애플 비전 프로 기반 AI 도슨트 XR 전시 경험의 설계와 가능성 탐색](https://1drv.ms/w/c/3018bfb10e7ffd89/ETKiJZmgvz1Nqutyi0chLggBw9ISqHv6uGB2Qpn83nTRtQ?e=4MfEVj)

본 연구는 애플 비전 프로(Apple Vision Pro) 기반 XR(eXtended Reality) 기술과 인공지능(AI)을 결합하여 초개인화된 도슨트 시스템을 개발하고, 해당 시스템이 문화예술 콘텐츠 경험에 미치는 영향을 탐구하는 데 목적이 있다. AI 도슨트 프로토타입 ‘Doccia’는 사용자의 전시 선호와 예술 지식 수준에 따라 12가지 스타일의 도슨트 페르소나를 생성하며, 음성 및 시각적 상호작용을 통해 사용자가 작품에 대한 이해를 심화하고 전시에 몰입할 수 있도록 설계되었다. 또한, 작품과 연계된 체험형 게임 요소와 맞춤형 시·청각 자료를 제공하여 전시 경험을 확장하였다. 연구 결과, AI와 XR 기술의 융합이 관람객의 이해도, 몰입도, 흥미도를 높이는 데 긍정적인 영향을 미쳤으며, 특히 정보의 적시성과 편리성에서 높은 평가를 받았다. 그러나 AI 도슨트의 응답 신뢰도와 XR기기의 하드웨어적 한계는 개선이 필요한 과제로 지적되었다. 본 연구는 XR과 AI 기술을 활용한 도슨트 시스템이 문화예술 콘텐츠 소비 방식의 혁신적 변화를 이끌 수 있음을 보여준다. 본 연구의 결과는 유사한 XR 기반 시스템 개발을 위한 실무적 가이드라인을 제시하며, 문화예술 분야의 디지털 전환에 기여할 것으로 기대된다.