“지금 내가 바라보고 있는 작품이 뭐야?”
“이 작가의 생애를 설명하는 영상을 보여줘”
“이 작품의 배경이 된 마을을 직접 탐험해보고 싶어”
전시의 온도를 높이는 시간, Doccia
About Team PLBZ
Apple Vision Pro AI Docent
Application (AI Companion)
CEO Message
#AI 도슨트 #XR 기술 #대화형 인터페이스
#맞춤형 전시 경험 #문화예술 콘텐츠 #몰입형 상호작용
도시아(°C.ai)는 visionOS 기반의 AR/MR 전시감상 AI 도슨트예요. 현실 공간(전시관/미술관)에 설치된 작품을 자동으로 인식하고, 이에 해당하는 작품 설명 및 작가에 대한 지식과 정보를 AI 컴패니언 기반의 음성 대화형 인터랙션으로 제공해요. 현재 프로토타입 개발을 완료했으며, 25년 상반기 내 베타버전을 출시함으로써 '집에서 즐기는 한국 미술관'을 표방하여 국내 비전프로 생태계 활성화 및 이슈화에 기여하고자해요.
특정 공간을 기반으로 한 Image Tracking(특정 마커 인식 시 작품 및 3D 포탈 팝업) 기능을 포함하여 휴먼 인터페이스 가이드라인 준수, OpenAI Assistants API 연동을 진행했어요. 또한 프로토타입의 경우에 특정 공간을 기준으로 설계되었지만, 향후 개인화된 앱(집에서 즐기는 원격 전시/미술관)으로 접근하여 다양한 K-헤리티지를 다룰 수 있도록 지속적인 콘텐츠업데이트를 진행할 예정이에요.
# Apple Vision Pro AI Docent Application (AI Companion)
## Project Result Overview
모두의연구소 XRC 랩 활동(11월까지) 산출물이라고 할 수 있는 프로젝트 시연 및 전시회를 모두의연구소 강남에서 11/15 - 11/16 양일간 진행했습니다. 내용 간단히 요약해 봅니다.
애플 비전 프로 상에서 오프라인 도슨트와 비교되는 인공지능 XR 도슨트 소프트웨어를 기획/디자인/개발했습니다. 많은 분들이 생소한 개발 환경에 고생하셨습니다.
개발 스택은 다음과 같습니다.
- 애플 비전 프로 / 비전 OS
- Swift 언어
- SwiftUI(2D) / RealityKit(3D)
- 기타 애플 네이티브 프레임워크/라이브러리
- OpenAI Assistants API / TTS API
사용한 툴은 다음과 같습니다.
- Xcode / Cursor IDE
- Reality Composer Pro
- 미드저니 / 블렌더
전시 기간에 많은 분들이 체험하고 설문 조사에 참여해 주셔서 너무 감사했습니다. 조사 결과는 논문으로도 작성되었습니다.
## Project Architecture Technical Overview
[Technical Architecture Overview](https://gamma.app/docs/AI-Docent--qyct8dtopw8s7y1)
## Presentation Files
[2024.10.15 삼성전자 사내 소프트웨어 컨퍼런스 발표](https://1drv.ms/p/c/3018bfb10e7ffd89/EYn9fw6xvxgggDAxFwAAAAAB3bPusZvJeAZVqJQy80krHQ?e=in2kYg)
[2024.10.25 KWDC24 Speaker Profile Page](https://kwdc.dev/en/2024/speaker/12/)
[2024.10.25 KWDC24 Presentation File(키노트 포맷)](https://drive.google.com/file/d/1JGGbCi3zq8HcMzr6muDoa6x0LWwt4kTB/view?usp=drive_link)
[2024.10.25 KWDC24 Presentation File(PPT 포맷)](https://1drv.ms/p/c/3018bfb10e7ffd89/EYn9fw6xvxgggDAxFwAAAAAB3bPusZvJeAZVqJQy80krHQ?e=in2kYg)
[2024.11.21 아트코리아랩 다학제 연구 결과 발표회](https://docs.google.com/presentation/d/17fKozpCSMQE6echzQ8OEVom6ebvKPULrCUaHb0KSO9o/edit?usp=sharing)
## Running Demo
[2024.11.15 Youtube AI Docent 전시회 시연 영상](https://youtu.be/Ih51htAFUPI)
## Papers
[2025.02.10 HCI2025 학술대회 발표 논문 - 애플 비전 프로 기반 AI 도슨트 XR 전시 경험의 설계와 가능성 탐색](https://1drv.ms/w/c/3018bfb10e7ffd89/ETKiJZmgvz1Nqutyi0chLggBw9ISqHv6uGB2Qpn83nTRtQ?e=4MfEVj)
본 연구는 애플 비전 프로(Apple Vision Pro) 기반 XR(eXtended Reality) 기술과 인공지능(AI)을 결합하여 초개인화된 도슨트 시스템을 개발하고, 해당 시스템이 문화예술 콘텐츠 경험에 미치는 영향을 탐구하는 데 목적이 있다. AI 도슨트 프로토타입 ‘Doccia’는 사용자의 전시 선호와 예술 지식 수준에 따라 12가지 스타일의 도슨트 페르소나를 생성하며, 음성 및 시각적 상호작용을 통해 사용자가 작품에 대한 이해를 심화하고 전시에 몰입할 수 있도록 설계되었다. 또한, 작품과 연계된 체험형 게임 요소와 맞춤형 시·청각 자료를 제공하여 전시 경험을 확장하였다. 연구 결과, AI와 XR 기술의 융합이 관람객의 이해도, 몰입도, 흥미도를 높이는 데 긍정적인 영향을 미쳤으며, 특히 정보의 적시성과 편리성에서 높은 평가를 받았다. 그러나 AI 도슨트의 응답 신뢰도와 XR기기의 하드웨어적 한계는 개선이 필요한 과제로 지적되었다. 본 연구는 XR과 AI 기술을 활용한 도슨트 시스템이 문화예술 콘텐츠 소비 방식의 혁신적 변화를 이끌 수 있음을 보여준다. 본 연구의 결과는 유사한 XR 기반 시스템 개발을 위한 실무적 가이드라인을 제시하며, 문화예술 분야의 디지털 전환에 기여할 것으로 기대된다.
