Developing Tangible Interaction and Augmented Reality in Director

CHI 2004, April 24-29, 2004, Vienna, Austria – Late breaking Results

Authors

Ji-Dong Yim, Tek-Jin Nam

Abstract

MIDAS is a reflective prototyping solution to help designers and artists without engineering background to effectivly implement interactive product prototypes, interactive simulation, interactive media and installations of physical computing. MIDAS is a set of software applications developed for designers’ and artists’ prototyping. With MIDAS, designers and artists can rapidly and easily prototype hardware software integrated interactive products, interactive simulation, interactive installation using physical computing. MIDAS have been used with Director and Flash. Currently MIDAS runs in Flash.

Key features of MIDAS includes:

  • i) easy connection with external devices (e.g. sensors and actuators connected to the Arduino board) through serial communication (MIDAS Serial Component),
  • ii) Management of live video stream and computer vision including color and pattern tracking,
  • iii) direct hardware control with phidgets, and augmented reality features (in Director).

MIDAS is tested in the following software environment.

  • Microsoft Windows XP
  • ActionScript 2.0 based Adobe Flash 8, Adobe Flash CS3 Professional (All Componets)
  • ActionScript 3.0 based Adobe Flash CS3 Professional (Serial Component)

MIDAS 는 공학적 기초가 부족한 디자이너나 아티스트들이 Interactive Products, Interactive simulation, physical computing을 적용한 Interactive Installation 등을 좀 더 쉽게 구현할 수 있도록 만들어진 소프트웨어입니다.

지능화되고 상호작용성이 높아진 새로운 유형의 디자인 대상이 증가하면서, 디자이너들은 그러한 디자인 대상의 아이디어를 구체화 하는 프로토타이핑 능력을 필요로 하게 되었습니다. 컴퓨터 프로그래밍, 마이크로 프로세서 프로그래밍, 전기 및 전자, 센서 기술 등 점점 더 많은 엔지니어링 지식과 도구의 활용 능력이 요구되고 있습니다. 이러한 어려움을 해결하고 창의적인 디자인 활동을 지원하기 위하여 MIDAS는 디자이너들이 기존의 직관적이고 창의적인 조형능력 충분히 활용하면서도 이러한 엔지니어링 기술을 좀더 쉽게 사용할 수 있도록 합니다.

MIDAS는 디자이너들에게 익숙한 Adobe사의 Flash 혹은 Director를 기반으로 합니다. MIDAS는 그리고 컴퓨터 비젼, 외부 하드웨어와 멀티미디어 저작환경과의 연결 등을 손쉽게 제공합니다. 기존 멀티미디어 저작환경에 익숙한 디자이너나 아티스트들은 MIDAS를 활용함으로써 디자인의 소재를 물리적 환경으로 쉽게 확장할 수 있습니다.

MIDAS 및 기타 예제 파일들은 Microsoft Windows XP와 ActionScript 2.0 기반의 Macromedia Flash 8, Adobe Flash CS3 Professional에서 테스트되었습니다.

Keywords

Physical Computing, Tangible User Interface, Augmented Reality, Prototyping, Director.

ACM Classification

H.5.2 [User Interfaces]: Prototyping, D.2.2 [Design Tools and Techniques]: Evolutionary prototyping; Software libraries, H.5.1 [Multimedia Information Systems]: Artificial, augmented, and virtual realities

Images