so#ware(y(hardware((más(o(menos)(...

So#ware y hardware (más o menos)

abierto para la crea8vidad audiovisual

José Ramón Beltrán Blázquez Semana Cultural EINA 2014

Tecnologías Audiovisuales

Semana Cultural EINA 2014 12– marzo – 2014

AUDIO VIDEO

PROYECCIÓN ILUMINACIÓN

INTERACTIVIDAD TECNOLOGÍAS MÓVILES

VISION POR COMPUTADOR

REALIDAD AUMENTADA

El mundo OPEN…


Order Number: 330237-001US

Intel® GalileoBoard User Guide

March 2014

OpenGL •  OpenGL (Open Graphics Library) es una especificación estándar que define una API mul8lenguaje y mul8plataforma para escribir aplicaciones que produzcan gráficos 2D y 3D.

•  Fue desarrollada originalmente por Silicon Graphics Inc. (SGI) en 1992.

•  Oculta la complejidad de la interfaz con las tarjetas gráficas, mediante una API única y uniforme.


Leguajes de programación •  Processing: hep://processing.org – 2001

•  Openframeworks: hep://www.openframeworks.cc – 2005

•  Cinder: hep://libcinder.org – 2010


IDEs Integrated Development Environment

•  Code::Blocks: hep://www.codeblocks.org •  Xcode (solo Mac OS X): heps://developer.apple.com/xcode/

•  Eclipse: hep://www.eclipse.org


Hardware •  Arduino: hep://www.arduino.cc – Processing/Wiring – 2005 – Microcontrolador: Amtel AVR de 8 bits. Nuevo modelo Amtel ARM 32 bits

– Open Hardware –  Internet of things (IOT)


Hardware •  Raspberry Pi: hep://www.raspberrypi.org – Basado en el SoC Broadcom BCM2835:

Embebed Mul8media Processor

– Procesador ARM1176JZF-‐S a 700 MHz – GPU VideoCore IV – Codificador/Decodificador de video 1080p30 Full HD HP H.264

– Rapsbian, Python – Para educación


Hardware •  Raspberry Pi: hep://www.raspberrypi.org

1

1 Insert SD cardSee page 3 for how to prepare the SD card

3 Connect input Plug in a USB keyboard and mouse

2a Connect displayPlug in your digital TV or monitor

4 Connect networkConnect to your wired ŶĞƚǁŽƌŬ�ŽƉƟŽŶĂů

5 Power upPlug in the micro USB power supply

2b Connect displayIf not using HDMI, plug in your analogue TV or display

Quick start

1


Hardware •  Intel Galileo – 2013 – 400 MHz 32-‐bit Intel® Pen8um®


Order Number: 330237-001US

Intel® GalileoBoard User Guide

March 2014

Intel® Galileo Board—Overview

Intel® GalileoBoard User Guide March 20146 Order Number: 330237-001US

Figure 2. Key Components

Table 1. Description of Key Components (Sheet 1 of 2)

Number Component Description

1 Ethernet Port 10/100 Ethernet connector

2 RS-232 Serial Port 3-pin 3.5mm jack (not audio)

3 RS-232 RS-232 transceiver

4 USB 2.0 Client USB Client connector (Micro-USB Type B): a fully compliant USB 2.0 Device controller, typically used for programming

5 USB 2.0 Host USB 2.0 Host connector (Micro-USB Type AB): supports up to 128 USB end point devices

6 SPI Flash 8 MByte Legacy SPI Flash to store the firmware (or bootloader) and the latest sketch.

7 SPI Flash Program Port

7-pin header for Serial Peripheral Interface (SPI) programmingDefaults to 4 MHz to support Arduino Uno shields. Programmable up to 25 MHz.Note: The board has a native SPI controller, however, it will act as a

master and not as an SPI slave. Therefore, it cannot be a SPI slave to another SPI master. It can act, however, as a slave device via the USB Client connector.

8 Shield Interface Complies with Arduino Uno Revision 3 shield pinout. See Section 2.4 for details.

9 ADC Analog to Digital converter

Interac8vidad •  HCI •  Disposi8vos para juegos Wiimote


Interac8vidad

•  Kinect: – hep://www.xbox.com/es-‐ES/kinect

•  Asus X8on: – hep://event.asus.com/wavi/product/x8on.aspx

•  PrimeSense: hep://www.primesense.com/


Interac8vidad

•  Reactable: hep://www.reactable.com/ – Marcas fiduciales sobre objetos

•  Mul8touch screens – Tablets – Smart phones – Pantallas grandes

Jornadas NEOCom 2013 20 – marzo – 2013

Librerías •  OpenCV – Desarrollada por Intel en 1999 – Licencia BSD mul8plataforma – Procesado de imagen

•  OpenNI – SDK de código abierto para el desarrollo de aplicaciones para sensores 3D

– Librerías de middleware: NiTE 2


Librerías •  reacTIVision – Librería mul8plataforma de código abierto para hacer el tracking de marcas fiduciales y tracking mul8touch.


¿Y el audio? •  Pure Data – Lenguaje de programación gráfico desarrollado en los 90

– Creación de música por ordenador interac8va y obras mul8media: GEM


¿Y el audio? •  Csound – Programado en C permite sinte8zar y procesar sonido en 8empo real.

– Concepto desde 1964 y se desarrolla en 1970 •  ChucK – Lenguaje de programación orientado a sonido, que permite generar, grabar, sinte8zar sonido en 8empo real.

– Desarrollado en 2003


¿Y el audio? •  OpenAL – Sólo para sonido 3D. – En audio no existe el equivalente a OpenGL

•  APIs dependientes del sistema opera8vo: RtAudio, ALSA, QuickTime, DirectSound, CoreAudio


Comunicaciones •  OSC: Open Sound Control: hep://opensoundcontrol.org/ – Extensión de MIDI – Envío de parámetros en 8empo real para controlar el audio y el video

•  TUIO: extensión de OSC para superficies mul8touch (reacTIVision): hep://www.tuio.org/


Disposi8vos móviles •  Android SDK •  ADT Bundle (Android Developer Tools) para Eclipse – hep://developer.android.com

•  iOS: Xcode


Realidad aumentada •  ARToolKit: hep://www.hitl.wasington.edu/artoolkit – GNU para uso no comercial – Licencias comerciales

•  Vuforia: hep://www.vuforia.com – Xcode (iOS), Eclipse (Android), Unity (Game Engine)

•  OpenCV


Un ejemplo •  HOD: House of Deadly.


Un ejemplo •  HOD: House of Deadly. Equipamiento – Estructura de 10x10x5m: tres lonas, suelo de 10x10m con hierba ar8ficial y rampas para recuperar los balones

– Dos lanzadores de balones controlados por un Arduino + Ethernet Shield + relé

– Dos cámaras DLSR controladas por un Arduino + Ethernet Shield + optoacopladores


Un ejemplo •  HOD: House of Deadly. Equipamiento – Un foco DMX central que indica la posición de par8da del jugador

– Dos focos DMX que iluminan el lanzador desde el que se va recibir el siguiente balón

– Tres cabezas móviles DMX que funcionan como defensores virtuales

– Dos máquinas de niebla DMX que permiten que los haces de luz sean visibles


Un ejemplo •  HOD: House of Deadly. Equipamiento – Tres video-‐proyectores de 20.000 lumen – Un sistema de audio cuadrafónico con refuerzo de subgraves

– Dos cámaras cenitales e iluminadores de infrarrojos

– Tres disposi8vos Kinect – Balones modificados con material reflectante para un tracking robusto


Un ejemplo •  HOD: House of Deadly. Equipamiento – Zona de registro con una cámara DSLR con una tarjeta SD-‐EyeFi y fondo de chroma

– Ordenadores en red, routers, hubs, extensores de señal, etc.


Un ejemplo •  HOD: House of Deadly. Aplicaciones – Un microsite que ges8ona el sistema de registro de jugadores, la cola de espera para acceder al juego y la impresión del memento

– Una aplicación principal que ges8ona la dinámica de juego, reproduce los efectos de sonido y sincroniza toda la instalación (proyecciones, cabezas móviles y focos DMX, lanzadores de balones, cámaras DSLR, etc)


Un ejemplo •  HOD: House of Deadly. Aplicaciones – Una aplicación de manejo y procesado de los contenidos visuales

– Una aplicación de tracking que permite determinar la posición del balón en la zona de juego

– Una aplicación de tracking que mediante tres disposi8vos Kinect permite iden8ficar el punto de impacto cuando el jugador dispara contra un obje8vo


Un ejemplo •  HOD: House of Deadly. Aplicaciones – Un esquema Arduino para controlar mediante mensajes OSC los lanzadores de balones

– Un esquema Arduino para controlar mediante mensajes OSC las cámaras DSLR que capturan instantáneas del juego

•  … y todo con so#ware y hadware abierto


Conclusiones •  Los nuevos retos tecnológicos requieren la integración de muchas tecnologías.

•  Las tenologías “abiertas” facilitan los desarrollos gracias a la “comunidad, comunidad y más comunidad”.

•  Están apareciendo nuevas formas de hacer ingeniería audiovisual con múl8ples aplicaciones: arzs8cas, marke8ng, lúdicas, exposi8vas, turismo, seguridad, educación, etc.


Muchas gracias


so#ware(y(hardware((más(o(menos)(...

Documents