Middleware VORPAL

Projeto de middleware de trilhas sonoras em tempo real para jogos digitais.

Motivação

No contexto de jogos digitais, há bastante interesse em se explorar a não-linearidade da mídia através de trilhas sonoras construídas e/ou manipuladas em tempo real. Entretanto, diversos desafios de ordem técnica e prática podem comprometer a produtividade e a escalabilidade dessa abordagem. Em particular, compositores e desenhistas de som dependem dos programadores para inserir os controles dinâmicos do áudio no código do jogo. Este trabalho visa o desenvolvimento de um middleware que facilite essa intervenção autoral dos músicos, permitindo-os definir o comportamento da trilha sonora usando uma interface à parte, e encaminhando o conteúdo produzido para ser executado pela aplicação.

Andamento

Durante o primeiro semestre de 2015, foi realizado o levantamento bibliográfico. Foram também entrevistados um compositor e um sound designer com experiência em áudio para jogos. Em Junho e Julho, escreveu-se o texto para o exame de qualificação, que ocorreu em 17 de Agosto do mesmo ano. O exame foi escrito e apresentado em português, mas a dissertação final será realizada em inglês. Ao mesmo tempo, teve início a implementação do middleware com o auxílio do aluno Lucas Dário em seu projeto de TCC.

Seguindo as sugestões da banca, buscamos uma formulação mais explícita dos objetivos e requisitos da proposta. Para tanto, foram marcadas mais entrevistas com profissionais da área e revisitamos a bibliografia estudada. De três músicos contatados, apenas dois puderam ajudar por enquanto. A redação dos requisitos do sistema está disponível neste documento.

No que diz respeito à implementação, tivemos êxito em integrar o processamento em tempo real do PureData com o acesso à placa de som por meio da biblioteca OpenAL. Temos exemplos funcionando no terminal, em um minijogo experimental e em uma adaptação do jogo Mari0. Depois disso, tendo as principais funcionalidades prontas, focaremos nossos esforços no aprimoramento da interface da ferramenta (tanto para os músicos quanto para os programadores) enquanto retomo a escrita da dissertação.

Informações do projeto

Código disponível em: github.com/vorpal-project
Linguagem: C++
Ferramentas usadas: OpenAL, PureData, libpd
Jogos desenvolvidos como protótipos para o middleware

Exame de Qualificação

Realizado dia: 17/8/2015
Membros da banca:

  • Prof. Dr. Fabio Kon (presidente) - IME-USP
  • Prof. Dr. Ricardo Nakamura - EPUSP
  • Prof. Dr. Sergio Roclaw Basbaum - PUC-SP

Texto final (com revisões da banca)

Defesa e Dissertação

Realizada dia: 24/01/2017
Membros da banca:

  • Prof. Dr. Fabio Kon (presidente) - IME-USP
  • Prof. Dr. Ricardo Nakamura - EPUSP
  • Prof. Dr. Jônatas Manzolli - UNICAMP

Texto final revisado

Publications

  • MIZUTANI, W. K.; KON, F. An extensible and flexible middleware for real-time soundtracks in digital games. In: Proceedings of the 12th International Symposium on CMMR, pages 175–182. The Laboratory of Mechanics and Acoustics, 2016 - PDF.
  • MIZUTANI, W. K.; DE LUCCA, D. V.; KON, F. Sound wanderer: An experimental game exploring real-time soundtrack. Demonstration at the 12th International Symposium on Computer Music Multidisciplinary Research, 2016, São Paulo, 2016 - PDF / Vídeo.