Ou seja, a Sonificação se apresenta logo de pronto como uma abordagem alternativa aos recursos de visualização, quando se trata de lidar com grande quantidade de dados. Diversos pesquisadores fazem coro argumentando que, através dela, novos aspectos são observados, que de outra forma não seriam.
Enquanto a maioria dos cientistas computacionais rotineiramente usa técnicas de imagem visuais para explorar e analisar grandes conjuntos de dados, eles tendem a ser muito menos familiarizados com a utilização de sons. No entanto, os sinais sonoros transportam uma quantidade significativa de informação e pode ser utilizados vantajosamente para aumentar a largura de banda da interface homem-computador (KAPER; TIPEI; WIEBEL, p. 1).
Em termos bem genéricos, as funções da Sonificação têm sido descritas em termos de três abrangentes categorias:
1) Alarmes, alertas, e avisos – como indicações de eventos a acontecer ou ocorridos, que demandam resposta ou atenção imediata.
2) Status, processo, mensagens de monitoramento – em alguns outros cenários exigem-se estas formas de representações mais detalhadas das informações demonstradas sonoramente. Alguns exemplos são: processos de industrialização, monitoramento de pacientes em anestesiologia, medições de pressão sanguínea em ambiente hospitalar, dentre outras.
3) Exploração de dados – Esta modalidade está mais relacionada ao que se tem denominado como ‘Sonificação’, e diz respeito a conjuntos de dados, ou seus aspectos relevantes. Isso porque ela oferece uma visão mais ampla do contexto das informações.
A estas pode ser adicionada mais uma:
4) Arte, entretenimento, esportes, e exercícios – Nesta categoria estão incluídas as interfaces auditivas para atividades de lazer e fitness, e áudios de jogos. Reúne ainda dispositivos sonoros usados para facilitar a participação de deficientes visuais e atletas em geral em esportes de equipe. Quanto à arte, tecnologias de sensoriamente têm sido usadas para acompanhar movimentos de visitantes de exposições, por exemplo, em tempo real, para transformá-los em representações musicais. Acrescenta-se a todas estas possibilidades outras com finalidades de composição musical. (WALKER; NEES, 2011, p. 12-15).
Thomas Hermann, citado por McGee, afirma que uma técnica pode ser chamada sonificação se e somente se:
a) O som reflete as propriedades objetivas ou relações nos dados de entrada.
b) A transformação é sistemática. Isto significa que existe uma definição precisa fornecida de como os dados (e interações opcionais) são convertidos em sons.
c) A sonificação é reprodutível: dados os mesmos dados e interações idênticas (ou disparadores) os sons resultantes têm que ser estruturalmente idênticos.
d) O sistema pode ser utilizado intencionalmente com dados diferentes, e também ser usado na repetição com os mesmos dados.
A definição de Hermann é suficiente para descrever um sistema de sonificação como um todo, mas há outras definições e classificações úteis (McGEE, 2009, p. 1-10).
Barras e Kramer, mencionando Kramer, pontuam que métodos para projetar telas auditivas foram classificados ao longo de um espectro entre analógico e simbólico. Uma representação analógica é aquela em que há uma imediata e intrínseca correspondência entre o tipo de estrutura a ser representada e o meio de representação. Existe um mapeamento direto entre pontos no espaço de dados e pontos no espaço de representação. Exemplos desta ideia incluem o simples Contador Geiger e o termômetro auditivo. A representação simbólica, por outro lado, indica categorias de representações e relações, exemplificados em sinais sonoros de computadores, assim como em alertas sonoros nos painéis de controles de automóveis.
As distinções semióticas (sintáticas, semânticas e lexicais) também têm sido utilizadas para classificar os melhores métodos conhecidos de exibição auditiva (ícones sonoros, ícones auditivas e parâmetro mapeamento).
Ícones sonoros são curtos motivos musicais; constituem um método sintático. São construídos através da combinação de um léxico de sons simples para construir significados mais complexos. O léxico pode ter elementos que variam em ritmo, afinação, timbre, registro e dinâmica. Por exemplo, um som ‘lá’, 440 Hz, pode significar "arquivo" e outro som ‘si’, com a frequência de 600 Hz pode significar "excluído". A combinação de ambos, em movimento ascendente, ‘lá-si’, significa “arquivo suprimido”. Os ícones sonoros podem ser facilmente construídos e produzido em praticamente qualquer computador com ferramentas que já existem para música e manipulação de áudio. Por outro lado, são sons abstratos, sintetizados, podendo ser pouco musicais.
Já os ícones auditivos também foram originalmente projetados para fornecer feedback sobre atividades em interfaces gráficas. Eles se propõe a mapear objetos e eventos, intermediando sons do cotidiano que representam conceitualmente objetos e eventos. Sons do mundo real são um modelo para sons na interface. Por exemplo, mover um arquivo em um desktop implica em arrastá-lo entre janelas. Um ícone auditivo para este evento tem como modelo o som de um arquivo real que está sendo arrastado através de uma ambiente de trabalho real. A vantagem do ícone auditivo está na familiaridade dos sons do cotidiano. Eles são os equivalentes
sonoros dos ícones visuais, por isso mais intuitivos do que propriamente ‘mapeadores’.
O mapeamento de parâmetros é uma abordagem usual para a representação de dados por sons. Tipicamente, uma dimensão de dados é mapeada para um parâmetro auditivo, como duração, altura, intensidade, timbre, etc. Diferentes variáveis podem ser mapeadas para parâmetros diferentes ao mesmo tempo para produzir um som complexo. A vantagem desta abordagem é a facilidade de produção, em razão das ferramentas existentes. A Sonificação por mapeamento de parâmetros se caracteriza por mudanças em algumas dimensões de dados. Sons, no entanto, tem uma multiplicidade de dimensões variáveis, que permitem grande amplitude de projeto ao mapear dados para áudio. Para que o mapeamento de parâmetros possa ser usado em ultra-sons, a dimensionalidade dos dados deve ser limitada de tal modo que uma exposição perceptível seja viável. As alterações de dados podem ser mais qualitativas ou simples, tal como um limiar de ligado ou desligado, resposta que faz disparar um alarme discreto, ou o mapeamento de parâmetros podem ser utilizados com uma série de pontos de dados simples para produzir uma exibição que parece mais contínua.
Grond e Berger oferecem o exemplo do som produzido a partir da mudança de estado da água em uma chaleira assobiando à medida que se aproxima o ponto de ebulição. No entanto, ao contrário do que ferve na chaleira, o sinal sonoro de saída que se deseja monitorar pode estar além do limite de percepção – se abaixo dos limiares de diferença, ou além dos limites da audição humana. Esse acontecimento corriqueiro gera uma enorme quantidade de som, de sinal binário simples, cujo objetivo é alertar o usuário para tirar a chaleira do fogo. Para que isso seja referenciado em um processo de sonificação é preciso estabelecer as relações entre os eventos em escala e os sons, em frequências pré-determinadas. O ponto de ebulição, 212 F, se associado a mesma frequência, em números, 212 Hz, corresponde então a uma altura entre Sol#3 e Lá 3. Entretanto, uma ‘escala’ cujo menor grau é Dó 2, e o maior (do ponto de ebulição) é Dó 5, mostra como esse mapeamento pode ser estruturado. Naturalmente que no exemplo em questão há uma variável contínua que se traduz em fluxo auditivo de continuidade analógica, em contraste com a natureza dos dados digitais. A ordenação dos dados é feita individualmente, um ponto de dados mapeado para um parâmetro de sinal ambiente de características auditivas. O projeto de mapeamento envolve a interação, e a
intervenção consciente nos dados e nos domínios de sinal. A integração desse dois mundos é fundamental para uma sonificação eficaz.
A preparação adequada de dados também é crucial para o sucesso do mapeamento, particularmente quando o conjunto de dados é multivariado e - como é tipicamente o caso - exige redução de dimensão. Métodos para redução de dimensão podem incluir análise de componentes principais, auto-organização de mapas, cálculos derivados, dentre outros métodos.
Hermann admite que é importante ter em mente que a notação de música ocidental evoluiu ao longo dos séculos em resposta aos progressivos refinamentos e mudanças na textura musical, no timbre, e outros atributos. Assim, a notação musical é, em certo sentido, um mapeamento de representação visual em altura, intensidade, duração e timbre no espaço instrumental, com o tempo progredindo de acordo com um mapa. O desafio genuíno para sonificação é que as notações evoluam no mesmo sentido, e para isso precisam ser funcionais e práticas como as musicais. No entanto, elas necessitam igualmente abordar o domínio de sinal mais abstrato sem perder de vista o seu objetivo final, que é mapear e representar os dados, em vez de ideias musicais.
O principal propósito na pesquisa de interface musical é expressividade e controle fino do material musical, e não necessariamente o uso de som para realçar as relações possivelmente escondidas em um conjuntos de dados. No entanto, geralmente há consenso que é importante ter uma relação perceptível entre gestos e sons em performances. Com relação ao desempenho musical, expressividade é, obviamente, uma importante questão para novas interfaces musicais, mas a sua função é menos clara para a finalidade de representar dados através de ultra-sons, desde expressividade permanece principalmente uma categoria relacionada à performance. Grond afirma que, neste sentido, o clássico trabalho “Traité des objets musicaux” de Pierre Schaeffer, já mencionado, fornece conceitos úteis à sonificação
por mapeamento de parâmetros. (GROND; BERGER, 2011, p. 363-392)
Thomas Hermann sustenta que é espantoso que, apesar da ubiquidade de sons informativos orientados por ações, haja uma limitação às interfaces tradicionais de computador para exibições visuais. Isso porque, segundo ele, um outro tratamento do assunto, a Sonificação baseada em modelos (Model-based
Sonification) é uma técnica que olha como as respostas acústicas são geradas como
que propiciem sonificação de dados. Modelos de sonificação, neste molde, permanecem silenciosos na ausência de excitação, mas começam a mudar de acordo com as suas dinâmicas na medida das interações, ou seja, as respostas acústicas estão diretamente ligadas à evolução temporal dos modelos. Tal modalidade de sonificação foi introduzida pelo próprio Hermann, que fornece definição, diretrizes de projeto, descrição de modelos de sonificação, além de apontar benefícios e problemas em geral. Hermann afirma que é possível ouvir o mundo com ‘outros ouvidos’ que não musicais, mudando o modo de audição, já que o cérebro e seu sitema auditivo permitem essa mudança. Ele assevera que há um outro modo de escuta ainda, que pode ser chamado de escuta cotidiana analítica, que faz uso consciente de todas as habilidades de escuta para distinguir um objeto sob investigação (tal como definir o conteúdo de uma caixa opaca agitando-a). A Sonficação baseada em modelos aborda essas escutas. E os sons que ouvimos em nossas vidas podem ser classificados como passivos - os que vêm de uma fonte externa, não diretamente causados pela nossa atividade própria. Estes sons fornecem informações sobre o ambiente e podem dirigir a atenção ou servir de alerta; ou como ativos - sons que são criados no curso da atividade física, e diretamente acompanhar as ações do agente. Exemplos disso são o farfalhar das roupas durante a movimentação, o ruído de passos, o assobio suave da respiração, ou resultados sonoros da manipulação indireta de objectos físicos.
Sons mais ativos são um subproduto da atividade e não o seu objetivo. Experiências têm, por exemplo, demonstrado que o material, tamanho e velocidade de rolamento de esferas sobre uma superfície pode ser percebidos com bastante precisão. Em resumo, sons do cotidiano muitas vezes resultam de um sistema de circuito fechado em que as interações são seguidas por reações físicas e acústicas que, em seguida, levam a percepções auditivas e suas interpretações cognitivas. O cérebro é sintonizado para interpretar o som desta maneira; e ainda associar a sincronização entre as diferentes modalidades, por exemplo, percepções, alterações visuais e padrões acústicos, correlacionando-os.
Sonificação com base em modelo é definida como o termo geral para todas as técnicas de sonificação que fazem uso de modelos dinâmicos que descrevem matematicamente a evolução de um sistema no tempo, parametrizando-o e configurando-o durante a inicialização com os dados disponíveis, e oferecendo modos de interação/excitação para o usuário como a interface para consultar
ativamente respostas sônicas que dependem sistematicamente do modelo de evolução temporal. É também o quadro geral ou paradigma para definir, projetar e implementar técnicas específicas, e sonificações orientadas para as tarefas. A Sonificação baseada em modelo inspira-se na física, mas o designer é livre para especificar o contrário e pode até criar modelos dinâmicos não-físicos. Um bom procedimento para o projeto de sonificação nesta forma é dada pela definição passo-a passo de seis componentes: configuração, dinâmica, excitação, estados inicial, link-variáveis, e características de escuta.
A configuração do modelo determina como os dados definem a configuração de um sistema dinâmico com graus de liberdade internos. A configuração preenche a lacuna entre o imaterial, abstrato e mundo estático de dados de elevada dimensão e o mundo mais tangível de um modelo dinâmico.
O objetivo final da dinâmica é fazer com que um sinal sonoro evolua no tempo. Princípios físicos, tais como cinética e energia potencial, e além disso, mecanismos de dissipação tais como atrito, e especificamente os princípios de acústica constribuem para introduzir dinâmicas que criam comportamentos qualitativos específicos.
Excitação é um elemento-chave uma vez que define a forma como os usuários interagem com o modelo. Objetos físicos e seus sistemas acústicos (por exemplo, um sino), eventualmente, podem descansar em um estado de equilíbrio sem excitação externa. De um modo semelhante a dinâmica de modelos sonificação geralmente contêm um termo que leva a um estado de equilíbrio do sistema. Para além dos modos de excitação obrigatórios, pode haver acoplamentos adicionais de interfaces para modelos que permitam aos usuários influenciar ha dinâmica.
O estado inicial descreve a configuração do modelo de sonorização diretamente após a instalação. Um primeiro pensamento pode ser que isso já aconteceu durante a fase de instalação modelo, ainda que apenas defina o sistema e modo como os dados são utilizados para determinar a arquitetura do modelo de sonificação.
Links-Variáveis são a "cola" que conecta os processos dinâmicos do modelo.
Na forma mais simples, variáveis de estado do modelo podem ser utilizadas diretamente como um sinal de som, que seria uma boa analogia de como o som é gerado em sistemas acústicos do mundo real. Para alguns modelos de sonificação,
o designer pode considerar a vinculação de variáveis de estado em um forma mais complexa ou indireta ao sinal sonoro.
Características do ouvinte - a interação cotidiana com os sons dos objetos pode se dar em fonte única (por exemplo, batendo em um melão), ou incorporada a uma paisagem sonora (por exemplo, pássaros na floresta). Assim, nesse sentido, há modelos de sonificação onde a metáfora apropriada é um modelo que forma uma única origem sonora, ou outra em que os usuários estão localizados e incluídos em um espaço com os elementos do modelo ao redor.
Hermann então propõe que da mesma forma como não se usa um alicate ou uma chave de fenda para pregar um prego na parede, cada modelo de sonificação foi (ou deveria ser) desenvolvido para uma tarefa de análise específica. E ela é muitas vezes tão geral que se abstrai em grande parte, a partir dos dados concretos. A sonificação modelo dá estrutura específica de informação, o que é bom, pois pode inspirar analistas para encontrar novas ideias para modelar o dados ou visualizá-los de uma forma não pensada anteriormente. Semelhante a um mecânico, que naturalmente ouve o som do motor antes de verificar parte por parte, para detectar avarias, sonificação baseada em modelo pode ajudar analistas de dados a entender mais rapidamente o que está acontecendo e em que direção a efetuar a análise.
Os modelos de sonificação atualmente existentes não são fortemente otimizados para tarefas tão específicas. Além disso, eles geralmente permitem que o usuário perceba aspectos adicionais para além do objetivo principal. Outra vantagem da sonificação baseada em modelo é sua independência da semântica dos dados concretos. Além disso, os padrões de som permanecem estáveis ao longo de muitos usos com muitos diferente conjuntos de dados. Portanto, os usuários podem acumular conhecimento e experiência em estruturas específicas como som. Mas no final, é a utilidade do som, para melhor compreender os dados, que decide que modelos de sonificação serão utilizados (HERMANN, 2011, p. 399-425).
A interação, em tal abordagem, tem como principal objetivo colocar energia no sistema dinâmico. Todos os tipos de interações realizadas com objetos do mundo real são ponteciais candidatos à sonificação baseada em modelo. Exemplos são coçar, esfregar, bater, arrancar, apertar, deformar, alongar, flexionar, tocar, etc.
A interação do usuário ao tocar um instrumento é o que Hermann se refere como "interação excitatória". Sistemas de sonificação baseados em modelo podem contar com "open loop", a atividade humana em que a atividade determina o som,
mas a atividade não é influenciada pelo som resultante ou "closed-loop biofeedback auditivo", no qual a atividade dos usuários é uma resposta direta ao som resultante da própria atividade do usuário (McGEE, 2009, p. 1-10).
Hermann conclui que a sonficação baseada em modelo contribui para o bem estar humano e o desempenho geral do sitema. Ela enriquece ambientes silenciosos artificialmente de modo que a carga de informações seja distribuída em vários canais perceptivos. Isso pode reduzir a fadiga, e ainda envolver os usuários no processo. Além do mais ela pode aumentar a conscientização sobre os dados e ações, contribuindo assim para evitar erros em geral, mas principalmente de interpretação. Por fim, a sonificação baseada em modelo oferece rica interação e possibilidades de uso de interfaces especiais, o que transforma a exploração de dados em uma atividade muito mais abrangente e de impacto positivo (HERMANN, 2011, p. 399- 425).
Os modelos de sonificação existentes atualmente são apenas os primeiros exemplos e, possivelmente, longe do ideal. Espera-se uma evolução, em que novos modelos sejam criados, usados, refinados ou rejeitados; trabalhando no sentido de uma conjunto de bons modelos sonificação padrão sintonizados para determinadas tarefas. Estes modelos irão talvez tornar-se tão estáveis e amplamente abrangentes como gráficos de pizza ou gráficos de dispersão estão em visualização. Este processo vai andar de mãos dadas com a evolução das interfaces que permite usar interações manuais, qualificadas para manipular espaços de informação (HERMANN, 2011, p. 424-425).
Mesmo com estas possibilidades de Sonificação já mencionadas, Barras e Kramer afirmam ainda que ainda não há um método conhecido para determinar o melhor modo para mapear relações de dados em sons. Quando os participantes da primeira Conferência Internacional sobre a Exibição Auditiva (ICAD 1992) foram convidados a projetar uma sonificação para apoiar a discriminação 6D de dados multivariados, os resultados diferiram amplamente. A teoria de psicoacústica "Transmissão Perceptiva” tem sido proposta como uma base para princípios de design em sonificação por Sheila Williams, que diz: "... o conhecimento do potencial dos fluxos perceptivos que podem surgir a partir de um sinal acústico é essencial, a fim de prever as interpretações desse sinal ... " No entanto, as teorias psicoacústicas não envolvem questões de representação que são centrais na sonificação, onde o ouvinte precisa entender corretamente as relações de dados e sons. A necessidade
de considerar a estrutura de dados também foi levantada por Stuart Smith em sua lista de obstáculos ao progresso na sonificação. Outra abordagem que liga a estrutura de dados com o estrutura de sons ouvidos foi proposta por Gary Kendall, quando observou que as relações de dados categóricos devem soar categóricas, e ordenadas. A Psicofísica pode contribuir com experimentos com escalas, a fim de criar funções de percepção para mapeamento de estímulos auditivos.
Barras e Kramer lembram que Kramer sugere que dois grandes tipos de tarefas são importantes na exibição auditiva. Análise, primeiramente - tarefas em que o usuário não pode antecipar o que será ouvido e está escutando para efeitos de "pop-out", padrões, semelhanças e anomalias que indicam características estruturais e relações interessantes nos dados. Em segundo lugar, monitoramento - uma "pesquisa de escuta" para padrões familiares em um conjunto limitado e inequívoco de sons. Essas tarefas, juntamente com conhecimento e percepção de