Fugatto: La navaja suiza de la IA para el sonido

Un grupo de investigadores especializados en inteligencia artificial generativa ha desarrollado una herramienta revolucionaria para el audio: Fugatto, un modelo que permite controlar y transformar sonidos mediante instrucciones de texto. A diferencia de otras tecnologías, Fugatto destaca por su versatilidad al generar, modificar o mezclar música, voces y efectos sonoros.

Un modelo que redefine los límites del audio

Fugatto, cuyo nombre completo es Foundational Generative Audio Transformer Opus 1, tiene la capacidad de crear música a partir de texto, modificar canciones existentes agregando o eliminando instrumentos, alterar acentos o emociones en voces, e incluso generar sonidos completamente nuevos.

“Es una locura”, afirma Ido Zmishlany, productor y compositor multiplatino, cofundador de One Take Audio y miembro del programa NVIDIA Inception. Según Zmishlany, Fugatto abre nuevas puertas creativas: “La idea de crear sonidos inéditos directamente en el estudio es increíble”.

‍

Comprensión avanzada del sonido

Según Rafael Valle, gerente de investigación de audio en NVIDIA, Fugatto fue diseñado para entender y generar audio de forma similar a los humanos. Este modelo es el primero de su tipo en combinar múltiples habilidades, mostrando capacidades emergentes y fusionando diferentes formatos de instrucciones.

Valle describe a Fugatto como un paso clave hacia el aprendizaje multitarea no supervisado en síntesis y transformación de audio: “Queríamos un modelo que pudiera manejar diversas tareas y aprender nuevas sin necesidad de datos adicionales”.

Aplicaciones prácticas y casos de uso

Fugatto ofrece un amplio rango de posibilidades:

• Música: Los productores pueden prototipar canciones rápidamente, experimentar con estilos o mejorar la calidad de pistas existentes.
• Publicidad: Agencias podrían adaptar campañas a distintas regiones o emociones mediante la modificación de acentos y tonos en las voces.
• Educación: Cursos en línea podrían personalizarse con la voz de un ser querido, haciendo la experiencia más cercana.
• Videojuegos: Los desarrolladores pueden crear efectos dinámicos que reaccionen al entorno del jugador o generar recursos sonoros en tiempo real.

Creatividad sin límites

Una de las características más fascinantes de Fugatto es su capacidad para fusionar indicaciones inusuales, como hacer que una trompeta imite el ladrido de un perro o que un saxofón emita sonidos similares a maullidos.

Además, el modelo permite interpolaciones temporales, generando paisajes sonoros que evolucionan con el tiempo. Por ejemplo, puede simular una tormenta que se disuelve en un amanecer con el canto de los pájaros.

Rohan Badlani, investigador de IA, diseñó la función que permite combinar instrucciones artísticas de manera precisa: “Quería que los usuarios pudieran ajustar subjetivamente cada atributo, lo que brinda un control detallado y resultados sorprendentes”.

Tecnología detrás de Fugatto

Fugatto utiliza 2.5 mil millones de parámetros y fue entrenado con sistemas NVIDIA DGX que incluyen 32 GPU NVIDIA H100 Tensor Core. Para su desarrollo, el equipo internacional trabajó más de un año, diseñando un conjunto de datos con millones de muestras de audio para entrenar el modelo.

El equipo supo que estaba en el camino correcto cuando Fugatto generó por primera vez música a partir de texto y, más tarde, respondió a una solicitud para crear música electrónica con perros ladrando al ritmo. “Ver al equipo reírse en ese momento fue inolvidable”, relata Valle.

La importancia de mantenerse al día en herramientas de IA

El avance de tecnologías como Fugatto pone de manifiesto la rapidez con la que la inteligencia artificial está transformando industrias creativas como la música, la publicidad y el entretenimiento. Sin embargo, para sacar el máximo partido a estas herramientas, es esencial que los profesionales se mantengan actualizados y desarrollen habilidades que les permitan aprovechar estas innovaciones.

El conocimiento de las capacidades de la IA no solo impulsa la creatividad, sino que también mejora la competitividad en el mercado laboral. Herramientas como Fugatto representan un cambio en cómo se conceptualizan y ejecutan los proyectos creativos, por lo que comprenderlas y dominarlas es una ventaja clave para destacar en un sector en constante evolución.

Para aquellos interesados en mantenerse a la vanguardia, dentro de Madrid Content School tenemos programas como el Curso de Inteligencia Artificial para creadores y creativos son una excelente oportunidad. Este programa ofrece formación práctica y actualizada sobre el uso de la IA en contextos creativos y profesionales. Desde la generación de contenido hasta la automatización de procesos, el curso capacita a sus participantes para adaptarse y sobresalir en el cambiante panorama digital.

Invertir en formación en IA no solo es relevante, sino imprescindible en un mundo donde la tecnología está revolucionando la manera en que creamos, compartimos y consumimos contenido. Fugatto es solo un ejemplo de lo que ya es posible, y estar preparado para integrar estas herramientas puede marcar la diferencia en la carrera de cualquier profesional.