Le modèle de langage de Meta dédié à la musique

Audiocraft, équipe de recherche dédiée à l’audio chez Meta, vient de publier une version démo de MusicGen, un modèle de langage IA capable de générer de la musique à partir d’une requête textuelle.

Concrètement, l’utilisateur décrit le style de musique et le modèle génère un extrait original de 12 secondes. La requête peut être affinée en téléchargeant une mélodie existante. Selon un blog post publié par Audiocraft, cette fonctionnalité supplémentaire a pour objectif de « de mieux contrôler le résultat généré » par l’outil qui a été entraîné sur 20 000 heures de musique (dont 10 000 morceaux en haute qualité) provenant des banques ShutterStock et Pond5.

MusicGen apparaît comme un concurrent de MusicLM, un outil de génération par IA dévoilé par Google en janvier et capable de composer un morceau en réponse à un prompt et/ou une mélodie fredonnée.

Comment tester MusicGen ?

Meta met à disposition des modèles pré-entraînés et d’autres assets sur GitHub. Mais pour évaluer le potentiel de l’outil, le plus simple est de tester la version de démonstration accessible dès maintenant ou d’écouter les nombreux extraits partagés par Audiocraft à cette adresse. Pour le moment, MusicGen répond aux requêtes en anglais et génère, en moyenne, un extrait en quelques minutes.

À titre d’exemple, voici la réponse au prompt « un morceau folk rock des années 1990 avec de la guitare acoustique, ressemblant à Wonderwall du groupe de rock britannique Oasis »