Remodeler les pratiques artistiques numériques en temps réel avec les technologies d’apprentissage par renforcement : une recherche-création réflexive et ethnographique
Sofian Audry, avec Samuel Bianchini (Académie de Paris), Alex Lee (Arizona State University), Florence Millerand (Département de communication sociale et publique) Louis-Claude Paquin (École des médias) et Danny Perreault (École des médias)
Ce projet s’intéresse à l’apprentissage par renforcement (AR) en contexte d’arts numériques en temps réel. Il constitue la première étape d’une étude plus vaste consacrée aux usages et à l’esthétique de l’AR au sein de la création artistique numérique. Il permettra d’établir les bases théoriques, méthodologiques, pratiques et technologiques de cette étude.
Dans un premier temps, ce projet cherche à comprendre comment l’AR agit sur les processus de création en arts numériques. Pour cela, les relations entre artiste(s), système(s) AR et matériaux artistiques seront examinées et cartographiées durant le processus créatif. Trois domaines artistiques seront étudiés : les installations robotiques, les performances audiovisuelles et la réalité virtuelle (VR).
Notre hypothèse est que l’AR permet aux artistes numériques de choisir avec précision quelles décisions elles et ils souhaitent mettre directement en action et quelles décisions peuvent être effectuées par le système AR, cela de façon à provoquer des itérations de leur travail plus rapidement, en maximisant le potentiel génératif de l’AR. Aussi, nous supposons que le degré de numérisation du média affecte plus largement ce processus. La nature numérique de la VR permettrait par exemple, et en ce sens, un contrôle humain et une autonomie-AR d’un autre niveau que ceux de la performance audiovisuelle ou de la robotique, où la présence de médias non numériques influence la capacité des algorithmes de l’AR à apprendre des relations complexes et précises entre données.
Dans un deuxième temps, ce projet vise à déterminer la transférabilité des usages de l’AR entre domaines artistiques et ses impacts sur la collaboration entre artistes. Par exemple, est-ce que l’artiste qui utilise l’AR dans une installation robotique peut ensuite appliquer ce savoir-faire dans les domaines de la VR ou de la performance audiovisuelle? Comment deux artistes avec une expertise dans des domaines distincts peuvent-elles/ils profiter des propriétés génératives de l’AR pour rehausser leur collaboration?
A priori, il nous apparaît que les processus d’AR sont transférables, c’est-à-dire que les savoir-faire d’un domaine créatif donné peuvent s’appliquer à un autre domaine avec un minimum d’effort. Cette transférabilité doit cependant être facilitée par la collaboration, car une/un artiste qui connaît l’AR ne devient pas d’emblée experte/expert d’une discipline artistique qui n’est pas la sienne. Nous émettons de plus l’hypothèse que l’AR procure les bases d’un langage commun, celui-ci ancré dans la pratique artistique, qui facilite la collaboration interdisciplinaire.
CRSH Développement Savoir, 2022-2024
Reshaping Real-time Digital Art Practices with Reinforcement Learning Technologies: A Reflexive and Ethnographic Research-Creation Study
This project examines how reinforcement learning (RL) can transform the practice of real-time digital arts. The first step of a broader program, the project will launch the theoretical, methodological, technical and logistical bases of a wider study focusing on the uses and aesthetics of RL within digital artistic creation.
Our core objective is to understand how reinforcement learning transforms the creative process in digital arts. In order to do so, we examine and map the relationships between the artist(s), the RL system(s) and the artistic materials during the creative process across three artistic domains: robotic installation, audiovisual (AV) performance, and virtual reality (VR). Our hypothesis is that RL allows digital artists to finely choose which part of the decisions they want to make, and which part they want to defer to the RL system, allowing them to iterate faster through variations in their work by making full use of the generative potential of RL.
We also hypothesize the degree of digitization of the media further impacts this process: the digital nature of VR would thus offer a different level of human control and RL-autonomy than AV performance or robotics, where the presence of non-digital media would impact the RL algorithm’s ability to learn from complex and precise relations between the data.
Our secondary objective is to assess the transferability of RL uses between artistic domains and its impact on collaboration. For instance, whether an artist who has used RL in the field of robot installation can then apply their know-how in the field of VR or AV performance; and how two expert artists from distinct fields can profit from the generic properties of RL to enhance their collaboration.
Our hypothesis is that RL is transferable; that is to say, that know-how from a given creative domain can be applied to another domain with minimum effort. This transferability must however be facilitated through collaboration, because knowing RL does not instantly make one an expert in another artistic discipline. We further hypothesize that RL provides the basis of a common language, anchored in art practice, that facilitates interdisciplinary collaboration.