L'intelligenza artificiale per generare immagini è uno strumento affascinante e dal grandissimo potenziale. Ho affrontato alcuni temi riguardo all'etica dell'utilizzo di questi strumenti in questo post, "Intelligenza artificiale e arte - Parte 1". Adesso che ho messo le basi, però, vorrei passare alla parte più pratica: cosa può fare un software di intelligenza artificiale con i miei disegni del mondo de iCosini?
La nascita del progetto
Diego, un amico appassionato di tecnologie e informatica, mi ha contattata per propormi un progetto: "ho un software di intelligenza artificiale sul mio computer, mi dai il permesso di utilizzare i tuoi disegni per capire quali sono le possibilità e i limiti di questa tecnologia?"
Ne abbiamo discusso un po', ammetto che un pochino avevo paura: e se i miei disegni, a cui tengo particolarmente, poi mi sfuggono di mano? Dopo aver valutato le possibilità, mi sono comunque lasciata tentare dai possibili vantaggi. E da lì, si è aperto un mondo.
1. Il disegno di partenza: Quietanzare
Anni fa, Diego mi aveva dato la possibilità di guardare all'interno della cabina di pilotaggio di un treno: ero rimasta affascinata da quella console, completamente incomprensibile ai miei occhi. Pulsanti, manopole, luci e schermi. Una visione decisamente inconsueta, per chi come me sul treno ci sale come passeggero.
Foto: una cabina di pilotaggio, o banco guida, di un treno Tilo - fonte tilo.ch
Ma come mi succede spesso, è subentrato poi il filtro de iCosini, che mi fa vedere il mondo in una maniera fantasiosa e creativa. Da quella visione è nato il disegno "Quietanzare", fitto di dettagli e idee strampalate, stampato poi in pochissime copie. È possibile vedere il video di creazione di questo disegno cliccando qui.
2. L'istruzione dell'intelligenza artificiale
Partendo da questo disegno, Diego ha cercato di "allenare" e "istruire" la sua intelligenza artificiale, affinché capisse cosa era rappresentato nel mio disegno e quali fossero i volumi e gli spazi.
Come prima cosa ha selezionato la parte di disegno che gli interessava, eliminando quindi tutte quelle scritte laterali presenti nelle mie stampe (che, tra l'altro, sono la vera parte esilarante di questo quadro, secondo me, ma inutili al fine di questo progetto).
Successivamente ha creato delle semplici elaborazioni per sottolineare le pareti e la finestra davanti. La prospettiva nel mio disegno è tutt'altro che perfetta, per cui non deve essere stato facile comprenderla.
foto: studio delle parti dell'immagine, pareti e finestra, basati sia sul disegno finale che sullo schizzo preliminare che avevo fatto
Il disegno è stato elaborato e studiato dal computer, creando diverse "mappe": ad esempio quella con i contorni degli oggetti oppure con i volumi e le ombre. Oltre a queste elaborazioni, Diego ha anche fornito alcune immagini concettuali di cabine di pilotaggio o sale di comando, come riferimento. Un vero e proprio percorso di apprendimento e insegnamento: sia da parte del computer, che da parte di chi deve dare una direzione all'intelligenza artificiale, il direttore d'orchestra.
foto: alcune mappe di "studio" del mio disegno
3. La generazione di immagini
Da qui il grande lavoro di "guidare" l'intelligenza artificiale a creare qualcosa di interessante. Tutto avviene tramite descrizioni scritte e comandi relativi ai modelli di generazione, dettagli che per me rimangono racchiuse in un senso di magia e mistero.
Un esempio di descrizione inserita:
a black triangle standing in front of a control room inside a train full of all sorts of odds and ends, console, a window in the background with railroad tracks and green grass
Negative prompt: out of frame, censored, (asian), ((painting)), ((frame)), (((cropped))), (((watermark))), ((logo)), ((barcode)), ((UI)), ((signature)), ((text)), ((label)), ((error)), ((title)), stickers, markings, speech bubbles, lines, cropped, lowres, low quality, artifacts, watermark, signature, , signature, cartoon, 3D, render
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3535552657, Size: 1024x512, Model hash: c35782bad8, Model: realisticVisionV13_v13VAEIncluded, ENSD: 31337, ControlNet-0 Enabled: True, ControlNet-0 Module: scribble, ControlNet-0 Model: control_sd15_scribble [fef5e48e], ControlNet-0 Weight: 1, ControlNet-0 Guidance Start: 0, ControlNet-0 Guidance End: 1, Score: 6.08
Oppure qualcosa del genere:
a character standing in front of a control room inside a train full of all sorts of odds and ends, console, a window at the end of the room with railroad tracks, octane render, 8 k, exploration, cinematic, trending on artstation, by beeple, realistic, 3 5 mm camera, unreal engine, hyper detailed, photo - realistic maximum detail, volumetric light, moody cinematic epic concept art, realistic matte painting, hyper photorealistic, concept art, volumetric light, cinematic epic, corona render, movie concept art, (light particle:1.2), (game concept:1.3), (depth of field:1.3), global illumination,Highly Detailed,Trending on ArtStation, Dreams of happiness, very beautiful, inspiring, thought provoking, digital art, Intricate, Elegant, Scenic, Hyper-Detailed, Delicate; Complex, surreal concept art, aesthetic, smooth, sharp focus
I risultati sono molteplici, tanti quanto i tentativi di Diego di indirizzare la macchina verso qualcosa di sensato e piacevole. Lo scopo di tutto questo era valutare il potenziale e i limiti di questo strumento: una classica sperimentazione di uno strumento nuovo che ancora non si conosce.
foto: alcuni dei primi risultati
Conclusione (di questo primo test)
Traggo alcune conclusioni subito, prima di lasciarvi ad una carrellata di immagini generate in questo esperimento: come già avevo espresso nel post Parte 1 sull'intelligenza artificiale, questo strumento nuovo offre incredibili opportunità ad un tempo relativamente ridotto (non me ne voglia Diego, che ha passato ore e notti insonni a dedicarsi al progetto!). Quanto tempo dovrei dedicare io per imparare ad utilizzare uno strumento di rendering immagini, per creare un modello con così tanti dettagli? Inoltre è da considerare che questa intelligenza ha studiato solo su poche immagini... quale è il potenziale di un'intelligenza che studia tutte le immagini di internet?
La cosa che mi ha fatto battere forte il cuore è stato vedere che quell'immagine che avevo in mente è tornata nella realtà: quando io ho visto il banco di guida del treno, ne ho fatta un'interpretazione mentale che ho poi riprodotto sotto forma di schizzo, o disegno con inchiostro. Io sono stata il primo filtro dalla realtà alla fantasia. Ma l'intelligenza artificiale sembra aver fatto un ulteriore passaggio, cercando di renderizzare e riportare al reale quell'immagine che io sono riuscita solamente ad abbozzare con l'inchiostro, andando addirittura oltre a quanto avevo immaginato.
Sono emozionata, sono affascinata, e ringrazio Diego per questa esperienza un po' mistica: so che è solo l'inizio, seguiranno sicuramente altri esperimenti e progetti. Fammi sapere cosa pensi di questo progetto, o se hai delle idee su altre sperimentazioni.
Qui sotto, ora, lascio una carrellata dei risultati più belli, più strani o più interessanti, con alcuni commenti.
Alcuni dei risultati della sperimentazione
Alcuni risultati un po' scuri, quasi inquetanti. Il treno sembra essere formato con dei tubi o del filo di ferro... ma chi è quell'omino? Ahah! Il ninja si è trasformato in un uomo dalla pelle scura con un cappuccio!
In queste immagini la cabina di pilotaggio si è trasformata in una stanza, con seggiolini di attesa, e addirittura una persona. È un amico del ninja? Giudicando dall'esterno, comunque, sembra più un'astronave.
In questi esempi sono spettacolari i pulsanti, e le luci, e le manopole di comando. Nell'immagine centrale si vede una distesa d'acqua.
Lo stile qui è dato grazie all'aggiunta nella descrizione delle indicazioni "Art Nouveau" e "Fred Calleri": è lontano da quello che avevo immaginato, ma lo trovo estremamente interessante. Mi piacciono le pareti decorate con quegli intarsi.
Un elaborazione strana, quasi astratta.
Qui sembra esserci un pavimento ricoperti di un tappeto finemente decorato. I pulsanti sono sui muri, a destra. A sinistra invece, il tondo è stato trasformato: originariamente era un orologio, ma qui non capisco se è diventato una finestra o uno specchio.
Uno delle difficoltà riscontrate è stato quello di far capire all'intelligenza artificiale che quella in fondo, davanti, è una finestra che mostra l'ambiente esterno. Qui infatti è un muro, con sopra dei pulsanti e macchinari vari. Quello che mi piace è il muschio, come se fosse una piccola foresta o un ecosistema.
Adoro questa rappresentazione: sembra dirmi "Debora, smettila di sognare cose strane, quello che hai visto e rappresentato è solamente un oggetto triangolare appoggiato davanti ad una finestra"!
Qualcosa di psichedelico no? Ma si!!!
Questa mi ha fatto troppo ridere: a sinistra, nel disegno originale, c'è un orologio e un "ispettore qualità" che nella mia testa dovrebbe controllare il macchinista... in questa rappresentazione, le due cose si sono unite ed è comparsa una faccia inquietante con una specie di casco.
Questa è una delle mie rappresentazioni preferite: sembra davvero un macchinario complicato come lo avevo immaginato. Pieno di fili, di pulsanti, di luci e maniglie. Un po' sullo stile steampunk. La finestra non mostra l'esterno, peccato, ma il resto è molto vicino a quello che avevo pensato.
E questa è la versione fantascientifica futuristica di quello che avevo io nella testa: un mezzo di trasporto trasparente, di vetro, con mille manopole e macchinari. Con quest'atmosfera di sogno e di futuro. La adoro, e mi sarebbe davvero piaciuto averla pensata io.
Se vuoi, fammi sapere quale è l'immagine che preferisci e perché. Non è uno strumento affascinante l'intelligenza artificiale?
COMMENTS