Con l’Europa che avanza sul Regolamento AI Act, cresce il dibattito sul modo in cui l’Intelligenza Artificiale Generativa (GenAI) cambierà i mestieri e le competenze richieste nel mondo del lavoro. E mentre ci si adopera per bilanciare progresso tecnologico e sicurezza, le aziende e i professionisti si interrogano sull’impatto della GenAI sulle loro capacità operative e produttive. A cercare risposte in questa direzione, il recente esperimento condotto dal BCG Henderson Institute su 480 consulenti BCG che, in collaborazione con BCG X ed Emma Wiles della Boston University, ha esplorato le implicazioni dell’uso della GenAI non solo quando la si impiega per “aumentare” competenze che già si possiedono, ma per affrontare compiti che trascendono le proprie abilità.
Come performano i consulenti BCG nella data science con la GenAI
Il report GenAI Doesn’t Just Increase Productivity. It Expands Capabilities descrive come i consulenti abbiano affrontato due compiti a scelta tra tre attività che simulano il lavoro quotidiano di chi si occupa di Data Science:
- scrivere codice Python per unire e pulire dataset
- costruire un modello predittivo
- validare analisi statistiche generate da ChatGPT
Questi compiti sono stati pensati come una sfida significativa per qualsiasi
consulente, non potendo essere interamente automatizzati dallo strumento GenAI. Per valutarne l’efficacia, le prestazioni dei consulenti sono state messe a confronto con quelle di 44 data scientist di BCG che hanno svolto gli stessi compiti senza l’ausilio della GenAI.
“I risultati indicano che i lavoratori che usano la GenAI sono in grado di gestire efficacemente nuovi compiti, anche quando al di fuori delle proprie competenze, se coperti dalle funzionalità dello strumento”, ha dichiarato Paola Scarpa, Managing Director e Partner di BCG X. “Questo mi ha fatto riflettere su cosa significa davvero avere una expertise oggi: un concetto che va inevitabilmente ridefinito a livello aziendale, per identificare le competenze chiave da sviluppare, al fine di attrarre e mantenere i talenti a lungo termine.”
La GenAI incrementa la produttività e arricchisce le capacità
Dai risultati dell’esperimento è emerso che grazie all’uso della GenAI, i consulenti coinvolti nello studio hanno potuto espandere immediatamente le proprie capacità: anche senza esperienze pregresse in ambito di programmazione o statistica, i consulenti con accesso alla GenAI sono riusciti a scrivere codici, applicare correttamente modelli di machine learning e correggere processi statistici errati.
L’espansione più significativa è stata registrata nel campo della programmazione: i partecipanti, testati sulla loro capacità di scrivere codice in Python, hanno raggiunto un punteggio medio pari all’86% del benchmark fissato dai data scientist, con un miglioramento di 49 punti percentuali rispetto a coloro che non hanno utilizzato la GenAI. Inoltre, il gruppo supportato dalla GenAI ha completato il compito circa il 10% più velocemente rispetto ai data scientist.
Predictive Analytics: GenAI come alleato per il brainstorming
Nel compito di analisi predittiva, i partecipanti hanno affrontato una sfida complessa: né loro né lo strumento GenAI possedevano una competenza avanzata in questo ambito. L’analisi predittiva si è rivelata il compito in cui i consulenti aiutati dalla GenAI erano meno propensi a eguagliare le prestazioni dei data scientist, indipendentemente dalla loro esperienza in coding o statistica. Infatti, la GenAI tende a interpretare in modo errato le richieste di controllo della validità, richiedendo diversi tentativi e riformulazioni delle domande. Di conseguenza, i partecipanti con accesso alla GenAI sono risultati più inclini a commettere errori rispetto ai loro colleghi non supportati dallo strumento.
Tuttavia, la GenAI si è dimostrata utile per il brainstorming. I partecipanti hanno potuto combinare le proprie conoscenze con quelle dello strumento per scoprire nuove tecniche di modelling e identificare i passaggi corretti per risolvere i problemi. I consulenti coadiuvati dalla GenAI hanno registrato il 15% di probabilità in più di scegliere e applicare correttamente i metodi di machine learning rispetto ai colleghi che non utilizzavano l’AI.
Eseguire attività con la GenAI non equivale a impararle
L’attitudine dei partecipanti a completare compiti nuovi e impegnativi è stata immediatamente potenziata durante l’utilizzo di GenAI, ma sono stati riqualificati? Il reskilling, ovvero l’acquisizione di nuove competenze che permettono di cambiare lavoro o settore, è stato un argomento chiave dello studio. La ricerca ha dimostrato che i lavoratori che hanno usato la GenAI sono stati “riqualificati” poiché hanno acquisito nuove capacità che né l’essere umano né la GenAI avrebbero potuto sviluppare da soli. Tuttavia, la GenAI ha agito solo come “esoscheletro”: gli esseri umani non subiscono automaticamente una maggiore formazione, poiché l’uso della GenAI non corrisponde necessariamente all’apprendimento automatico e autonomo di un compito.
Dopo aver completato solo due dei tre esercizi, tutti i partecipanti hanno sostenuto un test finale che includeva domande su tutti e tre i livelli, al fine di valutare quanto appreso. E ciò che è emerso è che i partecipanti che hanno svolto il compito di coding hanno ottenuto lo stesso punteggio di quelli che non lo hanno svolto, dimostrando che la semplice esecuzione delle attività di data science non ha migliorato la loro conoscenza intrinseca. Va comunque sottolineato che i partecipanti non sono stati avvisati che sarebbero stati testati, ed è probabile che, con ripetizione e apprendimento intenzionale, vi sarebbe stato un progresso.
Il ruolo chiave dell’esperienza pregressa
Un altro punto sollevato dall’esperimento riguarda il fatto che i consulenti con esperienza moderata in programmazione, aiutati dalla GenAI, hanno ottenuto risultati migliori del 10-20% in tutti e tre i compiti rispetto ai colleghi meno esperti, anche quando la codifica non era direttamente coinvolta. In due dei tre compiti, i consulenti con una moderata esperienza in programmazione si sono allineati completamente alle prestazioni dei data scientist, dimostrando che l’esperienza pregressa gioca un ruolo chiave nel successo delle attività svolte con l’AI.
