Ideeën genereren en businessproblemen oplossen
De Boston Consulting Group organiseerde hun experiment in het voorjaar van 2023. 750 van hun eigen consultants kregen de opdracht om een generatieve AI-tool te testen in hun dagelijkse, professionele context.
De deelnemers kregen eerst een opdracht rond creatieve productinnovatie: ze moesten ideeën bedenken voor een nieuw product en go-to-market plannen opstellen. Wat bleek? De deelnemers die GPT-4 gebruikten voor deze opdracht, presteerden 40% beter dan de controlegroep, die geen tools raadpleegde. 90% van de deelnemers die een beroep deed op AI, verbeterde ook nog eens de eigen prestaties.
Daarna moesten de deelnemers dezelfde GenAI-tool gebruiken om de oorzaak van specifieke bedrijfsproblemen op te sporen aan de hand van data en interviews met leidinggevenden. De output die GPT-4 genereerde was voor de deelnemers heel overtuigend en ogenschijnlijk correct. Toch presteerden ze maar liefst 23% slechter dan de controlegroep, die deze opdracht zonder AI-oplossing dus beter uitvoerde.
Met andere woorden:
- Wanneer mensen GenAI-tools gebruiken voor taken die binnen de huidige mogelijkheden van de technologie liggen, dan is de output beter voor bijna iedereen. Creatieve, nieuwe of nuttige ideeën genereren, daar is GPT-4 vandaag echt sterk in.
- Het omgekeerde is waar voor de taken waar AI-tools (nog) niet in uitblinken: de foutmarge is hoger wanneer GPT-4 genuanceerde, kwalitatieve en kwantitatieve data moet interpreteren om een complexe vraag te beantwoorden.
Valkuilen en creativiteitskillers
Leer mensen dan hoe ze best omgaan met AI-tools – dat zou een conclusie kunnen zijn op basis van bovenstaande bevindingen. Helaas, uit het experiment blijkt dat zélfs wanneer de deelnemers op voorhand werden geïnformeerd over de beste aanpak en de beperkingen van de tool, ze te veel bleven vertrouwen in de kwaliteit van de output. Volgens de onderzoekers wekt eenvoudige training rond AI een vals gevoel van vertrouwen op: de deelnemers gingen door hun minimale kennis de tool overschatten.
Verder komt uit het experiment een interessante paradox naar voren: mensen wantrouwen de technologie op gebieden waar die net waardevol kan zijn. Daarentegen hebben ze teveel vertrouwen in AI-tools wanneer dat eerder onterecht is, wanneer de technologie dus nog niet competent genoeg is. Dat is op z’n zachtst gezegd zorgwekkend.
Zelfs al gebruik je GenAI correct en voor de juiste taken, dan nog zijn er risico’s voor de creativiteit aan verbonden, aldus de onderzoekers. De opdracht rond creatieve productinnovatie toonde bijvoorbeeld aan dat de kwaliteit van individuele ideeën dan wel verbeterde, globaal bekeken vlakte de verscheidenheid aan ideeën af (en dat met 41%). De deelnemers gaven zelf tijdens interviews aan dat ze vrezen dat hun creatieve capaciteiten op de lange termijn achteruit zullen gaan door overmatig gebruik van GenAI-tools. Genoeg voer voor opvolgstudies.
Kwalitatieve input, kwalitatieve output
Welke conclusies trekken de onderzoekers van BCG zelf uit hun experiment? En hoe kan je er, ondanks de risico’s en valkuilen, voor zorgen dat AI jouw bedrijf een concurrentievoordeel oplevert?
Productiviteitswinst dankzij GenAI-tools is één ding. Maar als concurrenten dankzij de technologie allemaal dezelfde output gaan leveren, hoe kan jouw bedrijf zich dan nog onderscheiden van de rest? En hoe hou je innovatie en vernieuwing binnen je bedrijf op hoog niveau als GenAI globaal gezien de verscheidenheid aan ideeën afzwakt?
Volgens BCG moet je daarvoor je AI-modellen finetunen met hoge volumes aan bedrijfsspecifieke data van topkwaliteit. Zo kan de technologie onverwachte patronen of verbanden leggen. Je organisatie moet dus een pijplijn aanleggen die continue kwalitatieve data aanvoert. Ook meer focus op data engineering vaardigheden is daarbij een aandachtspunt.
Kritisch denken blijft een mensentaak
Verder stellen de onderzoekers dat bedrijven kritisch moeten stilstaan bij vragen zoals deze:
Welke menselijke vaardigheden zijn nodig om het maximum uit AI-tools te halen? En hoe vaak zullen die vaardigheden veranderen? De rol van prompt engineer bestond tot voor kort niet eens, terwijl de vraag ernaar nu pijlsnel omhoog schiet. Even goed verdwijnt de functie binnenkort weer, wanneer AI die taak onder de knie heeft.
Vervolgens moeten bedrijven zich afvragen hoe ze hun medewerkers op de juiste manier moeten trainen. Opleiding met impact voorkomt dat we te veel gaan vertrouwen op GenAI in situaties waarin de technologie nog niet het juiste competentieniveau heeft bereikt. En het gaat nog verder: stel dat we bepaalde taken volledig kunnen delegeren aan GenAI. Dan zijn er nog steeds mensen nodig die de output controleren. Hoe kunnen medewerkers die taak uitvoeren zonder er zelf kennis over te hebben? Opnieuw stof tot nadenken.
Kraak de user adoption-noot met Xylos
Wat we bij Xylos onthouden uit dit interessante experiment? GenAI wakkert alleen concurrentievoordeel aan voor bedrijven die de user adoption-noot weten te kraken. De capaciteit van een organisatie om bij te leren en snel te schakelen blijkt belangrijker dan ooit tevoren.
Zie je door de bomen het AI-bos niet meer? We helpen je graag op weg!
