Vorige week ontplofte Twitter zowat toen Open AI haar nieuwe AI-bot op de wereld los liet. “GPT-3 is the biggest breakthrough in AI since the self driving car.” Het ding oogt nochtans weinig spectaculair. Geen robot die een passagiersvliegtuig kan besturen of aan de lopende band achterwaartse salto’s kan uitvoeren. Wel een ongezien krachtig taalmodel dat hoogkwalitatieve content oplevert. Teleurgesteld? Wacht tot je ziet wat GPT-3 in huis heeft. Buckle your seatbelts folks.

Natural language processing (NLP) - de vaardigheid van software om de menselijke taal te begrijpen - zit serieus in de lift sinds de doorbraak van spraakgestuurde apparaten. Ontwikkelaars bouwen taalmodellen die aan de hand van deep learning en NLP steeds slimmer, rijker en beter worden. De basisintelligentie van deze taalmodellen is niets uitzonderlijk. Het is de constante voeding die ze krijgen die de sleutel tot hun succes bevat.

GPT-3, ontwikkeld door AI-pioneer Open AI, is in feite niets meer dan een auto-complete NLP robot. Een API die teksten aanvult op basis van de input die ze krijgt. Een beetje zoals de suggesties van de Google zoekbalk. Maar dan tig keer beter. GPT-3 is veruit het grootste taalmodel ooit, met 175 miljard parameters (ter vergelijking: voorganger GPT-2 had 1.5 miljard parameters), gevoed door een onwaarschijnlijk grote verzameling aan data. Het model heeft letterlijk bijna elke letter van het internet opgezogen. Hierdoor weet GPT-3 precies hoe we als mens omgaan met tekst. Elk soort tekst.

So what does it do?

Waarvoor kan je GPT-3 dan gebruiken? Op enkele dagen tijd hebben ontwikkelaars al een veelvoud aan belovende demo’s opgeleverd die de veelzijdigheid van het model aantonen (Helaas blijft de technologie tot op heden beperkt tot private beta’s, anders konden we zelf in de GPT-3 zandbak duiken).

Wat dacht je bijvoorbeeld van een bot die bruikbare UI designs tevoorschijn tovert?

Of een bot die tekst omzet in JavaScript applicaties?

Of een bot die complex technisch jargon naar begrijpbare mensentaal terugbrengt?

Impressive stuff! GPT-3 kan dus naast tekst net zo goed bruikbare code genereren. Omdat we de bouwstenen van digitale smartphone of webapplicaties al zo vaak gebruikt hebben heeft GPT-3 een link kunnen leggen tussen code en datgene waarvoor de code staat. Zo heeft het model aan een paar woorden genoeg om (eenvoudige) applicaties tevoorschijn te toveren.

Haar ware kracht ligt echter in het genereren van tekst die aansluit bij de input die ze krijgt. GPT-3 zou een perfect geloofwaardig vervolg van deze blog kunnen uitschrijven op basis van de eerste twee alinea’s. En dat in enkele seconden. Automatisch gegenereerde artikels, blogs, mails, posts die steek houden (en meer dan dat) zijn niet veraf meer. Waar we nu nog de metalen hand van een bot kunnen herkennen in spam- of fake news berichten, zal dat binnenkort een pak moeilijker zijn. Dat brengt natuurlijk ook de nodige risico’s met zich mee (denk maar aan deepfakes bijvoorbeeld) - al waakt Open AI met nadruk over het correct gebruik van GPT-3.

Too good to be bot?

Maar hoe zit het met de nuances van onze taal? Sarcasme, poëzie, culturele referenties, logica enzomeer? Ook daar lijk GPT-3 zich initieel best goed uit de slag te trekken

Geen antwoorden die op voorhand zijn ingegeven, wel bijzonder accurate gokken op wat het antwoord zou kunnen zijn. GPT-3 doorzoekt alle tekstuele data tot haar beschikking om een logisch vervolg op de input te formuleren, met een hoge nauwkeurigheid als resultaat. Pas wanneer GPT-3 ongeldige of surrealistische vragen voorgeschoteld krijgt loopt het mis.

Fair enough. GPT-3 is en blijft een robot. Al lijkt "I don't know the answer to that" niet in zijn vocabulaire te zitten.

So what's the point?

Waar kunnen we het model dan vandaag al voor inzetten?

Chatbots. De GPT-3 API zou de kwaliteit van chatbotconversaties aanzienlijk verbeteren en meer menselijk doen overkomen - een vaakvoorkomend pijnpunt bij low quality chatbots. Tot op het punt dat de bot kan improviseren zonder een gesprek te doen ontsporen.

Tekstgeneratie of -analyse van ‘droge tekst’. Denk aan het genereren van teksten met een hoge graad van voorspelbaarheid, zoals contracten, offertes, juridische documenten, handleidingen, academische teksten, documentatie, etc. Of het uitlichten van zinnen die afwijken van de norm in documenten van vele honderden pagina’s.

Codegeneratie. GPT-3 kan al op kleine schaal serieuze brokken code genereren. Vooral programmeertalen gebaseerd op logica zoals Python vallen in de smaak, evenals frontend libraries en toepassingen zoals React, Vue of Tailwind CSS.

Voorlopig is de job van copywriters en programmeurs nog veilig (oef!). Desalniettemin zet GPT-3 alweer een reuzenstap in AI-ontwikkeling. Als we noteren wat individuele codeertalenten op enkele dagen tijd in mekaar hebben weten knutselen kijken we al reikhalzend uit naar grootschalige GPT-3 toepassingen... en om zelf aan de slag te gaan met de technologie natuurlijk.

Hungry for more? Neem dan hier een kijkje voor alle demo's, toepassingen en documentatie rond GPT-3. Of bekijk deze video die de whitepaper uit de doeken doet.