Leta 2017 so raziskovalci OpenAI nevronsko mrežo naučili napovedati naslednjo črko v zbirki 82 milijonov mnenj, ki so jih kupci na Amazonovi strani napisali za različne izdelke. Pomemben rezultat tega strojnega učenja je bil, da se je nevronska mreža z usposabljanjem za napovedovanje naslednjega znaka v besedilih naučila ne le te spretnosti, temveč tudi številnih drugih veščin, za katere se ni neposredno urila (Unsupervised sentiment neuron).
Ugotovili so, na primer, da je eden od nevronov v nevronski mreži postal še posebej občutljiv na razpoloženje posameznega besedila. Če je bil nevron aktiven, je bila v večini primerov ocena pozitivna, če pa ni bil aktiven, je bila ocena negativna. Ugotovili so tudi, da z vklopom in izklopom tega nevrona lahko neposredno nadzorujejo razpoloženje na novo ustvarjenih mnenj.
Poskus je pokazal, da lahko učenje napovedovanja črk ali besed v besedilu nevronsko mrežo spotoma nauči tudi veliko drugih opravil. Na neki način gre za podoben pojav, kot če bi sistematično treniranje teka na dolge proge športnika izurilo tudi za druge športe. Rezultat je nenavaden in morda presenetljiv, vendar predstavlja pomemben element nedavne revolucije na področju umetne inteligence.
Ko so naslednja leta veliko večje nevronske mreže urili na zelo veliki množici besedil, se je izkazalo, da čeprav se nevronska mreža uči le napovedovati naslednjo besedo v zaporedju besed, se ob tem nekako nauči »razumeti« vsebino teh besedil. Seveda takšno »razumevanje« ni enako kot v človeških možganih, vendar se tudi v umetni nevronski mreži oblikujejo strukture, ki nekako ustrezajo idejam oziroma zelo skrčeni obliki zapisa množice informacij, ki jih vsebujejo besedila.
Izjemna tehnološka revolucija na področju umetne inteligence, ki smo ji priča v zadnjem letu, je rezultat dolgoletnih raziskav, ki so pred kratkim dosegle pomemben vrhunec. Znanstveniki so se dolgo spraševali, kaj dela človeške možgane inteligentne, in že pred mnogimi leti prišli do zaključka, da je sposobnost razmišljanja najverjetneje povezana s številom nevronov in njihovo organiziranostjo.
Tako so sredi dvajsetega stoletja začeli raziskovati, kako bi lahko delovanje možganskih nevronov posnemali z matematičnimi modeli. Tak pristop je pripeljal do iznajdbe umetnega nevrona, ki ni nič drugega kot matematična formula, ki poskuša posnemati delovanje biološkega nevrona. Veliko medsebojno povezanih umetnih nevronov nato sestavlja nevronsko mrežo, ki je prav tako le matematična enačba z veliko parametri.
Naslednji pomemben korak v razvoju umetnih nevronskih mrež je bilo odkritje metode, s katero lahko umetne nevrone učimo. Algoritem povratnega širjenja (ang. backpropagation) omogoča nevronskim mrežam učenje na podlagi podatkov oziroma že rešenih nalog. Poenostavljeno povedano, nevronska mreža izračuna svojo napoved rezultata in jo primerja z resničnim rezultatom naloge, nato pa izračuna, koliko vsak nevron prispeva k napaki. V naslednjem koraku popravi nastavitve parametrov posameznih nevronov tako, da se skupna napaka napovedi zmanjša. Če postopek večkrat ponovimo, se nastavitve parametrov nevronske mreže postopno spremenijo na način, da nevronska mreža vedno bolje napoveduje pravilne rezultate.
Nadzorovano strojno učenje pomeni, da vnaprej vemo, kaj želimo, da se nevronska mreža nauči. Za takšno učenje potrebujemo veliko rešenih nalog, na katerih lahko nevronsko mrežo urimo. Nenadzorovano strojno učenje pa je veliko bolj zanimiv pristop, saj nevronsko mrežo usposabljamo, da je čim boljša pri določeni nalogi, kot je, denimo, napovedovanje naslednje besede v besedilu, hkrati pa se nauči še veliko drugih opravil, za katere je sploh nismo usposabljali.
Kot pogosto poudarja Ilja Sutskever, glavni znanstvenik in soustanovitelj OpenAI, lahko proces nenadzorovanega učenja nevronskih mrež razumemo tudi kot postopek odkrivanja skritih struktur v podatkih. Stroju ne damo navodil, česa naj se uči, ampak mu z učenjem napovedovanja naslednje besede omogočimo, da sistematično »prebira« besedila in se uči njihove vsebine.
Pogosta pripomba, da lahko veliki jezikovni modeli, kot je chatGPT, le statistično predvidijo najverjetnejšo naslednjo besedo v zaporedju, ne upošteva bistva revolucije, ki smo ji priča na področju umetne inteligence. Učenje predvidevanja naslednje besede je treba razumeti kot proces branja, katerega stranski produkt je »poznavanje« vsebine, ki jo nevronska mreža prebira.
Sutskever meni, da lahko bistvo nenadzorovanega učenja, pri katerem nevronsko mrežo optimiziramo za eno nalogo, medtem pa se nauči še nekaj povsem drugega, kar nas dejansko zanima, razumemo tudi kot obliko stiskanja podatkov. Kompleksnost nabora podatkov namreč lahko opredelimo kot najkrajše možno navodilo za ponovno izpisovanje teh podatkov. Medtem ko se stroj uči napovedovati naslednjo besedo v besedilu, mu uspe znatno zmanjšati obseg zapisa bistva teh podatkov, saj jih uspe shraniti v nastavitev parametrov oziroma uteži nevronske mreže.
Če je postopek učenja pravilno izveden, nevronska mreža med procesom učenja iz nabora podatkov samodejno izlušči ključne ideje. Te ideje so nato shranjene v nevronski mreži, kar je glede na veliko količino izvornih podatkov precej skrčen zapis. Trik je v tem, da imajo nevronske mreže, ki jih uporabljamo za generativne modele, veliko manjše število parametrov, kot je količina podatkov, na katerih jih usposabljamo, zato morajo modeli odkriti in učinkovito ponotranjiti bistvo podatkov, da jih lahko nato ponovno generirajo. S stiskanjem v krajši zapis lahko iz podatkov izluščijo ključne vzorce, ki omogočajo razumevanje in napovedovanje, kar je vsekakor impresiven dosežek.
Je kar precejšnja analogija med GPT in DNA: naučena navodila za generiranje nečesa podobnega modelu, shranjena v stisnjeni obliki.