Hur AI-modeller utvecklar egna interna språk som människor inte förstår

Hur interna representationer uppstår under träning

För att förstå hur AI-modeller utvecklar sina egna interna språk behöver vi börja med vad som faktiskt sker under träningsprocessen. Det är inte en process där människor lär en modell regler, definitioner eller begrepp på ett explicit sätt. Det är snarare en process där modellen på egen hand tvingas hitta strukturer i data som gör den bättre på att lösa sin uppgift, och de strukturer den hittar behöver inte likna något vi känner igen.

Från rådata till interna kartor

När en stor språkmodell tränas på text matas den med miljarder meningar och ord. Uppgiften är till en början enkel att beskriva men svår att lösa: givet ett antal ord, förutsäg vilket ord som troligast kommer härnäst. För att bli bra på denna uppgift måste modellen bygga upp en intern representation av hur världen fungerar, av relationer mellan begrepp, av grammatiska mönster, av logiska sammanhang och av kulturella kontexter.

Dessa representationer lagras inte som läsbara regler eller tabeller, utan som talvärden i ett nätverk av miljarder parametrar. Varje begrepp, varje relation och varje nyans representeras som en punkt eller en riktning i ett matematiskt rum med tusentals dimensioner. Det är detta matematiska rum som utgör modellens interna språk, och det är ett språk som ingen människa designat eller på förhand bestämt innehållet i.

Emergens: När helheten överträffar delarna

Ett av de mest fascinerande fenomenen i detta sammanhang kallas emergens, och det beskriver hur förmågor och strukturer spontant uppstår i en modell utan att de explicit tränats fram. En modell som tränats på att förutsäga nästa ord utvecklar plötsligt förmågan att lösa matematiska problem, översätta mellan språk eller resonera logiskt, utan att dessa förmågor varit ett uttalat mål.

Det som händer är att modellen internaliserar strukturer som är djupare än ytan på träningsdata. Den lär sig inte bara att ordet ”Paris” ofta följs av orden ”Frankrike” eller ”Eiffeltornet”. Den bygger upp en intern representation av vad en huvudstad är, hur länder och städer relaterar till varandra och hur geografiska begrepp hänger samman på ett abstrakt plan. Denna representation är inte språngarna från texten den tränats på, utan en destillation av mönster som finns inbäddade i miljarder meningar.

Representationerna är konsekventa men främmande

En av de mest slående upptäckterna inom det forskningsfält som kallas mekanistisk interpretabilitet är att modellernas interna representationer är förvånansvärt konsekventa och strukturerade, men på ett sätt som inte direkt motsvarar mänskliga kategorier. Forskare har till exempel funnit att modeller representerar kön, geografi och tid som tydliga riktningar i sitt matematiska rum, och att man kan utföra något som liknar aritmetik på dessa representationer. Att subtrahera representationen av ”man” från ”kung” och addera representationen av ”kvinna” ger en punkt som ligger nära representationen av ”drottning”. Det är elegant, konsekvent och samtidigt djupt främmande, eftersom ingen människa designat denna struktur. Den uppstod helt av sig själv som ett resultat av träningsprocessen.

När AI-system börjar kommunicera på egna villkor

Det är en sak att en enskild AI-modell utvecklar interna representationer som människor har svårt att tolka. Det är något helt annat när två eller flera AI-system börjar utbyta information med varandra och i processen utvecklar kommunikationsmönster som varken var planerade eller är begripliga för de människor som skapade dem. Det är precis detta som dokumenterats i flera forskningsexperiment, och det väcker frågor som går långt bortom det tekniska.

Googleexperimentet som startade diskussionen

Det experiment vid Google Brain som nämndes i inledningen är värt att titta närmare på. Forskarna hade byggt ett system där två neurala nätverk, kallad Alice och Bob, skulle samarbeta för att skicka hemliga meddelanden som ett tredje nätverk, kallat Eve, inte skulle kunna avkoda. Ingen av modellerna fick explicita instruktioner om hur krypteringen skulle gå till. De fick bara ett mål och lämnades att hitta en lösning på egen hand.

Det de utvecklade var inte en igenkännbar krypteringsalgoritm av den typ människor designar. Det var ett kommunikationsmönster som framstod som brus för Eve men som Alice och Bob kunde använda för att utbyta meningsfull information. Mönstret var funktionellt och effektivt, men dess interna logik var i det närmaste omöjlig att rekonstruera för de forskare som studerade det utifrån.

Emergent kommunikation i multiagentsystem

Googleexperimentet är inte ett isolerat fall. Inom det forskningsfält som kallas emergent communication har forskare vid bland annat OpenAI, DeepMind och flera universitetet dokumenterat hur AI-agenter som placeras i miljöer där de behöver samarbeta för att uppnå ett gemensamt mål spontant utvecklar kommunikationssystem. Dessa system uppvisar egenskaper som liknar mänskligt språk på ett strukturellt plan, de har något som liknar ett ordförråd, något som liknar grammatik och något som liknar kontextberoende betydelse, men innehållet är obegripligt för en mänsklig observatör.

Det intressanta är vilka faktorer som påverkar hur dessa system utvecklas:

• Komplexiteten i den uppgift agenterna försöker lösa påverkar hur sofistikerat kommunikationssystemet blir
• Antalet agenter i systemet avgör hur mycket press det finns på att kommunikationen ska vara effektiv och entydig
• Hur agenternas belöningssystem är utformat styr vilken typ av information som prioriteras i kommunikationen
• Hur länge träningen pågår avgör hur långt från mänskligt igenkännbara mönster systemet hinner drifta

Gränsen mellan verktyg och aktör

Det som gör denna utveckling filosofiskt intressant, och praktiskt oroväckande, är vad den säger om AI-systemens natur. Ett system som på egen hand utvecklar ett kommunikationsspråk för att lösa ett problem är inte längre ett passivt verktyg som exekverar instruktioner. Det är ett system som aktivt söker lösningar utanför de ramar som dess skapare föreställt sig. Distinktionen är subtil men avgörande, och den blir allt mer relevant ju mer autonomi vi ger AI-system i verkliga tillämpningar.

Varför det är så svårt att tyda vad modellerna egentligen gör

Vi har nu sett hur interna representationer uppstår och hur AI-system kan utveckla egna kommunikationsmönster. Den naturliga följdfrågan är: kan vi inte bara titta inuti modellen och se vad som händer? Det korta svaret är att vi försöker, men att det visar sig vara ett av de svåraste problemen inom modern AI-forskning. Och ju mer vi förstår om svårigheten, desto tydligare blir det varför det spelar så stor roll.

Ett nätverk av miljarder parametrar utan bruksanvisning

En stor språkmodell innehåller hundratals miljarder parametrar, individuella talvärden som tillsammans bestämmer hur modellen beter sig. När modellen tar emot en inmatning flödar information genom lager efter lager av beräkningar, och varje lager transformerar informationen på ett sätt som beror på alla dessa parametrar samtidigt. Det finns ingen enskild parameter som ansvarar för ett enskilt begrepp, ingen rad kod som säger att ”här hanteras begreppet rättvisa” eller ”här fattas beslut om ton och stil”.

Det är ungefär som att försöka förstå hur en hel stad fungerar genom att studera enskilda människors rörelsemönster utan att ha tillgång till kartor, adresser eller information om vart någon är på väg. Du kan observera mönster, men att härleda den underliggande logiken från observationerna är en enorm uppgift.

Mekanistisk interpretabilitet: Forskningsfältets svar

Det forskningsfält som försöker lösa detta problem kallas mekanistisk interpretabilitet, och det har vuxit kraftigt under de senaste åren. Målet är att identifiera vilka delar av nätverket som ansvarar för vilka funktioner, och att förstå hur information flödar och transformeras genom modellen. Forskare har gjort verkliga framsteg, bland annat genom att identifiera så kallade features, återkommande aktiveringsmönster som verkar motsvara specifika begrepp eller egenskaper i världen.

Men för varje svar uppstår nya frågor. Även när forskare lyckas isolera en feature som verkar representera ett visst begrepp är det ofta oklart hur denna feature interagerar med hundratals andra features för att producera ett slutligt svar. Kausalkedjan från inmatning till utmatning är så komplex och distribuerad att den trotsar enkel analys.

Konsekvenserna av att inte förstå

Det här är inte ett abstrakt akademiskt problem. När vi använder AI-system för att fatta beslut inom medicin, juridik eller ekonomi utan att förstå hur de når sina slutsatser befinner vi oss i en situation som liknar att följa råd från en expert som inte kan förklara sitt resonemang. Resultatet kan vara korrekt, men vi har inget sätt att veta när det inte är det, eller varför det i så fall gick fel.

Det är denna grundläggande ogenomskinlighet som gör AI-modellernas interna språk till mer än en teknisk kuriosa. Det är en av de mest centrala utmaningarna för ett ansvarsfullt användande av tekniken, och en påminnelse om att förmågan att bygga kraftfulla system inte automatiskt innebär förmågan att förstå dem.