Vem besiktar tåget?

I förra krönikan lovade jag att återkomma till överlappet mellan Anthropic och METR. Det är värre än jag trodde, och det värsta står i METR:s egna rapporter.

Den 18 november sätter Anthropic priset på sin börsnotering. Bolaget vill ha 70–78 dollar per aktie och räknar med att få in omkring 60 miljarder dollar. Säljargumentet är att AI är farligt, och att just Anthropic låter sig granskas utifrån.

I förra krönikan skrev jag att du måste äga rälsen. Nu gäller det besiktningen. Anthropic har löst den frågan på enklast tänkbara sätt: bolaget äger verkstaden, nyckeln och protokollet.

Besiktningsmannen heter METR. Organisationen började som ARC Evals, en avdelning inom Alignment Research Center, och blev en egen ideell organisation i december 2023. ARC grundades av Paul Christiano. I ARC:s tidiga deklarationer står Christiano som ordförande och Holden Karnofsky som sekreterare och kassör. Karnofsky lämnade styrelsen i april 2023.

Karnofsky är namnet att lägga på minnet. Han var med och grundade GiveWell och Open Philanthropy. Sedan 2017 är han gift med Anthropics president Daniela Amodei, syster till vd:n Dario Amodei. Sedan januari 2025 är han anställd på Anthropic, med 430 213 dollar i kontant ersättning för 2025 enligt börsprospektet.

Själv skriver han att han ledde arbetet med den nya versionen av bolagets säkerhetsregelverk, Responsible Scaling Policy. Kassören i den organisation som granskaren växte fram ur sitter alltså numera hos den granskade och skriver reglerna för granskningen.

Banden går längre tillbaka än så. 2017 gav Open Philanthropy 30 miljoner dollar till OpenAI. I beslutet redovisade stiftelsen att OpenAI-forskarna Dario Amodei och Paul Christiano bodde i samma hus som Karnofsky, och att han var förlovad med Darios syster.

Christiano blev senare en av de fem första förvaltarna i Anthropics Long-Term Benefit Trust, som utser fyra av bolagets sju styrelseledamöter. I april 2024 gick han direkt därifrån till jobbet som chef för AI-säkerhet på den amerikanska statens AI Safety Institute.

Prospektet beskriver förvaltarna som personer utan ekonomiskt intresse i bolaget. De får 400 000 dollar om året var. Daniela Amodei sitter dessutom i GiveWells styrelse, och två av förvaltarna har lett organisationer som får bidrag på GiveWells rekommendation. GiveWell redovisar det själv och uppger att hon avstår från de besluten.

På pappret är det här fyra oberoende kontroller: en granskare, en stiftelse, en stat och en filantrop. I praktiken är det en bekantskapskrets.

I USA har den högljudda versionen av historien handlat om en ”sexkult” i Berkeley. Uttrycket kommer från två av Bidens tidigare rådgivare, som i Politico tillskrev det riskkapitalisten Marc Andreessen. Den dokumenterade versionen är tråkigare och värre. Den består av deklarationer, bidragsbeslut och ett börsprospekt.

Pengarna är inte mitt starkaste argument, och jag behöver dem inte. METR uppger att de inte tar emot pengar från AI-bolag, och enligt METR betalade ingen av parterna den andra för den senaste granskningen. Däremot fick granskarna gratis tokens och krediter av Anthropic.

METR har publicerat fem granskningar av Anthropics riskrapporter sedan oktober 2025. I alla jag har läst hittar METR brister, och i alla landar METR i samma slutsats som bolaget: risken är låg.

Skälet är talande. METR bedömer risken som låg främst för att modellerna ännu saknar förmågan att ställa till med något som är svårt att reparera, inte för att Anthropics skydd håller. I oktobergranskningen pekar METR på incidenter som gick oupptäckta i månader och på maskningar i Anthropics rapport som METR anser omotiverade.

Översatt till järnvägen: tåget är godkänt eftersom det ännu inte går fort nog att spåra ur. Bromsarna har ingen kunnat prova.

Det verkliga problemet står i METR:s egen rapport från den 5 november. Anthropic hade ensidig rätt att maska uppgifter, och maskade större delen av det underlag som METR ansåg mest upplysande. Anthropic skärpte dessutom sina riktlinjer för maskning efter att METR hade lämnat sitt utkast. METR skriver att allmänheten därför måste lita på METR:s omdöme mer än vad som vore idealiskt.

I det ursprungliga avtalet ingick att kontrollera hur Anthropic fördelar sin beräkningskraft mellan förmåga och säkerhet. Den delen strök Anthropic mitt under arbetet, innan METR hade hunnit dra några slutsatser.

METR redovisar också att en person i granskningsteamet förhandlade om en tjänst hos Anthropic när arbetet började, fick ett erbjudande och tackade nej. Enligt de regler METR har infört sedan dess hade personen fått stå över.

Och så det mest avslöjande. METR skriver att granskningarna är frivilliga, att organisationen vägde in hur rapporten kunde påverka framtida uppdrag och att den därför begränsade sin diskussion om maskningarna. Granskaren berättar alltså själv att den väger sina ord för att få komma tillbaka.

Oktobergranskningen gjordes på villkor som gav Anthropic rätt att stoppa publiceringen eller stryka vad som helst i den. METR uppger att rätten inte användes. Sedan mitten av oktober arbetar sex personer från METR inne hos Anthropic, på bolagets hårdvara och i bolagets lokaler.

En revisor har laglig rätt att se räkenskaperna. METR har tillgång så länge Anthropic vill, till det Anthropic väljer att visa, och allmänheten får se det Anthropic släpper igenom. Kalla det vad du vill, men kalla det inte oberoende granskning.

Anthropic vet mycket väl att närhet är ett problem. Regelverket säger att externa granskare inte får ha ekonomiska intressen i bolaget, och inte heller familjeband, kärleksrelationer eller delat boende med någon på Anthropic. Regeln togs fram under ledning av en man som har bott med vd:n och är gift med hans syster. Den gäller granskarna och inte honom, så inget är brutet. Men om vem som bestämmer vad granskaren får se och publicera säger den ingenting.

Den som köper aktier nästa vecka kan inte heller rösta fram en strängare granskning. Prospektet säger att innehavare av vanliga aktier i allmänhet inte kan påverka utfallet i omröstningar. Grundarna kontrollerar 50,1 % av rösterna.

Jag påstår inte att någon har fuskat. Jag har inga belägg för det, och jag behöver inga. En granskning där den granskade väljer underlaget, stryker i protokollet och kan dra in tillgången är inte oberoende, hur hederliga granskarna än är. Om slutsatserna hade blivit andra med full insyn kan ingen utanför veta. Det är hela poängen.

En granskning värd namnet kräver tre saker: tillgång som inte kan dras in, en omfattning som granskaren bestämmer och publicering utan strykningar från den granskade. Inget av det finns i dag. Ändå säljs bolaget nästa vecka med granskningen som en del av varudeklarationen.

Du måste äga rälsen. Anthropic har gått ett steg längre och äger besiktningsprotokollet också.

Källor

• Anthropics börsprospekt hos SEC: familjerelationer, Karnofskys ersättning och rösträtt.
• Anthropic om börsintroduktionen: prisintervallet.
• ARC:s deklarationer hos ProPublica.
• Anthropic om Long-Term Benefit Trust.
• Karnofsky om Responsible Scaling Policy v3.
• Anthropics Responsible Scaling Policy 3.4, avsnitt 3.6.1.
• METR:s bedömning den 5 november: tillgång, maskningar, struken del, jobberbjudande och tokens.
• METR:s oktobergranskning: publiceringsvillkor, incidenter och maskningar.
• METR:s lista över riskgranskningar.
• GiveWells redovisning av relationer.
• CNBC om METR:s tillgång hos Anthropic.
• Yahoo Finance om planerat prisdatum.
• Open Philanthropys ursprungliga bidragsbeslut, arkiverat.
• Techmeme om Politico-artikeln.