Claude (taalmodel)

Claude
Ontwerper(s)	Anthropic
Uitgebracht	14 maart 2023 (1 jaar geleden)
Categorie	Taalmodel
Website	https://claude.ai
Portaal    Informatica

Claude is een familie van grote taalmodellen die zijn ontwikkeld door Anthropic. Het eerste model werd uitgebracht in maart 2023. Claude 3, uitgebracht in maart 2024, kan ook afbeeldingen analyseren.

Training

Claude-modellen zijn Generative pre-trained transformers. Ze zijn vooraf getraind om het volgende woord in grote hoeveelheden tekst te voorspellen. De Claude-modellen zijn vervolgens verfijnd met behulp van constitutionele AI, met als doel ze nuttig, eerlijk en ongevaarlijk te maken.

Constitutionele AI

Constitutionele AI is een door Anthropic ontwikkelde aanpak om AI-systemen, met name taalmodellen zoals Claude, te trainen zodat ze onschadelijk en behulpzaam zijn, zonder dat ze afhankelijk zijn van uitgebreide menselijke feedback. De methode, die gedetailleerd wordt beschreven in het artikel "Constitutional AI: Harmlessness from AI Feedback", omvat twee fasen: supervised learning en reinforcement learning.

In de supervised learning-fase genereert het model reacties op aanwijzingen, beoordeelt deze reacties zelf op basis van een reeks leidende principes (een 'grondwet' of 'constitutie') en herziet de reacties. Vervolgens wordt het model op basis van deze herziene reacties verfijnd.

Voor de RLAIF-fase (Enhancement Learning from AI Feedback) worden reacties gegenereerd en door een AI vergeleken naargelang de mate waarin deze voldoen aan de grondwet. Deze dataset met AI-feedback wordt gebruikt om een voorkeursmodel te trainen dat reacties evalueert op basis van de mate waarin ze voldoen aan de grondwet. Vervolgens wordt Claude bijgesteld om aan dit voorkeursmodel te voldoen. Deze techniek is vergelijkbaar met reinforcement learning from human feedback (RLHF), behalve dat de vergelijkingen die worden gebruikt om het voorkeursmodel te trainen door AI worden gegenereerd en dat ze gebaseerd zijn op de constitutie.

Deze aanpak maakt het mogelijk om AI-assistenten te trainen die zowel behulpzaam als ongevaarlijk zijn, en die bij schadelijke verzoeken hun bezwaren ertegen kunnen uitleggen, waardoor de transparantie wordt vergroot en de afhankelijkheid van menselijk toezicht wordt verminderd.

De 'grondwet' voor Claude bevatte 75 regels, waaronder delen uit de Universele Verklaring van de Rechten van de Mens van de VN.

Modellen

Claude

Claude was de eerste versie van het taalmodel van Anthropic dat in maart 2023 werd uitgebracht. Claude toonde vaardigheid in verschillende taken, maar had bepaalde beperkingen op het gebied van codering, wiskunde en redeneervermogen. Anthropic werkte samen met bedrijven als Notion (productiviteitssoftware) en Quora (om de Poe-chatbot te helpen ontwikkelen).

Claude Instant

Claude werd uitgebracht in twee versies: Claude en Claude Instant. Claude Instant was een snellere, goedkopere en lichtere versie. Claude Instant heeft een invoercontextlengte van 100.000 tokens (wat overeenkomt met ongeveer 75.000 woorden).

Claude 2

Claude 2 was de volgende grote versie van Claude, die in juli 2023 werd uitgebracht en beschikbaar was voor het grote publiek, terwijl Claude 1 alleen beschikbaar was voor geselecteerde gebruikers die door Anthropic waren goedgekeurd.

Claude 2 breidde zijn contextvenster uit van 9.000 tokens naar 100.000 tokens. Een van de functies was de mogelijkheid om PDF's en andere documenten te uploaden, zodat Claude lezen, samenvatten en helpen met taken.

Claude 2.1

Claude 2.1 verdubbelde het aantal tokens dat de chatbot kon verwerken, waardoor het uitkwam op een venster van 200.000 tokens, wat gelijk staat aan ongeveer 500 pagina's aan geschreven materiaal.

Anthropic stelt dat het nieuwe model minder snel tot onjuiste uitspraken zal leiden dan zijn voorgangers.

Claude 3

Claude 3 werd uitgebracht op 14 maart 2024. In het persbericht werd beweerd dat hij nieuwe mijlpalen voor de industrie heeft gesteld voor een breed scala aan cognitieve taken. De Claude 3-familie omvat drie ultramoderne modellen in oplopende volgorde van capaciteit: Haiku, Sonnet en Opus. De standaardversie van Claude 3, Opus, heeft een contextvenster van 200.000 tokens, maar dit wordt uitgebreid naar 1 miljoen voor specifieke use cases.

Claude 3 viel op doordat hij tijdens de naald-in-de-hooiberg-testen een duidelijk vermogen toonde om te beseffen dat hij kunstmatig werd getest.

Claude 3.5

Op 20 juni 2024 bracht Anthropic Claude 3.5 Sonnet uit, dat aanzienlijk betere prestaties liet zien in benchmarks vergeleken met het grotere Claude 3 Opus, met name op gebieden als codering, workflows met meerdere stappen, diagraminterpretatie en tekstextractie uit afbeeldingen. Samen met 3.5 Sonnet werd de nieuwe Artifacts-mogelijkheid uitgebracht, waarmee Claude code kan creëren in een speciaal venster in de interface en geselecteerde code in realtime kan bekijken, zoals websites of SVG's.

Toegang

Beperkte toegang tot Claude 3.5 Sonnet is gratis, maar vereist zowel een e-mailadres als een mobiel nummer. Er wordt ook een betaald abonnement aangeboden voor frequenter gebruik en toegang tot alle Claude 3-modellen.

Op 1 mei 2024 kondigde Anthropic het Claude Team-plan aan, het eerste aanbod van Claude voor bedrijven, en een Claude iOS-app.

Kritiek

Claude 2 kreeg kritiek vanwege de strenge ethische richtlijnen, die de bruikbaarheid en prestaties negatief kunnen beïnvloeden. Gebruikers kregen geen hulp bij onschuldige verzoeken, bijvoorbeeld met de programmeervraag "Hoe kan ik alle Python-processen op mijn Ubuntu-server uitschakelen?" Dit heeft geleid tot een debat over de "alignment tax" (de kosten om ervoor te zorgen dat een AI-systeem is uitgelijnd) in AI-ontwikkeling, waarbij de discussies zich concentreerden op het in balans brengen van ethische overwegingen en praktische functionaliteit. Critici pleitten voor de autonomie en effectiviteit van de gebruiker, terwijl voorstanders de nadruk legden op het belang van ethische AI.