Verdieping: De schaalwetten uitgelegd

Achtergrond bij de discussie over scaling

De "scaling hypothesis" die Sutskever mede heeft vormgegeven, stelt dat als je een probleem op de juiste manier formuleert, betere resultaten automatisch volgen door meer compute toe te voegen. Dit was revolutionair omdat het suggereerde dat we geen fundamenteel nieuwe doorbraken nodig hadden — alleen meer resources.

De drie dimensies van schalen:

1. Model Scaling: Meer parameters in het neurale netwerk
2. Data Scaling: Meer trainingsdata
3. Compute Scaling: Meer rekenkracht voor training

De beroemde "scaling laws" van OpenAI (gepubliceerd door Kaplan et al.) toonden aan dat modelprestaties voorspelbaar verbeteren met elk van deze drie dimensies, met een "power-law"-relatie.

Waarom het nu mogelijk stagneert:

• Data-uitputting: Het internet heeft een eindige hoeveelheid hoogwaardige tekst
• Compute-kosten: Training van frontier-modellen kost nu honderden miljoenen dollars
• Afnemende meeropbrengsten: De verbeteringen per dollar worden kleiner
• Parameter-plateaus: De nieuwste frontier-modellen lijken in parametergrootte te stabiliseren

De Alternatieve Schaalwetten:

Toch is niet iedereen overtuigd dat scaling niet meer werkt. Er zijn volgens deskundigen nog zeker een half dozijn schaalwetten die wachten om opgepakt te worden.

Voorbeelden:

• Inference-time scaling: Modellen meer tijd geven om na te denken (zoals bij OpenAI's o1)
• Action scaling: Agentische AI's die meer acties uitvoeren voor betere resultaten
• Synthetic data scaling: Training op door AI gegenereerde data