Few-Shot Learning
Few-Shot Learning ermöglicht es KI-Modellen, neue Aufgaben aus nur 2-10 Beispielen zu lernen, statt aus Tausenden. Dies ist transformativ für Unternehmen: Statt 10.000 gelabelte Beispiele zu sammeln und tagelang zu trainieren, liefern Sie 5 Beispiele in einem Prompt und erhalten sofort Ergebnisse. Große Sprachmodelle wie GPT-4 und Claude übertreffen beim Few-Shot Learning durch In-Context-Learning—sie lernen Muster aus Beispielen im Prompt ohne Gewichtsaktualisierung. Die Technik funktioniert für Klassifikation, Extraktion, Generierung, Übersetzung und mehr. Few-Shot Learning ist besonders wertvoll, wenn gelabelte Daten knapp oder teuer sind oder wenn Sie sich schnell an neue Aufgaben anpassen müssen.

Überblick
Few-Shot Learning adressiert eine fundamentale Einschränkung traditionellen maschinellen Lernens: die Notwendigkeit massiver gelabelter Datensätze. Das Training eines traditionellen Bildklassifikators erfordert 10.000+ gelabelte Bilder. Das Training eines benutzerdefinierten NER-Modells (Named Entity Recognition) erfordert Tausende annotierter Dokumente. Few-Shot Learning dreht dieses Paradigma um: Liefern Sie nur 2-10 Beispiele, und das Modell passt sich an. Dies funktioniert, weil moderne große Modelle auf riesigen Daten vortrainiert sind—sie kennen bereits allgemeine Muster. Few-Shot-Beispiele lehren das Modell das spezifische Aufgabenformat und die Domäne.
Arten von Few-Shot Learning
- **In-Context Learning (ICL)**: Beispiele direkt im Prompt bereitstellen—kein Training, sofortige Anpassung
- **Meta-Learning (MAML)**: Modell trainieren, um schnell aus wenigen Beispielen zu lernen—'Lernen zu lernen'
- **Transfer Learning + Fine-Tuning**: Vortrainiertes Modell auf wenigen Beispielen feintunen (10-1000)
- **Prototypical Networks**: Embeddings lernen, wo ähnliche Beispiele clustern—Klassifizierung nach Distanz
- **N-way K-shot**: Standard-Benchmark-Format—N Klassen, K Beispiele pro Klasse (z.B. 5-way 5-shot)
Wie In-Context-Learning funktioniert
Wenn Sie Beispiele in einem Prompt an GPT-4 oder Claude liefern, aktualisiert das Modell seine Gewichte nicht—es lernt rein aus Attention über die Beispiele. Die Transformer-Architektur erlaubt dem Modell, Muster zu erkennen: 'Ah, dies ist eine Sentiment-Klassifikationsaufgabe, bei der positive Bewertungen als Positive gelabelt werden.' Diese emergente Fähigkeit erscheint nur in großen Modellen (>10B Parameter). Kleinere Modelle fehlt die Kapazität für robustes In-Context-Learning.
Business-Integration
Few-Shot Learning reduziert KI-Bereitstellungszeit und -kosten dramatisch. Eine Anwaltskanzlei muss spezifische Klauseln aus Verträgen extrahieren—traditionell erfordert dies das Annotieren von 5.000 Verträgen ($50.000+ Kosten, 3 Monate). Mit Few-Shot Learning: 5 Beispielextraktionen im Prompt bereitstellen, sofort bereitstellen ($100 API-Kosten, 1 Tag). Ein E-Commerce-Unternehmen möchte Produkte in neue Taxonomie kategorisieren—3 Beispiele pro Kategorie bereitstellen, 100.000 Produkte über Nacht klassifizieren. Die Schlüsselerkenntnis: Ihre Domain-Expertise ist mehr wert als massive gelabelte Datensätze.
Praxisbeispiel: Kundenintent-Klassifikation
Ein SaaS-Unternehmen erhält monatlich 10.000 Support-Tickets über 15 Intent-Kategorien (Abrechnung, Fehlerbericht, Feature-Request, etc.). Traditioneller Ansatz: 3.000 Tickets labeln ($6.000), benutzerdefinierten Klassifikator trainieren, bereitstellen. Few-Shot-Ansatz: 3 Beispiele pro Kategorie bereitstellen (45 Beispiele gesamt), GPT-4 API verwenden. Ergebnis: 94% Genauigkeit (vs 91% traditionell), $200/Monat API-Kosten (vs $6.000 einmalig + Wartung), in 2 Stunden bereitgestellt (vs 2 Wochen).
Implementierungsbeispiel
Technische Spezifikationen
- **Optimales K (Beispiele)**: 3-8 Beispiele pro Klasse für In-Context-Learning, abnehmende Renditen nach 10
- **Modellgrößen-Anforderung**: >10B Parameter für robustes Few-Shot (GPT-4, Claude, PaLM, Gemini)
- **Genauigkeit vs Traditionell**: 80-95% von traditionellem Supervised Learning mit 1000× weniger Daten
- **Context-Fenster**: Benötigt 4K+ Token für Beispiele—8K+ empfohlen für komplexe Aufgaben
- **Beispielauswahl**: Ähnlichste Beispiele (via Embeddings) übertreffen zufällige um 10-20%
- **Kosten**: €0,01-€0,10 pro Klassifikation (API-Kosten) vs €5.000-50.000 (traditionelles Training)
Best Practices
- Diverse Beispiele verwenden, die Grenzfälle und mehrdeutige Inputs abdecken
- Klassenverteilung in Beispielen ausgleichen (gleiche Beispiele pro Klasse)
- Beispiele in konsistentem Format bereitstellen (gleiche Struktur für alle)
- Mit 3 Beispielen beginnen, nur bei unzureichender Performance mehr hinzufügen
- Dynamische Beispielauswahl verwenden (ähnliche Beispiele abrufen) für große Beispielbanken
- Few-Shot mit Chain-of-Thought für komplexe Reasoning-Aufgaben kombinieren
- Auf Holdout-Set vor Bereitstellung testen—Few-Shot kann bei Out-of-Distribution-Inputs brüchig sein
Wann verwenden vs Fine-Tuning
- **Few-Shot verwenden, wenn**: <100 Beispiele, sofortige Bereitstellung nötig, Aufgabe ändert sich häufig
- **Fine-Tuning verwenden, wenn**: 1000+ Beispiele verfügbar, maximale Genauigkeit nötig, kostensensitiv (hohes Volumen)
- **Hybrid-Ansatz**: Few-Shot für Prototyping, Fine-Tuning sobald Aufgabe stabilisiert und Daten akkumuliert