Chain-of-Thought Prompting
Chain-of-Thought (CoT) Prompting ist eine einfache aber mächtige Technik: Statt nach einer direkten Antwort zu fragen, fordern Sie das Modell auf, sein Reasoning Schritt für Schritt zu erklären. Das Hinzufügen von 'Lass uns Schritt für Schritt nachdenken' zu Prompts kann die Genauigkeit bei komplexen Reasoning-Aufgaben um 50-80% verbessern. CoT funktioniert, weil es Modelle zwingt, Probleme aufzubrechen, Fehler in Zwischenschritten zu erkennen und Arbeitsspeicher effektiv zu nutzen. Die Technik ist besonders mächtig für Mathematik, Logik, Common-Sense-Reasoning und mehrstufige Workflows. Fortgeschrittene Varianten umfassen Zero-Shot CoT (keine Beispiele nötig), Few-Shot CoT (Reasoning-Beispiele bereitstellen) und Self-Consistency (mehrere Reasoning-Pfade samplen und abstimmen).
Überblick
Chain-of-Thought Prompting transformiert, wie wir mit großen Sprachmodellen für komplexe Aufgaben interagieren. Standard-Prompting versagt oft bei mehrstufigen Problemen—das Modell springt zu einer Antwort ohne Arbeit zu zeigen und macht dabei Fehler. CoT-Prompting fügt Zwischen-Reasoning-Schritte hinzu und verbessert die Genauigkeit dramatisch. Ein Modell mit 18% Genauigkeit bei Mathe-Textaufgaben kann mit CoT-Prompting 90%+ erreichen. Die Technik entstand aus Forschung, die zeigt, dass auf riesigen Textkorpora trainierte Modelle bereits Reasoning-Fähigkeiten haben—sie benötigen nur das richtige Prompt-Format, um darauf zuzugreifen.
Arten von Chain-of-Thought Prompting
- **Zero-Shot CoT**: Fügen Sie einfach 'Lass uns Schritt für Schritt nachdenken' oder 'Lass uns dies sorgfältig lösen' zum Prompt hinzu—keine Beispiele nötig
- **Few-Shot CoT**: Stellen Sie 2-8 Beispiele mit detaillierten Reasoning-Ketten im Prompt bereit
- **Self-Consistency CoT**: Generieren Sie mehrere Reasoning-Pfade (Temperatur > 0), nehmen Sie Mehrheitsentscheidung über finale Antwort
- **Least-to-Most Prompting**: Brechen Sie komplexe Probleme in einfachere Unterprobleme auf, lösen Sie sequenziell
- **Tree of Thoughts**: Erkunden Sie mehrere Reasoning-Zweige, gehen Sie zurück und beschneiden Sie schlechte Pfade
Warum es funktioniert
CoT funktioniert, weil Sprachmodelle Next-Token-Prädiktion verwenden. Bei direkter Antwort-Generierung muss das Modell das gesamte Reasoning in einen einzigen Forward-Pass komprimieren. Mit CoT bieten Zwischen-Reasoning-Token 'Arbeitsspeicher'—das Modell kann auf sein eigenes Reasoning in nachfolgenden Token verweisen. Dies ist analog dazu, wie Menschen komplexe Probleme lösen: Wir berechnen 347 × 28 nicht sofort, wir teilen es in Schritte auf und verwenden Zwischenergebnisse.
Business-Integration
CoT-Prompting verbessert sofort die Genauigkeit bei geschäftskritischen Reasoning-Aufgaben ohne zusätzliches Training. Finanzanalysten, die KI für Due Diligence verwenden, können Modelle auffordern, Reasoning-Ketten bei der Bewertung von Investitionsmöglichkeiten zu zeigen—logische Fehler werden erkannt, bevor sie Entscheidungen beeinflussen. Kundensupport-Bots mit CoT liefern transparente Erklärungen für Richtlinien-Entscheidungen und schaffen Vertrauen. Rechtsdokument-Prüfsysteme mit CoT können erklären, warum eine Klausel problematisch ist und machen KI-Assistenten wirklich hilfreich statt zu Black Boxes.
Praxisbeispiel: Finanzanalyse
Eine Private-Equity-Firma analysiert Übernahmeziele mit KI. Standard-Prompting: 'Ist dieses Unternehmen eine gute Investition?' produziert vage Antworten. Mit CoT-Prompting: 'Analysiere die finanzielle Gesundheit dieses Unternehmens Schritt für Schritt: 1) Umsatztrends, 2) Gewinnmargen, 3) Verschuldungsgrad, 4) Marktposition, 5) Risikofaktoren, dann Endempfehlung geben.' Das Modell erkennt nun rote Flaggen (z.B. sinkende Margen, die durch Umsatzwachstum maskiert werden) und liefert auditierbare Reasoning. Investitionsqualität verbessert sich um 23%.
Implementierungsbeispiel
Technische Spezifikationen
- **Genauigkeitsverbesserung**: 20-80% bei Reasoning-Aufgaben je nach Komplexität
- **Token-Kosten**: Erhöht Input/Output-Token um 2-5× durch Reasoning-Ketten
- **Latenz-Auswirkung**: Erhöht Antwortzeit um 2-4× durch längere Outputs
- **Modellanforderungen**: Funktioniert am besten mit Modellen >10B Parameter (GPT-4, Claude, PaLM, Gemini)
- **Optimale Temperatur**: 0.0-0.3 für Einzelpfad-CoT, 0.7-1.0 für Self-Consistency
- **Benötigte Beispiele (Few-Shot)**: 2-8 Beispiele mit Reasoning-Ketten, abnehmende Renditen nach 8
Best Practices
- Beginnen Sie mit Zero-Shot CoT ('Lass uns Schritt für Schritt nachdenken')—einfachst und oft ausreichend
- Verwenden Sie Few-Shot CoT, wenn Zero-Shot versagt—3-5 diverse Reasoning-Beispiele bereitstellen
- Wenden Sie Self-Consistency für risikoreiche Entscheidungen an—Genauigkeitsverbesserung lohnt die Kosten
- Kombinieren Sie mit Output-Format-Beschränkungen (JSON, nummerierte Schritte) für strukturiertes Reasoning
- Überwachen Sie Reasoning-Qualität—wenn Modell früh falschen Pfad nimmt, wird finale Antwort falsch sein
- Verwenden Sie CoT für komplexe Probleme (mehrstufige Mathematik, Logik, Planung)—übertrieben für einfache Lookups
Wann CoT NICHT verwenden
- Einfache faktische Lookups ('Was ist die Hauptstadt von Frankreich?')—direkte Antwort ist schneller und günstiger
- Kreatives Schreiben—Reasoning-Ketten beschränken Kreativität
- Sehr kleine Modelle (<1B Parameter)—fehlt Reasoning-Fähigkeit unabhängig vom Prompting
- Latenz-kritische Anwendungen—CoT erhöht Antwortzeit erheblich