Prompting aufgeschlüsselt: Vieles ist unsichtbar • Stefan Golling Konzepte

Für den Otto-Normal-User ist “Prompting” bei KI-Systemen wie ChatGPT, Claude, Gemini, Copilot etc. eine einfache Geschichte: Man versucht, der KI sinnvolle Outputs zu entlocken.

Jedoch ist dein Prompt nur ein kleiner Teil des Gesamt-Prompts. Diese interaktive Grafik zeigt dir den gesamten Ablauf:

Inhalt

Der LLM Prompting Funnel im Detail
Mixture of Experts (MoE)
Temperature: Die Kreativitätssteuerung
Fazit
Interesse an einem Austausch?

LLM Prompting Funnel mit Mixture of Experts

Prompting des LLM-Anbieters

Dies ist die grundlegende Ebene, auf der der LLM-Anbieter das Modell trainiert und konfiguriert.

Modellauswahl

Hier wird das spezifische LLM-Modell ausgewählt, das für die Aufgabe am besten geeignet ist.

Mixture of Experts (MoE)

MoE ist eine Architektur, bei der verschiedene “Experten” (spezialisierte Teilmodelle) für unterschiedliche Aufgaben zuständig sind.

Expert 1

Expert 2

Expert 3

Parameter (z.B. Temperature)

Einstellung von Parametern wie Temperature, die das Verhalten des Modells beeinflussen.

Systemprompt

Definition des Kontexts und der Rolle des AI-Assistenten für die Konversation.

User-Prompt

Die eigentliche Anfrage oder Aufgabe, die der Benutzer an das LLM stellt.

LLM-Ausgabe

Die generierte Antwort des LLM basierend auf allen vorherigen Stufen und der Kombination der Expertenausgaben.

(Diese Darstellung habe ich mir mit Claude erstellen lassen, als No-Code-HTML-Lösung. Das "Männchen" im Artikelbild habe ich mit der API von Claude als SVG "programmieren" lassen, und Bria hat den Hintergrund ergänzt).

Der LLM Prompting Funnel im Detail

Prompting des LLM-Anbieters: Dies ist die Grundlage. Hier definiert der LLM-Anbieter die Leitplanken: Dürfen die Outputs urheberrechtlich geschützte Inhalte enthalten, oder personenbezogene Daten wie Namen und Adressen - ja oder nein? Werden Quellen genannt bzw. Fußnoten genannt? Das handhabt jeder Anbieter anders.
Modellauswahl: Je nach Aufgabe wird ein passendes LLM-Modell ausgewählt, entweder vom LLM-Anbieter oder von dir. Du kennst es von ChatGPT: Im "Free"-Tarif kannst du nicht alle LLMs von Open AI auswählen, da die "besseren" Sprachmodelle der zahlenden Kundschaft vorbehalten sind.
Einige Modelle sind besser für kreative Aufgaben, andere für analytische. So gibt es bei Mistral das LLM "Large" für die üblichen KI-Sachen, während "Codestral" aufs Coding spezialisiert ist.
Oft ist auch die Geschwindigkeit anders: Bei Claude von Anthropic ist "Haiku" besonders schnell (dafür weniger eloquent), und "Opus" ist ziemlich langsam. Die langsamen LLMs - wie o1 von Open AI - sind oft deshalb so "denkerisch", weil zusätzliche Denkschritte eingebaut sind, wie das Konzept "Chain of Thought" oder "Self Refine." Mehr dazu im Artikel Prompt Engineering.
Mixture of Experts (MoE): Ein faszinierendes Konzept in modernen LLM-Architekturen: Dein Prompt oder Input wird zuerst vom "Vorarbeiter" innerhalb der KI analysiert, um ihn dann an eine der vorhandenen "Fachabteilung" oder an ein "Projektteam" weiterzuleiten. Dazu gleich mehr.
Parameter-Einstellung: Hier kommen Einstellungen wie "Temperature" ins Spiel. Diese Einstellmöglichkeit siehst du nicht immer.
Systemprompt: Definiert den Kontext und die Rolle des AI-Assistenten. Das ist vor allem interessant, wenn du KI-Apps, Chatbots oder GPTs fürs Team baust: Im Systemprompt kannst du das Verhalten des Chatbots o.ä. vorbestimmen. Klassischerweise beginnt ein Systemprompt mit "You act as...".
User-Prompt: Die eigentliche Anfrage oder Aufgabe des Benutzers. Kommt ganz schön spät! Die Einflussmöglichkeiten des Users auf die KI bzw. die Ergebnisse sind also gering.
LLM-Ausgabe: Die generierte Antwort, basierend auf allen vorherigen Stufen.

Mixture of Experts (MoE)

MoE ist eine innovative Architektur in der Welt der LLMs. Stelle dir MoE als ein Team von Spezialisten vor, die zusammenarbeiten, um eine Aufgabe zu lösen.

Wie es funktioniert: Anstatt ein einziges, monolithisches Modell zu verwenden, besteht MoE aus mehreren "Experten" - kleineren, spezialisierten Teilmodellen. Diese werden in einem großen LLM zusammengefasst. Für den User ist das super, da er das LLM wie eine "KI-Agentur" nutzen kann und sich nicht überlegen muss, wem man jetzt welche Aufgabe gibt.

Vorteile:

Effizienz: Nicht alle Experten werden für jede Aufgabe aktiviert. Das spart Rechenpower und damit Geld.
Spezialisierung: Jeder Experte kann sich auf bestimmte Aspekte konzentrieren. Ein Experte ist dann bspw. fürs Coding zuständig und soll sich auf keinen Fall gereimten Code zusammenfantasieren. Der Datenanalyse-Experte hingegen soll vor allem Daten-Inputs analysieren und dann exakte Berechnungen anstellen.
Skalierbarkeit: Es ist einfacher, neue Experten hinzuzufügen, als ein gesamtes Modell neu zu trainieren.

Temperature: Die Kreativitätssteuerung

"Temperature" ist ein faszinierender Parameter in der Welt der LLMs. Er beeinflusst, wie "kreativ" oder "fokussiert" die Ausgabe des Modells ist.

Niedrige Temperature (nahe 0):
- Führt zu deterministischeren, vorhersehbareren Antworten.
- Gut für faktische Aufgaben, Zusammenfassungen oder wenn Präzision wichtig ist.
Hohe Temperature (nahe 1 oder höher):
- Erzeugt vielfältigere, kreativere Antworten.
- Nützlich für Brainstorming, kreatives Schreiben oder wenn Originalität gewünscht ist.
Analogie: Stelle dir Temperature als den "Mut" des Modells vor, neue Wortverbindungen auszuprobieren. Bei niedriger Temperature bleibt es bei sicheren, bekannten Pfaden - also gängigen Aneinanderreihungen von Token (= Worten). Bei hoher Temperature wagt es sich auf unbekanntes Terrain, was teils als wirres Zeuch endet. Der LLM-Anbieter gibt auch hier Leitplanken vor: Die "0" kann stocksteif sein oder schon leicht kreativ, und 1 kann irre sein oder immer noch im Rahmen.

Fazit

Der LLM Prompting Funnel ist ein komplexer Prozess, bei dem jede Stufe die endgültige Ausgabe beeinflusst. Von der grundlegenden Architektur wie MoE bis hin zu feinen Einstellungen wie Temperature - jedes Element spielt eine wichtige Rolle dabei, wie ein LLM denkt und antwortet. Indem wir diese Prozesse verstehen, können wir besser mit KI-Systemen interagieren und ihre Fähigkeiten optimal nutzen.

Für den Profi stellt sich die Frage: Wie viele Freiheiten lässt mir der LLM-Anbieter, und wie viele Freiheiten gebe ich dem User? Hier lohnt es sich, die LLMs gut zu vergleichen. Was ich z.B. an Claude von Anthropic mag, ist die relative "Idiotensicherheit", da die Outputs wenig bis kein urheberrechtlich geschütztes Material enthalten. Ganz perfekt ist aber kein System.

Über den Autor

Stefan Golling, Köln. Seit 2011 Freelance Creative Director, freier Texter, Creative Consultant und Online-Marketing-Berater mit Kunden von Mittelstand bis S&P 500. Erfahrung: 1998 mit Radiowerbung in Stuttgart gestartet, 2000 als Junior-Werbetexter zu Publicis München, 2001 Counterpart Köln, 2002 als Copywriter zu Red Cell Düsseldorf (heißt heute Scholz & Friends), dort ab 2007 Creative Director.

Interesse an einem Austausch?

Gern KI-Beratung, KI-Workshop, KI-Schulungen oder Marketing-Support anfragen.

Artikel zu ähnlichen Themen

Gern 5 Sterne vergeben