Du kannst dir 121WATT-Inhalte in der Google-Suche jetzt bevorzugt anzeigen lassen.
Unter Prompt-Engineering verstehen viele die Formulierung guter und relevanter Prompts. Oft übersieht man aber, das es neben der Verwendung von Rollen, Instruktionen oder Methoden, wie Few-Shot-Prompting oder Chain-of-Thought Prompting, starke Werkzeuge gibt, wie die Verwendung von Parametern. Das sind im einzelnen:
Diese Parameter kannst du aber nur sehen, wenn du in den OpenAI Playground gehst, ein Projekt bei Google (Vertex) anlegst oder z.B. den Aleph Alpha Playground verwendest. Wir schauen uns mal die Parameter im Einzelnen an. Der Einfachheit halber werde ich mich jetzt auf den OpenAI Playground fokussieren, meine aber auch andere LLMs damit.
Es gibt im Playground von OpenAI, aber auch in den anderen LLM-Tools, wichtige Parameter, die dir helfen die richtigen Einstellungen für deine Chats zu wählen.
Wichtige ChatGPT-Parameter
Hier sind einige gängige Parameter, die du im Playground, aber auch über die OpenAI-API ansprechen kannst:
Ich möchte mich hier auf die wesentlichen Parameter beschränken und dir im Detail zeigen, was Temperature und Top-P mit deinen Chats bewirken. Hilfreiche Tools & Ressourcen sind:
Token kann man sich als Teile von Wörtern vorstellen. So wie wir Menschen Silben verwenden, werden hier Wörter in einzelne Bestandteile (Tokens) zerlegt. Konkret bedeutet, das wenn ein Tool wie ChatGPT deinen Input verarbeitet, wird die Eingabe in einzelne Token zerlegt. Um sich das besser vorzustellen zu können gehe doch mal in den Tokenizer von OpenAI und gib z.B. einen Text von deiner Seite ein. Ich habe ein Zitat von Stephen Hawking genutzt „I have noticed that even people who claim everything is predetermined and that we can do nothing to change it, look before they cross the road“ und das in Deutsch und Englisch. Man sieht hier sehr gut : 
Das Zitat hat im Deutschen
Das Zitat hat im Englischen
Man sieht mit diesem einfachen Beispiel, das es hier je nach Sprache durchaus Unterschiede gibt.
Das ist jetzt nur einmal ganz grob, aber man sieht Unterschiede. Warum ist das wichtig?
Die Anzahl der maximalen Tokens als Parameter in LLMs legt die maximale Länge der Ausgabe des Modells fest. Gleichzeitig sind die Tokens auch wichtig in Bezug auf das Context-Window der jeweiligen Modelle. Mehr dazu bei TechTarget oder bei Medium (sehr ausführlich).
Maximize: Für längere und ausführlichere Antworten.
Reduce: Verringere die maximale Länge für kurze und prägnante Antworten.
Use-Cases: Längere Antworten für z.B. Storytelling oder holistische Inhalte in der SEO, weniger Tokens für schnelle Antworten oder auch zum Testen, da mindestens im OpenAI Playground und über die API viele LLMs auf Basis von verbrauchten Tokens abrechnen. Siehe hier mal im folgenden Bild:
Definition Temperature bei LLMs: Mit der Temperature kannst du im OpenAI Playground den Grad der Zufälligkeit des nächsten Tokens bestimmen. Wenn wir vereinfacht jetzt von der Zufälligkeit des nächsten Wortes reden, können wir mit einer niedrigen Temperatur steuern wie vorbestimmt oder kreativ das Sprachmodell (z.B. GPT-4) agieren soll. Die Einstellungen der Temperatur reichen von O bis 2 bei OpenAI und bei Google und Aleph Alpha von 0 – 1.
Die Temperature kann nicht in ChatGPT verwendet werden, aber du kannst die Logik hinter den Parameter-Einstellungen über deinen Prompt definieren.
Beispiele für die Sprachwahl, wenn du eine „geringe Temperature“ brauchst:
Beispiele für die Sprachwahl , wenn du eine „hohe Temperature“ brauchst:
Definition: Der Top-P-Wert (Nukleus-Sampling) bestimmt, wie das LLM die Vielfalt seiner Antworten steuert. Beim Top-P-Sampling werden nicht alle folgenden Wörter (Token) berücksichtigt, sondern das nächste Wort (Token) wird aus einer kleineren Menge von Wörtern ausgewählt, die zusammen eine kumulative Wahrscheinlichkeit über dem Top-P-Wert haben. Der Top-P Wert ist zwischen 0-1 darstellbar. Dabei bedeutet 0 -> 0% und 1 -> 100%
Top-P = 0,5: Dies bedeutet, dass nur die Wörter in Betracht gezogen werden, die zusammen mindestens 50% der gesamten Wahrscheinlichkeit darstellen, während weniger wahrscheinliche Optionen verworfen werden. Dadurch bleibt eine angemessene Bandbreite an möglichen Antworten erhalten. Ich zeige dir ein Beispiel, um das besser darzustellen:
Beispiel: Angenommen, wir haben eine Situation, in der ein Sprachmodell, die nächste Sehenswürdigkeit in Paris vorschlagen soll, die man als Tourist besuchen könnte. Du hast eine Liste möglicher Sehenswürdigkeiten (A, B, C, D) mit zugehörigen Wahrscheinlichkeiten, basierend darauf, wie relevant oder populär sie sind:
Wir setzen den Top-P im OpenAI Playground auf 0,9 (90%). Dies bedeutet, dass wir eine kumulative Wahrscheinlichkeit von bis zu 90% der möglichen nächsten Sehenswürdigkeiten in Paris festlegen. Die Berechnung kann dann wie folgt aussehen: Die Wahrscheinlichkeiten werden solange addiert bis wir den Top-P-Wert erreicht oder überschritten haben.
Beim dritten Schritt erreichst du jetzt den Top-P Wert von 0,9 also 90% mit den Wörtern A, B und C.
Auswahl basierend auf Top-P: Aufgrund der Top-P-Einstellung von 0,9 werden Eiffelturm, Louvre und Notre-Dame als mögliche nächste Wörter (Sehenswürdigkeiten) in Betracht gezogen. Der Montmartre würde ignoriert, da das Hinzufügen dieser Option die kumulative Wahrscheinlichkeit über 90% treiben würde. Im Ergebnis bedeutet das: Das Modell würde zufällig eine der Sehenswürdigkeiten Eiffelturm, Louvre oder Notre-Dame vorschlagen, aber den Montmartre auslassen. Diese Einstellung würde eine vielfältigere Auswahl von Wörtern, aber innerhalb gesetzter (sinnvoller) Grenzen festlegen. Hier siehst du eine Visualisierung der verschiedenen Top-P Einstellungen:
Was passiert eigentlich, wenn man die Parameter miteinander kombiniert? Noch einmal kurz zur Wiederholung:
Zum besseren Verständnis zeige ich dir jetzt noch einmal das Beispiel mit den Sehenswürdigkeiten in Paris und mit den ursprünglichen Wahrscheinlichkeiten von
Wir verwenden jetzt verschiedene Werte für die Einstellung Temperature. In der folgenden Tabelle siehst du, wie sich die verschiedenen Wahrscheinlichkeiten durch die Anwendung von Temperature verändern. Die Berechnungen habe ich mit ChatGPT gemacht.
Was heißt das jetzt?: Durch die Temperature glättet sich die Wahrscheinlichkeitsverteilung und wie man hier bei einer Temperature von 2 sieht, steigt die Sehenswürdigkeit Montmatre von 0% auf 16,27%.
Hintergrund: Was passiert jetzt mit der Veränderung der Temperature in verschiedenen Szenarien? Zur Berechnung wird hier die Softmax-Funktion verwendet und über die Temperature das „Chaos“ gesteuert. Wer daran Interesse hat, kann bei Kasim Te oder Wikipedia mehr nachlesen.
Niedrige Temperatur (0,5) mit hohem Top-P: Hier erhältst du Texte, die sowohl logisch als auch reich an Vielfalt sind. Diese Kombination passt gut für Inhalte, bei denen es auf Genauigkeit und Verständlichkeit ankommt, aber dennoch eine gewisse Originalität und ein breites Spektrum an Ausdrücken aufweisen. Diese Einstellung stellt eine Balance zwischen Präzision und Kreativität dar. Gute Einsatzmöglichkeiten sind hier zum Beispiel bei Bildungsmaterialien, Fachartikeln oder sogar in anspruchsvollen Geschäftsdokumenten. Ich habe jetzt mal verschiedenen Einstellungen in einer Matrix simuliert, damit du besser verstehst, wie du Temperature und Top-P in ChatGPT über Worte verwenden könntest.
| Temperatur
/ Top-P |
Top-P 0.3 | Top-P 0.7 | Top-P 1.0 |
|---|---|---|---|
| Temperatur 0.5 | Schreibe einen kurzen und prägnanten Überblick über ein neues Smartphone, fokussiere auf die meist gefragten Features. | Beschreibe ein neues Smartphone mit seinen Schlüsselfunktionen und hebe ein paar weniger bekannte, aber interessante Features hervor. | Erstelle einen umfassenden Guide zum neuen Smartphone, der alle Features und mögliche Nutzungsszenarien abdeckt. |
| Temperatur 1.0 | Schreibe eine kreative Einführung für ein neues Smartphone, konzentriere dich dabei auf die innovativsten Features. | Entwickle eine lebhafte und vielseitige Präsentation eines neuen Smartphones, die sowohl die Hauptfunktionen als auch versteckte Perlen beinhaltet. | Erzähle eine fesselnde Geschichte über das Leben, das mit dem neuen Smartphone möglich wird, einschließlich aller denkbaren Features und Anwendungen. |
| Temperatur 1.3 | Denk ganz frei und wage einen futuristischen Blick auf ein neues Smartphone, fokussiere dich auf ein oder zwei ungewöhnliche Features, die es von allem bisher Dagewesenen abheben. | Entwerfe einen visionären und breit gefächerten Text über ein neues Smartphone, der unkonventionelle Features und Nutzungsideen umfasst. | Erschaffe eine fantasievolle und grenzüberschreitende Geschichte, die zeigt, wie ein neues Smartphone die Welt verändern könnte, ohne Einschränkungen bei den Features oder dem Einsatzbereich. |
Du hast Interesse an Mathematik? Dann interessiert dich das folgende Bild mit den verschiedenen Möglichkeiten von Temperature und Top-P kombiniert. Du siehst hier relativ schnell, dass einige Kombinationen keinen großen Sinn machen. Deswegen habe ich in der oberen Tabelle nur Kombinationen gewählt, die auch im Prompting Sinn machen können.
Definition: Die Presence Penalty ist ein weiterer Parameter im OpenAI Playground und beeinflusst, wie neue Ideen oder Konzepte in dem Output eingeführt werden. Ein hoher Wert beeinflußt, ob bereits angesprochene Themen weniger wahrscheinlich eingeführt werden. Ziel der Presence Penalty:
Nur kurz noch einmal als Wiederholung:
Presence Penalty führt zu Reduzierung von Wiederholungen: Durch das Einstellen einer Presence Penalty verringerst du die Wahrscheinlichkeit von Wörtern oder Phrasen, die bereits in deinem Text vorkamen. Dies hilft dir, Wiederholungen zu minimieren und die Einzigartigkeit deines Inhalts zu steigern. Je höher du die Penalty setzt, desto mehr neigt das Modell dazu, neue und unterschiedliche Konzepte oder Vokabular einzuführen.
Top-P – Steuerung der Wahrscheinlichkeitsverteilung: Wenn du Top-P anwendest, begrenzt du die Auswahlmöglichkeiten für das nächste Wort oder die nächste Phrase auf einen bestimmten Prozentsatz der höchsten Wahrscheinlichkeiten. Das bedeutet, du schließt weniger wahrscheinliche und potenziell unzusammenhängende Optionen aus, wodurch die Kohärenz und Relevanz in deinem generierten Text gefördert wird. Gleichzeitig lässt du eine gewisse Variabilität und Kreativität zu. Im Ergebnis führt das dann zu
Die „Temperature“, „Top-P“ und „Presence Penalty“ sind wichtige Parameter, die du in OpenAI Modelle wie GPT-4 verwenden kannst um die „Wahrscheinlichkeiten“ der Ausgabe zu steuern. Auch wenn du die Parameter nur im Playground der einzelnen Anbieter verwenden kannst und nicht in ChatGPT, kann die Logik dahinter dir helfen deine Prompts deutlich besser zu machen. Weitere interessante Informationen zu besseren Prompts findest du hier zu Prompt-Patterns in ChatGPT & Co.
Dein Feedback hilft uns, unsere Inhalte noch besser zu machen.
089 416126990
