Große Sprachmodelle wie OpenAIs GPT-4 sind Depots für Millionen von Vektorprogrammen, die als Nebenprodukt der Sprachkompression gelernt wurden, sagt der KI-Forscher François Chollet. Beim Prompt-Engineering geht es dann um die Suche nach dem richtigen "Programmschlüssel" und den "Programmargumenten", um eine bestimmte Aufgabe genauer zu erfüllen. Chollet geht davon aus, dass Prompt-Engineering bei der Weiterentwicklung von LLMs weiterhin von entscheidender Bedeutung sein wird, aber für eine nahtlose Benutzererfahrung automatisiert werden kann. Dies steht im Einklang mit den jüngsten Ideen aus KI-Laboren wie Deepmind, die sich mit der automatisierten Erstellung von Prompts beschäftigen.
My interpretation of prompt engineering is this:
1. A LLM is a repository of many (millions) of vector programs mined from human-generated data, learned implicitly as a by-product of language compression. A "vector program" is just a very non-linear function that maps part of…
— François Chollet (@fchollet) October 3, 2023