Es gibt ja mittlerweile eine neue Datenauszeichnungssprache (TOON), die man für Kommunikation mit LLMs verwenden kann, weil die weniger Tokens als z. B: JSON benötigt.
Es gibt jetzt auch einen CLI-Tool-Proxy: RTK. Das ist quasi ein Wrapper um die gängisten CLI-Commands, der die Outputs dabei so kurz wie möglich hält.
Ich frage mich dabei, ob das wirklich etwas ist, das man mit so einem Tool lösen sollte, oder ob es nicht besser wäre, z. B. eine standardisierte Umgebungsvariable einzuführen, was Tooling dann erkennt und den Output entsprechend anpasst. Das würde natürlich ermöglichen, dass Tooling dann heimlich Prompt-Injections machen kann, aber dem Tooling muss man ja sowieso vertrauen.
Der Vorteil davon wäre, dass die outputs dieser Toolings so standard wird, dass es auch irgendwann Teil des Lernmaterials für LLMs würde und sie mit den Outputs noch besser umgehen könnten.
Aber anders herum gibt es auch noch die Frage, ob das ganze mit LLMs, Context-Windows und Token-Budgets nur ein lokales Minimum der KI-Entwicklung ist und ob wir da auch mal raus kommen. Dann könnte man sich das alles auch sparen.