Ich habe mein PKM System um eine KI-Zwiebelschale erweitert

Hallo liebe PKM-EnthusiastInnen, eine kurze News!

Es ist gelungen! Ich habe es geschafft, um mein (lokales!) PKM-System eine (lokale!) KI-Anweisungsschicht auf der Basis der Ideen von Nick Milo zu konstruieren und diese dann mit dem CoWork-Modus von Claude Desktop (leider ist für den CoWork-Modus die Bezahlversion nötig) zu umhüllen.

Im Ergebnis spreche ich nun also mit meinem Vault. Ich spreche aber immer noch nit der Tastatur, aus Gewohnheit. Vielleicht ändert sich das bald.
Und ich lasse Aktionen laufen: Sei es, dass ich etwas putze und aufräume, sei es, dass ich Gedanken (in ein Log) schreiben lasse, sei es, dass ich neue Efforts (so heißen im Nick-Milow'schen System jene Sachen, für die man sich selbst Anstrengen muss) erstelle, oder sei es, dass ich gar neue Skills generiere und anschließend laufen lasse.

Ich bin erst mal zufrieden, aber nicht rundum glücklich.
Die nächste Iteration wird sein müssen, das Ganze auch ohne eine von einem Anbieter abhängige äußere Zwiebelschale zum Fliegen zu bekommen. Das klingt zwar trivial, ist es aber für definitiv nicht, denn das Modell spielt offenbar schon eine Rolle in diesem Spiel, und ergo gilt es ein lokal lauffähigen Modell zu finden, welches jenem in der bezahlten Zwiebelschale irgendwie ebenbürtig ist.

Wie vergleicht man also nachhaltig KI-Modelle in Zeiten einer KI-Modellschwemme ohne jedes einzelne in seinem Bündel an UseCases selbst ausprobieren zu müssen? Das ist meiner Meinung nach die zentrale Frage.