#local ki chatbot

[tilos-tagebuch]

Cool! Ein KI Chatbot für den lokalen Gebrauch!

In der dortigen Readme-Sektion die Datei Llava-v1.5-7b-q4.llamafile (4,29GB) downloaden, im Terminal in das entsprechende Verzeichnis wechseln und das File mittels chmod +x llava-v1.5-7b-q4.llamafile ausführbar machen. Danach mit ./ llava-v1.5-7b-q4.llamafile starten, worauf sich der Standard-Browser öffnet. Einer gepflegten Unterhaltung, verständliche Fragen vorausgesetzt, steht nichts mehr im Wege. Der BOT antwortet auch auf Fragen in deutscher Sprache in Englisch.

Das Ganze läuft selbst auf meinem Raspi 4 absolut flüssig. Windows-User machen wieder ein langes Gesicht, weil Dateien größer 4GB und so… 😅

Ihr könnt natürlich auch die anderen Sprachmodule (bis 30GB!) ausprobieren. Der Chatbot verarbeitet auch Grafiken, aber dafür sollte der Rechner mit einer Grafikleistung im hohen Bereich ausgestattet sein.

Schluss mit chatten: Terminal/Control-C