Börzel IT
Das #Tool für diesen #WerkzeugKastenMittwoch ist ein echter AI Geheimtipp für alle, die Wert auf Privatsphäre und Sicherheit legen.
Vorstellen möchte ich euch #LlamaGPT - ein selbst gehosteter, offline ChatGPT-ähnlicher Chatbot, angetrieben von Llama 2.
LlamaGPT bietet eine ähnliche Funktionalität wie ChatGPT, jedoch mit dem Vorteil, dass es komplett offline und selbst gehostet ist. Das bedeutet, dass alle Daten und Interaktionen auf Ihrem eigenen Gerät bleiben und nicht an externe Server gesendet werden.
Die Installation ist ziemlich einfach, ob auf einem M1/M2 Mac, RaspberryPi oder überall sonst mit Docker. Und für die Skript Kiddies ;) unter uns: Es gibt eine OpenAI-kompatible API!
Je nach verfügbaren Ressourcen entsprechend schnell oder langsam.
Mit dem kleinsten Modell "Nous Hermes Llama 2 7B (GGML q4_0)" z.B.
M1 Max MacBook Pro (64GB RAM) ~54 tokens/sec
Raspberry Pi 4 (8GB RAM) ~0.9 tokens/sec
Wie erwähnt ist die Installation wirklich sehr einfach. Man muss lediglich das Git Repository klonen und das passende Docker Compose Skript starten. In meinem Beispiel auf meinem Homeserver, Debian VM, 8 Cores (Intel(R) Xeon(R) CPU E5620 @ 2.40GHz) , 80GB RAM mit dem größten Model.
git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
#startet mit dem größten Model
docker compose -f docker-compose-70b.yml up
Nach dem die Docker Images geladen sind dauert es eine ganze Weile bis das Modell heruntergeladen und initiiert ist, in meiem Fall ca. 30 Minuten!
Danach steht einem unter dem Port 3000 folgendes Webinterface zur Verfügung.
Für den Start ein einfacher Prompt der den Server doch ganz schön ins schwitzen bringt.
Ich musste ca. zwei Minuten auf die Antwort warten.
Auf aktueller Hardware z.B. M2 Macs läuft dies wesentlich schneller. Leider habe ich keinen zum Testen parat. Wenn man entsprechend aktuelle und leistungsstarke Hardware besitzt, stellt Llama-GPT auf jeden Fall eine Privacy-Alternative zu ChatGPT dar.
Hier geht es zum GitHub Repository: LlamaGPT
