Mit der JAAI SANDBOX betreibst Du deine eigenen LLMs sicher in Deinem Büro.
Die integrierte Nvidia-Grafikkarte ist für den Einsatz von KI optimiert und ermöglicht den Betrieb neuester LLMs in hoher Geschwindigkeit. Dank der großzügigen 48 GB Grafikspeicher können auch mehrere KIs parallel laufen. So lässt sich zum Beispiel ein Llama-3-LLM mit 70 Milliarden Parametern quantisiert parallel mit einer Spracherkennungs- und einer Sprachsynthese-KI nahezu latenzfrei nutzen.
Im Gegensatz zu vielen Cloud-Anbietern können deine Daten auf der SANDBOX nicht zum Training zukünftiger KI-Generationen genutzt werden. Die SANDBOX kann 100% offline verwendet werden. Damit bleiben deine Daten immer sicher und vertraulich – auf deinem Rechner, in deinem Büro.
Schlankes, modernes Design – zum Aufstellen im eigenen Büro oder Arbeitszimmer. Als Schmuckstück auf dem Schreibtisch oder darunter. Das Gerät ist genauso leise wie platzsparend.
Die vorinstallierte Software erlaubt es, moderne LLMs sofort 100% lokal via Chat oder Sprache auszuprobieren.
*Beispielhafte Darstellung, Ergebnisse können abweichen
Die SANDBOX ist für Alle, die moderne KIs nutzen wollen, aber ihre Daten nicht in die Cloud schicken wollen oder dürfen.
Die SANDBOX ist für Unternehmen, die kein eigenes großes Rechenzentrum betreiben, aber KI sicher einsetzen wollen.
Die SANDBOX ist für Open-Source-Enthusiasten und –Entwickler, die eigene KI-Anwendungen trainieren wollen.
ChatGPT läuft in einer amerikanischen Cloud. Standardmäßig werden alle Anfragen und Antworten dauerhaft gespeichert und zum Training zukünftiger Modelle verwendet.
Es gibt zwar von Microsoft und ähnlichen Anbietern auch Optionen ChatGPT DSGVO-konform zu nutzen, allerdings sind die Zusagen dieser Anbieter für viele Personen und Unternehmen nicht ausreichend.
Zudem können Abhängigkeiten von externen APIs, insbesondere wenn diese von StartUps mit unklaren Zukunftsaussichten betrieben werden, schnell zu einem unternehmensgefährdenden Risiko werden.
Ja, in der SANDBOX befindet sich eine NVIDIA GPU der aktuellen Generation (Ada Lovelace), die alle gängigen KI-Technologien unterstützt. Mit 48 GB verfügt diese über vergleichsweise viel GPU-Speicher, sodass die meisten KI-Modelle quantisiert in hoher Geschwindigkeit ausgeführt werden können.
Dennoch gibt es sehr große Sprach-Modelle, die auf den Betrieb in KI-Rechenzentren ausgelegt sind und daher mehr Speicher benötigen.
Beim Training (oder Finetuning) von KI-Modellen werden die Neuronen angepasst, um sie auf bestimmte Aufgaben zu spezialisieren. Dazu wird in der Regel eine größere Menge an Beispieldaten (ab ~ 2.000) benötigt.
Die integrierte GPU ist für das Training von KI-Modellen optimiert und wird dafür auch viel eingesetzt. Zu beachten ist, dass zum Training von KI-Modellen mehr GPU-Speicher, als zur Inferenz nötig ist. Daher können auf der SANDBOX nicht alle Modelle trainiert werden.
Ein effizientes Finetuning mit QLoRa eines LLama-3 8B ist zum Beispiel gut möglich.
Die SANDBOX kommt ohne Zubehör, aber mit Standard-Anschlüssen. Zur Nutzung benötigst du noch einen Monitor, Maus und Tastatur. Für das Testen von Sprachfähigkeiten ist zudem ein Mikrofon und Lautsprecher nötig.
Ein Netzteil wird mitgeliefert.
Die Daten sind auf deiner SANDBOX genauso sicher, wie auf einem normalen PC. Die Daten werden auf der Festplatte verschlüsselt, sodass sie auch nicht bei einem Diebstahl des Gerätes ausgelesen werden können, sofern das Passwort nicht bekannt ist.
Die größte Gefahr besteht meist durch das Installieren von Drittanbieter-Programmen aus dem Internet. Installiere daher nur vertrauenswürdige Software, verwende sichere Passwörter und gebe diese nicht weiter.
Der benötigte GPU-Speicher eines LLMs hängt maßgeblich von der Anzahl an Parametern (Künstlichen Neuronen) ab, und der Anzahl an Bits, die für ein Neuron genutzt werden.
In der Regel reichen pro Neuron 4bit aus, ohne, dass es zu stärkeren Qualitätseinbußungen kommt. Mit 4bit lassen sich Modelle bis zu ca. 70 Milliarden Parametern nutzen. Größere Modelle werden automatisch teilweise auf die CPU ausgelagert und verhalten sich dadurch deutlich langsamer.
Beispiele für LLMs, die auf der SANDBOX mit hoher Geschwindigkeit laufen sind:
Zum Hosting der Modelle läuft auf der SANDBOX die Open-Source-Software Ollama. Eine vollständige Liste der von Ollama unterstützen Modelle befindet sich hier.
Um neue KI-Modelle auf die SANDBOX zu laden wird eine Internetverbindung benötigt. Die SANDBOX verfügt dazu über WLAN und einen LAN-Anschluss.
In der vorinstallierten Software können einfach neue Modelle angelegt werden. Dazu muss der Ollama-Modell-Name des KI-Modells eingegeben werden. Anschließend wird das Modell automatisch heruntergeladen.
Der aktuelle Preis beträgt € 9.959,00 inkl. MWSt.
Hinweis: Solltest du für NVIDIA EDU-Rebate für Universitäten oder NVIDIA Inception Rebate für Start-ups qualifiziert sein, sprich uns gerne für einen rabattierten Preis an.
Selbstverständlich helfen wir dir bei allen Fragen rund um die SANDBOX.
Melde dich gern per Mail bei uns: info@justadd.ai
GPU: NVIDIA RTX 6000 Ada, 48GB GDDR6
CPU: AMD Ryzen 9 7900X3D, 12C/24T, 4.40-5.60GHz
RAM: 64GB DDR5-6000MHz ECC
Speicher: 2TB Samsung SSD 980 PRO SSD & 4TB Lexar NM790 NVMe-SSD
Netzwerk: Wi-Fi 6E (WLAN 802.11a/b/g/n/ac/ax), Bluetooth 5.2
Mainboard: Mini ITX, AMD AM5
Netzteil: 650 Watt
Garantie: 3 Jahre
*Wir behalten uns je nach Verfügbarkeit vor, gleichwertige Alternativen einzusetzen.
