AI & Machine Learning 1-Klick-App

LiteLLM mit einem Klick deployen

OpenAI-compatible LLM gateway with virtual keys, budgets, and spend tracking, backed by PostgreSQL. LiteLLM läuft in deinem Nodion-Projekt in der Region Frankfurt, auf Wunsch auch in den USA oder in Singapur. Die Server betreibt Nodion, du verwaltest keine eigenen.

Auf Nodion deployen ›

ab 9.50 EUR / Monat

Bis zu 15 € Guthaben beim Registrieren

Version
v1.110.2
RAM
mindestens 2 GB
Dienste
App, PostgreSQL
Regionen
Frankfurt (EU), US East, US West, Singapur

Was das LiteLLM-Preset anlegt

Ein Klick legt diese Ressourcen in deinem Projekt an und verbindet sie. Die Größen kannst du im Formular prüfen, bevor du deployest.

  • Anwendung ghcr.io/berriai/litellm:v1.110.2 · Port 4000 · mindestens 2 GB RAM
  • Managed PostgreSQL litellm-db

    Verbindungsdaten werden gesetzt als DATABASE_URL

  • HTTPS-URL

    Der Default-Hostname bekommt ein TLS-Zertifikat. Die Adresse wird gesetzt als PROXY_BASE_URL

  • Generierte Secrets

    Werden beim Anlegen der App für dich erzeugt: LITELLM_MASTER_KEYLITELLM_SALT_KEYUI_PASSWORD

LiteLLM in drei Schritten deployen

  1. Anmelden Anmelden oder registrieren. Neue Accounts können bis zu 15 € Guthaben bekommen.
  2. Preset öffnen Wähle ein Projekt und eine Region. Das Formular zeigt die Größen und die monatlichen Kosten. Auf Nodion deployen ›
  3. Deployen Nodion legt die App und ihre Ressourcen an und startet den ersten Deploy.
Nach dem ersten Deploy

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Betreibe sie wie jede andere App

  • Domains Ein Default-Hostname mit HTTPS funktioniert sofort. Deine eigene Domain nimmst du auf dem Tab Domains dazu.
  • Environment Das Preset setzt die Variablen, die LiteLLM braucht. Ändern kannst du sie auf dem Tab Environment.
  • Version Das Preset setzt den Tag v1.110.2. Deine App behält ihn, bis du das Image auf dem Tab Processes änderst.
  • Logs und Metriken Jeder Prozess hat Logs und Metriken im Dashboard. Siehe Anwendungen.

LiteLLM auf Nodion: Fragen und Antworten

Wie deploye ich LiteLLM auf Nodion?

Melde dich bei Nodion an, öffne das LiteLLM-Preset und wähle ein Projekt und eine Region. Nodion legt die App mit einer managed PostgreSQL-Datenbank an, setzt die Environment-Variablen und startet den ersten Deploy.

Kann ich LiteLLM in Deutschland hosten?

Ja. Wähle beim Anlegen die Region EU Central in Frankfurt. Build, Registry, die App und ihre Datenbanken, Volumes, Buckets, Logs und Metriken bleiben in der Region, die du wählst, API und Control Plane von Nodion werden in Deutschland gehostet. Daneben gibt es US East, US West und APAC Central (Singapur).

Kann ich LiteLLM DSGVO-konform betreiben?

Nodion schafft die Voraussetzungen dafür: Die Nodion GmbH hat ihren Sitz in Stuttgart, in der Region Frankfurt laufen App, Datenbanken und Volumes in Deutschland, und den Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO schließt du im Dashboard elektronisch ab. Ob dein Einsatz DSGVO-konform ist, hängt auch davon ab, wie du die App konfigurierst und nutzt.

Ist das dasselbe wie LiteLLM selbst zu hosten?

Du bekommst eine eigene LiteLLM-Instanz in deinem Nodion-Projekt. Der Unterschied: Nodion betreibt die Server, du musst keine eigene Maschine installieren und warten.

Was kostet LiteLLM auf Nodion?

Das Start-Setup kostet etwa 9.50 EUR im Monat: App DS-G2-2GB, 2 GB RAM 8 EUR, PostgreSQL DS-G2-256MB, 256 MB RAM 1.50 EUR. Preise sind netto, Abrechnung pro Sekunde. Im Formular kannst du größere Varianten wählen.

Was sollte ich nach dem ersten Deploy tun?

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Welche Version von LiteLLM deployed Nodion?

Das Preset setzt das Image ghcr.io/berriai/litellm:v1.110.2. Deine App behält den Image-Tag, bis du ihn auf dem Tab Processes der App änderst.

Kann ich eine eigene Domain für LiteLLM nutzen?

Ja. Jede App bekommt einen Default-Hostnamen mit HTTPS. Deine eigene Domain nimmst du auf dem Tab Domains dazu.

Gibt es Support auf Deutsch?

Ja. Nodion ist ein deutsches Unternehmen mit Sitz in Stuttgart, der Support antwortet auf Deutsch und auf Englisch.

Gib deinem Agenten eine Cloud.

Bis zu 15 € Guthaben beim Registrieren.

Weiter mit GitHub

oder per E-Mail

Bleib auf dem Laufenden.

Produktnews, kein Spam. Jederzeit abbestellen.