AI e machine learning App con un clic

Fai il deploy di LiteLLM in un clic

OpenAI-compatible LLM gateway with virtual keys, budgets, and spend tracking, backed by PostgreSQL. LiteLLM gira nel tuo progetto Nodion nella regione di Francoforte (Germania) oppure, se preferisci, negli USA o a Singapore. Nodion gestisce i server, quindi non devi occupartene tu.

Fai il deploy su Nodion ›

da 9.50 EUR / mese

Fino a 15 € di credito di benvenuto alla registrazione

Versione
v1.110.2
RAM
almeno 2 GB
Servizi
App, PostgreSQL
Regioni
Francoforte (UE), US East, US West, Singapore

Cosa crea il preset LiteLLM

Un clic crea queste risorse nel tuo progetto e le collega tra loro. Prima del deploy puoi controllare le dimensioni nel modulo.

  • Applicazione ghcr.io/berriai/litellm:v1.110.2 · porta 4000 · almeno 2 GB di RAM
  • PostgreSQL gestito litellm-db

    I dati di connessione vengono impostati come DATABASE_URL

  • URL HTTPS

    L'hostname predefinito riceve un certificato TLS. Il suo indirizzo viene impostato come PROXY_BASE_URL

  • Secret creati automaticamente

    Vengono creati per te quando crei l'app: LITELLM_MASTER_KEYLITELLM_SALT_KEYUI_PASSWORD

Fai il deploy di LiteLLM in tre passaggi

  1. Accedi Accedi o registrati. I nuovi account possono ottenere fino a 15 € di credito di benvenuto.
  2. Apri il preset Scegli un progetto e una regione. Il modulo mostra le dimensioni e il costo mensile. Fai il deploy su Nodion ›
  3. Deploy Nodion crea l'app e le sue risorse, poi avvia il primo deploy.
Dopo il primo deploy

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Gestiscila come qualsiasi altra app

  • Domains Un hostname predefinito con HTTPS funziona subito. Aggiungi il tuo dominio nella scheda Domains.
  • Environment Il preset imposta le variabili che servono a LiteLLM. Puoi cambiarle nella scheda Environment.
  • Versione Il preset imposta il tag v1.110.2. La tua app lo mantiene finché non cambi l'immagine nella scheda Processes.
  • Log e metriche Ogni processo ha log e metriche nella dashboard. Vedi Applicazioni.

LiteLLM su Nodion: domande e risposte

Come faccio il deploy di LiteLLM su Nodion?

Accedi a Nodion, apri il preset LiteLLM e scegli un progetto e una regione. Nodion crea l'app con un database PostgreSQL gestito, imposta le variabili d'ambiente e avvia il primo deploy.

Posso ospitare LiteLLM nell'UE?

Sì. Quando crei l'app, scegli la regione EU Central a Francoforte, in Germania. La build, il registry, l'app e i suoi database, volumi, bucket, log e metriche restano nella regione che scegli. L'API e il control plane di Nodion sono ospitati in Germania. Sono disponibili anche US East, US West e APAC Central (Singapore).

Posso usare LiteLLM in modo conforme al GDPR?

Nodion offre le basi per farlo: Nodion GmbH ha sede a Stoccarda, in Germania; nella regione di Francoforte l'app, i suoi database e i volumi girano in Germania; puoi sottoscrivere il DPA (accordo sul trattamento dei dati, art. 28 GDPR) in formato elettronico nella dashboard. La conformità del tuo utilizzo dipende anche da come configuri e usi l'app.

È come installare LiteLLM su un tuo server?

Hai un'istanza di LiteLLM nel tuo progetto Nodion. Nodion gestisce i server, quindi non devi installare né mantenere una macchina tua.

Quanto costa far girare LiteLLM su Nodion?

La configurazione di partenza costa circa 9.50 EUR al mese: App DS-G2-2GB, 2 GB RAM 8 EUR, PostgreSQL DS-G2-256MB, 256 MB RAM 1.50 EUR. I prezzi sono IVA esclusa, con fatturazione al secondo. Nel modulo puoi scegliere dimensioni più grandi.

Cosa devo fare dopo il primo deploy?

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Di quale versione di LiteLLM fa il deploy Nodion?

Il preset imposta l'immagine ghcr.io/berriai/litellm:v1.110.2. La tua app mantiene quel tag dell'immagine finché non lo cambi nella scheda Processes dell'app.

Posso usare un mio dominio per LiteLLM?

Sì. Ogni app riceve un hostname predefinito con HTTPS. Aggiungi il tuo dominio nella scheda Domains dell'app.

Dai al tuo agente un cloud tutto suo.

Fino a 15 € di credito quando ti registri.

Continua con GitHub

oppure con l'email

Resta aggiornato.

Novità sul prodotto, niente spam. Puoi annullare l'iscrizione quando vuoi.