IA y machine learning App en un clic

Despliega LiteLLM en un clic

OpenAI-compatible LLM gateway with virtual keys, budgets, and spend tracking, backed by PostgreSQL. LiteLLM se ejecuta en tu proyecto de Nodion en la región de Fráncfort (Alemania) o, si lo prefieres, en EE. UU. o Singapur. Nodion gestiona los servidores para que tú no tengas que hacerlo.

Desplegar en Nodion ›

desde 9.50 EUR / mes

Hasta 15 € de crédito de bienvenida al registrarte

Versión
v1.110.2
RAM
al menos 2 GB
Servicios
App, PostgreSQL
Regiones
Fráncfort (UE), US East, US West, Singapur

Qué configura el preset de LiteLLM

Con un clic se crean y conectan estos recursos en tu proyecto. Puedes revisar los tamaños en el formulario antes de desplegar.

  • Aplicación ghcr.io/berriai/litellm:v1.110.2 · puerto 4000 · al menos 2 GB de RAM
  • PostgreSQL gestionado litellm-db

    Los datos de conexión se definen como DATABASE_URL

  • URL HTTPS

    El nombre de host predeterminado recibe un certificado TLS. Su dirección se define como PROXY_BASE_URL

  • Secretos generados

    Se generan para ti al crear la app: LITELLM_MASTER_KEYLITELLM_SALT_KEYUI_PASSWORD

Despliega LiteLLM en tres pasos

  1. Inicia sesión Inicia sesión o regístrate. Las cuentas nuevas pueden recibir hasta 15 € de crédito de bienvenida.
  2. Abre el preset Elige un proyecto y una región. El formulario muestra los tamaños y el coste mensual. Desplegar en Nodion ›
  3. Despliega Nodion crea la app y sus recursos y después lanza el primer despliegue.
Después del primer despliegue

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Gestiónala como cualquier otra app

  • Domains El nombre de host predeterminado con HTTPS funciona desde el primer momento. Añade tu propio dominio en la pestaña Domains.
  • Environment El preset configura las variables que necesita LiteLLM. Cámbialas en la pestaña Environment.
  • Versión El preset fija el tag v1.110.2. Tu app lo mantiene hasta que cambies la imagen en la pestaña Processes.
  • Logs y métricas Cada proceso tiene logs y métricas en el dashboard. Consulta Aplicaciones.

LiteLLM en Nodion: preguntas y respuestas

¿Cómo despliego LiteLLM en Nodion?

Inicia sesión en Nodion, abre el preset de LiteLLM y elige un proyecto y una región. Nodion crea la app con una base de datos PostgreSQL gestionada, configura las variables de entorno e inicia el primer despliegue.

¿Puedo alojar LiteLLM en la UE?

Sí. Al crear la app, elige la región EU Central en Fráncfort (Alemania). La build, el registry, la app y sus bases de datos, volúmenes, buckets, logs y métricas permanecen en la región que elijas. La API y el plano de control de Nodion están alojados en Alemania. También están disponibles US East, US West y APAC Central (Singapur).

¿Puedo usar LiteLLM conforme al RGPD?

Nodion te ofrece las bases para ello: Nodion GmbH tiene su sede en Stuttgart (Alemania); en la región de Fráncfort, la app, sus bases de datos y sus volúmenes se ejecutan en Alemania. Puedes formalizar electrónicamente el DPA (contrato de encargo del tratamiento, art. 28 del RGPD) en el dashboard. Que tu uso cumpla el RGPD también depende de cómo configures y uses la app.

¿Es lo mismo que instalar LiteLLM en tu propio servidor?

Tienes tu propia instancia de LiteLLM en tu proyecto de Nodion. Nodion gestiona los servidores, así que no tienes que instalar ni mantener una máquina propia.

¿Cuánto cuesta ejecutar LiteLLM en Nodion?

La configuración inicial cuesta unos 9.50 EUR al mes: App DS-G2-2GB, 2 GB RAM 8 EUR, PostgreSQL DS-G2-256MB, 256 MB RAM 1.50 EUR. Los precios no incluyen IVA y la facturación es por segundo. En el formulario puedes elegir tamaños mayores.

¿Qué debo hacer después del primer despliegue?

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

¿Qué versión de LiteLLM despliega Nodion?

El preset configura la imagen ghcr.io/berriai/litellm:v1.110.2. Tu app conserva ese tag hasta que lo cambies en la pestaña Processes de la app.

¿Puedo usar mi propio dominio para LiteLLM?

Sí. Cada app recibe un nombre de host predeterminado con HTTPS. Añade tu propio dominio en la pestaña Domains de la app.

Dale a tu agente un cloud.

Hasta 15 € de crédito al registrarte.

Continuar con GitHub

o con tu email

Mantente al día.

Novedades del producto, sin spam. Puedes darte de baja cuando quieras.