IA e machine learning Aplicação com um clique

Faça deploy de LiteLLM com um clique

OpenAI-compatible LLM gateway with virtual keys, budgets, and spend tracking, backed by PostgreSQL. LiteLLM corre no seu projeto Nodion, na região de Frankfurt (Alemanha) ou, se preferir, nos EUA ou em Singapura. A Nodion gere os servidores, por isso não tem nenhum servidor para gerir.

Fazer deploy na Nodion ›

a partir de 9.50 EUR / mês

Até 15 € de crédito de boas-vindas no registo

Versão
v1.110.2
RAM
pelo menos 2 GB
Serviços
Aplicação, PostgreSQL
Regiões
Frankfurt (UE), US East, US West, Singapura

O que o preset LiteLLM cria

Um clique cria estes recursos no seu projeto e liga-os entre si. Pode rever os tamanhos no formulário antes de fazer deploy.

  • Aplicação ghcr.io/berriai/litellm:v1.110.2 · porta 4000 · pelo menos 2 GB de RAM
  • PostgreSQL gerido litellm-db

    Os dados de ligação são definidos como DATABASE_URL

  • URL HTTPS

    O hostname atribuído por omissão recebe um certificado TLS. O seu endereço é definido como PROXY_BASE_URL

  • Segredos gerados

    Criados automaticamente quando a aplicação é criada: LITELLM_MASTER_KEYLITELLM_SALT_KEYUI_PASSWORD

Faça deploy de LiteLLM em três passos

  1. Iniciar sessão Inicie sessão ou registe-se. As novas contas podem receber até 15 € de crédito de boas-vindas.
  2. Abra o preset Escolha um projeto e uma região. O formulário mostra os tamanhos e o custo mensal. Fazer deploy na Nodion ›
  3. Fazer deploy A Nodion cria a aplicação e os respetivos recursos e depois inicia o primeiro deploy.
Depois do primeiro deploy

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Gira-a como qualquer outra aplicação

  • Domains Um hostname atribuído por omissão com HTTPS funciona de imediato. Adicione o seu próprio domínio no separador Domains.
  • Environment O preset define as variáveis de que LiteLLM precisa. Altere-as no separador Environment.
  • Versão O preset define a tag v1.110.2. A sua aplicação mantém-na até alterar a imagem no separador Processes.
  • Logs e métricas Cada processo tem logs e métricas no dashboard. Consulte Aplicações.

LiteLLM na Nodion: perguntas e respostas

Como faço deploy de LiteLLM na Nodion?

Inicie sessão na Nodion, abra o preset LiteLLM e escolha um projeto e uma região. A Nodion cria a aplicação com uma base de dados PostgreSQL gerida, define as variáveis de ambiente e inicia o primeiro deploy.

Posso alojar LiteLLM na UE?

Sim. Ao criar a aplicação, escolha a região EU Central, em Frankfurt (Alemanha). O build, o registry, a aplicação e as respetivas bases de dados, volumes, buckets, logs e métricas ficam na região escolhida, e a API e o plano de controlo da Nodion estão alojados na Alemanha. Também estão disponíveis as regiões US East, US West e APAC Central (Singapura).

Posso usar LiteLLM em conformidade com o RGPD?

A Nodion cria as condições para isso: a Nodion GmbH tem sede em Stuttgart (Alemanha); na região de Frankfurt, a aplicação, as bases de dados e os volumes são executados na Alemanha. O acordo de tratamento de dados (DPA, art. 28.º do RGPD) é celebrado eletronicamente no dashboard. A conformidade da sua utilização depende também da forma como configura e utiliza a aplicação.

É o mesmo que instalar LiteLLM num servidor próprio?

Fica com a sua própria instância de LiteLLM no seu projeto Nodion. A diferença: a Nodion gere os servidores, por isso não tem de instalar nem manter uma máquina própria.

Quanto custa executar LiteLLM na Nodion?

A configuração inicial custa cerca de 9.50 EUR por mês: Aplicação DS-G2-2GB, 2 GB RAM 8 EUR, PostgreSQL DS-G2-256MB, 256 MB RAM 1.50 EUR. Os preços não incluem IVA e a faturação é ao segundo. No formulário pode escolher tamanhos maiores.

O que devo fazer depois do primeiro deploy?

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Que versão de LiteLLM usa a Nodion no deploy?

O preset define a imagem ghcr.io/berriai/litellm:v1.110.2. A sua aplicação mantém essa tag de imagem até a alterar no separador Processes da aplicação.

Posso usar o meu próprio domínio com LiteLLM?

Sim. Cada aplicação recebe um hostname atribuído por omissão com HTTPS. Adicione o seu próprio domínio no separador Domains da aplicação.

Dê uma cloud ao seu agente.

Ganhe até 15 € de crédito ao registar-se.

Continuar com o GitHub

ou com e-mail

Fique a par das novidades.

Novidades do produto, sem spam. Pode cancelar a subscrição a qualquer momento.