AI i uczenie maszynowe Aplikacja do wdrożenia jednym kliknięciem

Wdróż LiteLLM jednym kliknięciem

OpenAI-compatible LLM gateway with virtual keys, budgets, and spend tracking, backed by PostgreSQL. LiteLLM działa w Twoim projekcie Nodion w regionie Frankfurt nad Menem (Niemcy) albo, jeśli wolisz, w USA lub Singapurze. Serwerami zarządza Nodion, więc nie musisz ich utrzymywać.

Wdróż na Nodion ›

od 9.50 EUR / mies.

Do 15 € środków na start przy rejestracji

Wersja
v1.110.2
RAM
co najmniej 2 GB
Usługi
Aplikacja, PostgreSQL
Regiony
Frankfurt nad Menem (UE), US East, US West, Singapur

Co tworzy preset LiteLLM

Jedno kliknięcie tworzy te zasoby w Twoim projekcie i łączy je ze sobą. Przed wdrożeniem możesz sprawdzić rozmiary w formularzu.

  • Aplikacja ghcr.io/berriai/litellm:v1.110.2 · port 4000 · co najmniej 2 GB RAM
  • Zarządzany PostgreSQL litellm-db

    Dane połączenia są ustawiane jako DATABASE_URL

  • URL HTTPS

    Dla domyślnej nazwy hosta wystawiany jest certyfikat TLS. Jej adres jest ustawiany jako PROXY_BASE_URL

  • Wygenerowane sekrety

    Tworzone dla Ciebie przy zakładaniu aplikacji: LITELLM_MASTER_KEYLITELLM_SALT_KEYUI_PASSWORD

Wdróż LiteLLM w trzech krokach

  1. Zaloguj się Zaloguj się lub zarejestruj. Nowe konta mogą otrzymać do 15 € środków na start.
  2. Otwórz preset Wybierz projekt i region. Formularz pokazuje rozmiary i miesięczny koszt. Wdróż na Nodion ›
  3. Wdróż Nodion tworzy aplikację i jej zasoby, a potem uruchamia pierwsze wdrożenie.
Po pierwszym wdrożeniu

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Zarządzaj nią jak każdą inną aplikacją

  • Domains Domyślna nazwa hosta z HTTPS działa od razu. Własną domenę dodasz w zakładce Domains.
  • Environment Preset ustawia zmienne, których potrzebuje LiteLLM. Zmienisz je w zakładce Environment.
  • Wersja Preset ustawia tag v1.110.2. Twoja aplikacja zachowuje go, dopóki nie zmienisz obrazu w zakładce Processes.
  • Logi i metryki Każdy proces ma logi i metryki w dashboardzie. Zobacz Aplikacje.

LiteLLM na Nodion: pytania i odpowiedzi

Jak wdrożyć LiteLLM na Nodion?

Zaloguj się do Nodion, otwórz preset LiteLLM i wybierz projekt oraz region. Nodion tworzy aplikację z zarządzaną bazą danych PostgreSQL, ustawia zmienne środowiskowe i uruchamia pierwsze wdrożenie.

Czy mogę hostować LiteLLM w UE?

Tak. Podczas tworzenia aplikacji wybierz region EU Central we Frankfurcie nad Menem (Niemcy). Build, rejestr, aplikacja oraz jej bazy danych, wolumeny, buckety, logi i metryki pozostają w wybranym regionie, a API i warstwa sterowania (control plane) Nodion są hostowane w Niemczech. Dostępne są też regiony US East, US West i APAC Central (Singapur).

Czy mogę wykorzystywać LiteLLM zgodnie z RODO?

Nodion zapewnia do tego podstawy: Nodion GmbH ma siedzibę w Stuttgarcie (Niemcy), w regionie Frankfurt nad Menem aplikacja, jej bazy danych i wolumeny działają w Niemczech, a umowę powierzenia przetwarzania danych (DPA, art. 28 RODO) zawierasz elektronicznie w dashboardzie. To, czy Twoje wdrożenie spełnia wymogi RODO, zależy też od tego, jak skonfigurujesz aplikację i jak z niej korzystasz.

Czy to to samo, co instalacja LiteLLM na własnym serwerze?

Otrzymujesz własną instancję LiteLLM w swoim projekcie Nodion. Serwerami zarządza Nodion, więc nie musisz instalować ani utrzymywać własnej maszyny.

Ile kosztuje uruchomienie LiteLLM na Nodion?

Konfiguracja startowa kosztuje około 9.50 EUR miesięcznie: Aplikacja DS-G2-2GB, 2 GB RAM 8 EUR, PostgreSQL DS-G2-256MB, 256 MB RAM 1.50 EUR. Ceny są podane netto i rozliczane co do sekundy. W formularzu możesz wybrać większe rozmiary.

Co zrobić po pierwszym wdrożeniu?

Open /ui and sign in as admin with the generated UI_PASSWORD from the application environment. There is no default password. Add your models and provider keys in the UI, then create virtual keys for your apps. Never change LITELLM_SALT_KEY after adding a model, because it encrypts the stored provider keys.

Którą wersję LiteLLM wdraża Nodion?

Preset ustawia obraz ghcr.io/berriai/litellm:v1.110.2. Twoja aplikacja zachowuje ten tag obrazu, dopóki nie zmienisz go w zakładce Processes aplikacji.

Czy mogę użyć własnej domeny dla LiteLLM?

Tak. Każda aplikacja dostaje domyślną nazwę hosta z HTTPS. Własną domenę dodasz w zakładce Domains aplikacji.

Daj swojemu agentowi chmurę.

Zyskaj do 15 € środków na start przy rejestracji.

Kontynuuj z GitHub

lub przez e-mail

Bądź na bieżąco.

Nowości produktowe, bez spamu. Możesz zrezygnować w każdej chwili.