Koppla din egen GPU till staik

Senast uppdaterad:

På denna sida

Koppla din egen GPU-hårdvara till staik så att din organisations trafik routas till dina egna noder, isolerat från alla andra på ett privat mesh. Hela flödet tar ~10 minuter och sker via self-service i portalen. Läs mer om hur noden och inferensen säkras.

Förutsättningar

På din GPU-maskin:

  • Ubuntu 22.04 eller 24.04 med sudo
  • NVIDIA-GPU med drivrutiner installerade (nvidia-smi fungerar)
  • Utgående internet (för att joina meshet) — inga inkommande portar behöver öppnas
  • En modell noden ska serva. Ollama installeras automatiskt; kör du vLLM/SGLang förutsätts din motor redan svara OpenAI-kompatibelt.

Steg 1 — Skapa din organisation

  1. Registrera ett konto på api.staik.se/register och notera din API-nyckel.
  2. Öppna GPU-portalen och ange nyckeln.
  3. Klicka Skapa organisation, ge den ett namn, och du blir owner.

Steg 2 — Lägg till din GPU

  1. Klicka Lägg till GPU. Välj motor (ollama / vllm / sglang) och ange modellen noden ska serva.
  2. Portalen visar en kopiera-klistra-rad med en engångs-node-token och mesh-nyckel. Kopiera hela raden — den visas bara en gång.

Engångsvärden

Node-token och mesh-nyckel visas bara en gång. Kopiera hela raden innan du stänger vyn. Tappar du den kan du generera en ny från portalen.

Steg 3 — Kör raden på GPU-maskinen

Klistra in den kopierade raden i en terminal på din GPU-maskin. Den ser ut så här (värdena fylls i automatiskt av portalen):

bash
curl -fsSL https://api.staik.se/byo/provision-byo-node.sh | sudo \
  TS_AUTHKEY=<mesh-nyckel> \
  STAIK_NODE_TOKEN=<node-token> \
  STAIK_HOSTNAME=cust-<din-org>-0 \
  STAIK_ENGINE=ollama \
  STAIK_MODEL=<din-modell> \
  bash

Scriptet ansluter din maskin till meshet, sätter upp motorn och en liten agent, och låser ner nätverket så att noden bara nås av staik. Du behöver inte konfigurera något manuellt.

Steg 4 — Verifiera att noden är online

Gå tillbaka till GPU-portalen. Inom ~1 minut ska din nod visas som online med rätt modell och en färsk "senast sedd"-tid.

Steg 5 — Ditt första anrop

Använd din API-nyckel mot https://api.staik.se/v1 som vanligt. Modellnamnet styr routingen:

  • <din-org-slug>/<modell> → din egna nod (isolerat)
  • bart modellnamn (t.ex. qwen3.6:35b-a3b) → staiks delade pool
bash
curl https://api.staik.se/v1/chat/completions \
  -H "Authorization: Bearer sk-st-din-nyckel" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<din-org-slug>/<din-modell>",
    "messages": [{"role": "user", "content": "Hej!"}]
  }'

Steg 6 — Bjud in ditt team (valfritt)

I portalen: ange en kollegas e-post och klicka Bjud in (de behöver ett staik-konto). Vid accept får de en org-scopad API-nyckel vars trafik körs i er organisations kontext, mot era egna noder.

Behöver du hjälp?

Vill du lägga till fler noder eller fastnar i uppsättningen? Hör av dig till customercare@staik.se så hjälper vi dig igång.