PLGrid Forge
PLGrid Forge to serwis do inferencji, zarządzania kredytami, kluczami API i dostępem do modeli w danym grancie z wykorzystaniem superkomputerów w PLGrid. Usługa znajduje się pod adresem https://llmlab.plgrid.pl i jest zintegrowana z Portalem PLGrid.
Czym jest inferencja?
Inferencja w dziedzinie sztucznej inteligencji (AI) to proces, w którym wytrenowany model przetwarza nowe dane wejściowe i generuje predykcje lub decyzje. Przykładowo, chatboty to serwisy do inferencji modeli językowych (LLM-ów), które analizują zapytanie użytkownika i produkują odpowiedź. Inferencję można prowadzić zarówno na zasobach lokalnych, jak i wysyłając zapytania do zewnętrznego serwera. PLGrid Forge to przykład tego drugiego podejścia - instancje modelu działają na superkomputerze.
prosty schemat inferencji
Dlaczego warto używać PLGrid Forge?
Usługa dla każdego
Usługa PLGrid Forge została zaprojektowana z myślą o szerokiej grupie odbiorców. Udostępnia popularne modele językowe dla użytkowników akademickich (i nie tylko!) zainteresowanych eksperymentami z technologią AI.
Szeroki zakres funkcjonalności
PLGrid Forge to nie tylko obsługa dużych modeli językowych. Platforma została zaprojektowana, by wspierać szerokie spektrum zastosowań sztucznej inteligencji, obejmując również modele do embeddingu i modele wizualno-językowe (VLM). Dzięki temu użytkownicy mogą w jednym środowisku realizować zróżnicowane projekty badawcze.
Dostęp do tych zasobów reguluje system rozliczeń oparty na kredytach w ramach infrastruktury PLGrid. O kredyty do obliczeń wnioskuje się w Portalu PLGrid, podobnie jak robi się to z dostępem do klasycznych zasobów obliczeniowych w grancie. Tokeny wygenerowane przez dany model podczas inferencji są przeliczane na kredyty, przy czym ich koszt zależy od rozmiaru modelu.
Najważniejsze możliwości usługi to:
- przeglądanie dostępnych modeli, ich tagów oraz przypisanego im kosztu kredytów miliona tokenów,
- generowanie i zarządzanie kluczami API,
- mierzenie zużycia kredytów w grancie, zarówno całkowitego jak i przypadającego na każdego członka zespołu,
- nałożenie miesięcznego limitu zużycia kredytów przez członków zespołu,
- ograniczenie liczby kredytów dostępnych z danego klucza, zarówno miesięcznie oraz w rozliczeniu całościowym.
Prostota użycia
Atutem ułatwiającym pracę z PLGrid Forge jest pełna kompatybilność z OpenAI API. Pisanie kodu wykorzystującego moc obliczeniową superkomputerów nie wymaga wynajdowania koła na nowo, można skorzystać z bibliotek i składni używanych jako standard w dziedzinie AI. Co więcej, platforma oferuje publiczne endpointy API, które znacząco upraszczają integrację z zewnętrznymi usługami i narzędziami, takimi jak Jupyter Notebook.
Więcej informacji o standardzie OpenAI API: https://platform.openai.com/docs/api-reference/chat
Prywatność i bezpieczeństwo
Kluczowym aspektem serwisu jest silne ukierunkowanie na ochronę prywatności danych – administratorzy PLGrid nie mają dostępu do treści zapytań użytkowników ani odpowiedzi udzielanych przez modele. Ponadto żadne dane nie opuszczają serwerów inferencji i nie są zbierane ani przetwarzane przez PLGrid. Pozwala to na korzystanie ze sztucznej inteligencji w zaufanym, rodzimym środowisku, bez dzielenia się danymi z zagranicznymi firmami.
Alokowanie kredytów
Przed rozpoczęciem inferencji należy spełnić wymogi formalne związane z posiadaniem zespołu i grantu w PLGrid. Do tego należy zawnioskować o kredyty, które pozwolą na wykorzystanie zasobów w usłudze PLGrid Forge. Aby uzyskać dostęp, użytkownik potrzebuje wykonać cztery kroki:
Krok 1. Założyć konto, uzyskać afiliację i utworzyć zespół: szczegółowa instrukcja
Krok 2. Otrzymać nowy grant i zawnioskować o kredyty do usługi LLM w zakładce Zasoby
Alternatywnie, kredyty można dodać do istniejącego grantu poprzez renegocjację zasobów w Portalu PLGrid
kredyty w Portalu PLGrid, po prawej przycisk do renegocjacji zasobu
Krok 3. Aktywować usługę w Portalu PLGrid pod adresem https://portal.plgrid.pl/services/111
aktywowana usługa PLGrid Forge w Portalu
Krok 4. Wejść na adres usługi, wygenerować klucz API i rozpocząć pracę z PLGrid Forge!
Dostępne modele
Listę obsługiwanych modeli można znaleźć w zakładce Modele. Każdy model ma swoją nazwę, koszt oraz tagi. Nazwa modelu jest używana m.in. w OpenAI API do wskazania modelu, który ma zostać odpytany. Liczba znajdująca się zaraz pod nazwą to koszt zużycia miliona tokenów przez dany model.
przykładowa lista modeli dostępnych dla użytkownika
Sugestie dodania nowych modeli prosimy składać przez Helpdesk
Tagi
Tabela przedstawia najważniejsze tagi modeli:
| Tag | Opis |
|---|---|
| Aktywny | model jest dostępny, można wysyłać do niego zapytania |
| Nieaktywny | model jest chwilowo zawieszony, najczęściej z powodów technicznych, np. aktualizacja obrazu węzła |
| Dostępny | użytkownik posiada co najmniej jeden grant, który pozwala na korzystanie z tego modelu |
| Niedostępny | przeciwieństwo tegu Dostępny, w sprawach przyznania dostępu należy się kontaktować przez Helpdesk |
| Niekomercyjny | użytkownicy z afiliacjami komercyjnymi, nie mogą używać danego modelu |
| FC | model wspiera wywoływanie funkcji (function calling) |
| EMB | model służy do embeddingu zamiast predykcji tekstu |
Klucze API
Klucz API w inferencji służy do uwierzytelniania połączenia z serwerem, na którym działa model.
Każdy, kto zna treść klucza, będzie w stanie wysyłać zapytania do modelu, niezależnie czy posiada konto w PLGrid czy nie. W związku z tym, należy traktować klucz jak hasło dostępu do własnych zasobów.
Generowanie klucza
Aby wygenerować klucz, należy wejść w zakładkę Granty i przy wybranym grancie nacisnąć Wygeneruj klucz API. Alternatywnie w tej samej zakładce, nacisnąć kafelek wybranego grantu i wejść w Akcje. Następnie w polu Wygeneruj klucz API należy nacisnąć Generuj.
w zakładce Akcje w wybranym grancie można wygenerować klucz
W oknie, które się otworzyło, należy wpisać podstawowe informacje na temat klucza:
- nazwa - powinna być unikalna względem pozostałych kluczy w danym grancie, jest to jedyne obowiązkowe pole,
- data wygaśnięcia - po tej dacie klucz nie będzie pozwalał na autoryzację połączenie z serwerem, po utworzeniu klucza nie można zmienić tej daty,
- miesięczny limit kredytów - ile kredytów klucz może sumarycznie zużyć z puli kredytów grantu w ciągu jednego miesiąca,
- całkowity limit kredytów - ile kredytów klucz może sumarycznie zużyć z puli kredytów grantu.
Zachęcamy do ustawiania limitów miesięcznych, ponieważ to minimalizuje szkody powstałe w przypadku upublicznienia klucza.
podstawowe informacje potrzebne do generowania klucza
Następnie trzeba nacisnąć Utwórz i pojawi się treść klucza w polu Twój token API. Treść klucza należy skopiować i zachować.
pole z wygenerowanym kluczem, po prawej przycisk do kopiowania
Ze względów bezpieczeństwa treść kluczy nie jest przechowywana w systemie usługi PLGrid Forge. Oznacza to, że tylko bezpośrednio po utworzeniu klucza istnieje możliwość podejrzenia jego treści.
Zarządzanie kluczami
W zakładce Klucze API znajduje się lista kluczy użytkownika wraz z podstawowymi informacjami, statusem i akcjami. Wszyscy członkowie zespołu mają możliwość tworzenia i zarządzania tylko własnymi kluczami.
statusy i dostępne akcje dla kluczy API
Klucz może posiadać status:
- aktywny - z klucza można korzystać,
- wygasły - minęła data wygaśnięcia klucza,
- unieważniony - użytkownik unieważnił klucz za pomocą akcji
Unieważnij.
Pozostałe akcje, które można wykonać z kluczem to zmiana limitów - miesięcznego i całkowitego oraz archiwizacja. Po zarchiwizowaniu, klucz zostanie unieważniony i usunięty z tego widoku, a dostęp do API zostanie natychmiast zablokowany. Nadal będzie można go znaleźć w zakładce Zarchiwizowane Klucze. Przy tworzeniu nowych kluczy, unikalność nazwy nie bierze pod uwagę nazw z archiwum. Oznacza to że można ponownie nazwać nowy klucz nazwą zarchiwizowanego klucza.
Klucze zarządzania
Klucze zarządzania służą do generowania kluczy API poprzez zapytania do specjalnie przygotowanego endpointu. Główną zaletą tego rozwiązania jest to, że nie wymaga to korzystania z serwisu w przeglądarce. Jednakże utworzenie klucza zarządzania jest możliwe wyłącznie poprzez sekcję Klucze zarządzania w usłudze PLGrid Forge. Należy nacisnąć Utwórz klucz zarządzania. Wyświetli się okno, w który trzeba wpisać nazwę i datę wygaśnięcia klucza.
okno tworzenia klucza zarządzania
Wygenerowany klucz może być użyty do tworzenia nowych kluczy API, ale sam w sobie nie może być wykorzystywany do inferencji. Klucze zarządzania są w stanie autoryzować połączenie tylko z endpointem przeznaczonym do generowania kluczy.
Należy zwrócić uwagę, że klucz ten nie posiada limitów zużycia i pozwala na generowanie kluczy API ograniczonych jedynie limitem dla danego użytkownika. W związku z tym, należy zachować szczególną ostrożność, by nie upublicznić klucza zarządzania. Klucz można w każdej chwili unieważnić w sekcji Klucze zarządzania.
Endpointy API
Mając już zaalokowane kredyty w grancie, wybrany model oraz wygenerowany klucz API, można przejść do inferencji. W PLGrid Forge służą do tego tzw. endpointy, czyli publiczne adresy url, pod którymi modele oczekują na zapytania. Niektóre endpointy nie służą do inferencji, lecz pozwalają np. na pozyskiwanie informacji na temat modeli.
Niezależnie od rodzaju, zapytanie wysłane do konkretnego endpointu musi zawierać:
- adres URL danego endpointu,
- nagłówek
accept: application/json, - nagłówek do autoryzacji, a w nim treść klucza API.
Predykcja tekstu
Endpoint: https://llmlab.plgrid.pl/api/v1/chat/completions
Najbardziej typowym wykorzystaniem usługi PLGrid Forge jest predykcja tekstu. Aby z niej skorzystać należy wysłać zapytanie typu POST i załączyć do niego wiadomość w formacie JSON. Należy w niej wpisać treść klucza <API_key>, nazwę wybranego modelu <model_name> oraz treść zapytania w polu content.
curl - komenda bashowa
Przykładowe zapytanie za pomocą wywołania komendy curl:
curl -X 'POST' \
'https://llmlab.plgrid.pl/api/v1/chat/completions' \
-H 'accept: application/json' \
-H 'Authorization: Bearer <API_key>\
-H 'Content-Type: application/json' \
-d '{ \
"model": <model_name>, \
"messages": [ \
{ \
"role": "user", \
"content": "What is ACK Cyfronet AGH in Krakow? Make sure your answer is short, max 1 sentence." \
} \
], \
"max_tokens": 100, \
"top_p": 1, \
"temperature": 1, \
"presence_penalty": 0, \
"frequency_penalty": 0, \
"stream": false \
}'
Odpowiedź zostanie przesłana w formacie JSON, a jej treść znajduje się w polu content.
W zapytaniu można również zmienić pole stream na true, by otrzymać każdy token w osobnej wiadomości. Odpowiedzią będzie lista wiadomości JSON z kilkoma znakami w polu content.
requests - biblioteka Pythona
Alternatywnie względem komendy curl można użyć biblioteki requests po zainstalowaniu jej w Pythonie. W wersji Python/3.11.5 i requests/2.33.1, składnia tego samego zapytania wygląda w następujący sposób:
import requests
import json
apikey = <API_key>
model = <model_name>
endpoint = 'https://llmlab.plgrid.pl/api/v1/chat/completions'
headers = {'accept': 'application/json', "Authorization": f"Bearer {apikey}", 'Content-Type': 'application/json'}
payload={
"model": model,
"messages": [
{
"role": "user",
"content": "What is ACK Cyfronet AGH in Krakow? Make sure your answer is short, max 1 sentence."
}
],
"max_tokens": 100,
"top_p": 1,
"temperature": 1,
"presence_penalty": 0,
"frequency_penalty": 0,
"stream": 'false'
}
response = requests.post(endpoint, json=payload, headers=headers)
if response.ok:
data = response.json()
print(json.dumps(data, indent=4))
Bibliotekę requests można zainstalować z https://pypi.org/project/requests/
openai - biblioteka Pythona
Usługa PLGrid Forge jest w pełni kompatybilna z składnią używaną przez OpenAI API. W związku z tym, do predykcji tekstu można również użyć biblioteki openai w Pythonie. To samo zapytanie będzie wyglądać jak poniżej (wersja Python/3.11.5 i openai/2.30.0):
import openai
apikey = <API_key>
model = <model_name>
client = openai.OpenAI(
api_key=apikey,
base_url="https://llmlab.plgrid.pl/api/v1"
)
response = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "What is ACK Cyfronet AGH in Krakow? Make sure your answer is short, max 1 sentence."
}
],
)
print(response.choices[0].message.content)
Kluczową różnicą jest to, że część opcji została ukryta przez bibliotekę. Pozwala to uprościć interfejs inferencji, zwłaszcza jeżeli użytkownik jest przyzwyczajony do korzystania z tej biblioteki w swoim kodzie. Należy zwrócić również uwagę na zmianę we wpisywaniu endpointu - ogólny adres został wpisany do base_url, natomiast chat/completions zostaje wywołane przez OpenAI() przy tworzeniu odpowiedzi.
Bibliotekę openai można zainstalować z https://pypi.org/project/openai/
Listowanie modeli
PLGrid Forge oferuje również możliwość listowania dostępnych modeli z poziomu terminala. W zależności od endpointu, odpowiedź będzie mieć inny format:
Endpoint:
- https://llmlab.plgrid.pl/api/v1/models - zwróci odpowiedź w formacie zgodnym z OpenAI API,
- https://llmlab.plgrid.pl/api/v1/models-plgrid-format - zwróci odpowiedź zawierającą więcej informacji ponad nazwę modelu, m.in. status, koszt kredytów oraz jakie tagi posiada.
Aby wylistować moduły tą metodą, należy wysłać zapytanie typu GET to jednego z powyższych endpointów. Przykładowo:
curl -X 'GET' \
'https://llmlab.plgrid.pl/api/v1/models' \
-H 'accept: application/json' \
-H 'Authorization: Bearer <API_key>'
Status modelu
Endpoint: https://llmlab.plgrid.pl/api/health
Dla każdego modelu można wyizolować jego status przez wysłanie zapytania typu GET do endpointu /health. By wybrać konkretny moduł wystarczy do adresu URL dopisać ?model=<model_name>. Nie wpisując żadnego modelu, w odpowiedzi znajdą się statusy wszystkich dostępnych modeli.
Przykładowy skrypt z wykorzystaniem biblioteki requests:
import requests
import json
apikey = <API_key>
model = <model_name>
endpoint = 'https://llmlab.plgrid.pl/api/health'
headers={'accept': 'application/json', "Authorization": f"Bearer {apikey}{apikey}"}
response = requests.get(f'{endpoint}?model={model}', headers=headers)
if response.ok:
data = response.json()
print(json.dumps(data, indent=4))
Embedding
Endpoint: https://llmlab.plgrid.pl/api/v1/embeddings
Innym rodzajem inferencji w usłudze PLGrid Forge jest embedding. Model mapuje wejściowe dane, np. tekst czy listę słów na wektor wartości liczbowych. Embedding ma wiele zastosowań, m.in. do usprawniania działania modeli AI, ale również do analizy tekstu czy baz danych.
Utworzenie embeddingu do swoich danych wymaga wysłania zapytania typu POST w formacie JSON i wybranie modelu z tagiem EMB. Często te modele mają również słowo "embedding" w swojej nazwie. Należy również wybrać format liczbowy dla generowanego wektora. Przykładowa wiadomość:
import requests
import json
apikey = <API_key>
model = "Qwen/Qwen3-Embedding-0.6B"
endpoint='https://llmlab.plgrid.pl/api/v1/embeddings'
headers={'accept': 'application/json', "Authorization": f"Bearer {apikey}", 'Content-Type': 'application/json'}
payload={
"input": "string",
"model": model,
"encoding_format": "float"
}
response = requests.post(endpoint, json=payload, headers=headers)
print(response)
if response.ok:
data = response.json()
print(json.dumps(data, indent=4))
Tworzenie klucza za pomocą klucza zarządzania
Endpoint: https://llmlab.plgrid.pl/api/v1/management/api_keys/create
PLGrid Forge udostępnia możliwość tworzenia kluczy API z pominięciem serwisu w przeglądarce poprzez klucze zarządzania. W tym celu należy wysłać wszystkie podstawowe informacje na temat klucza oraz dodatkowo podać, do którego grantu będzie przypisany nowy klucz za pomocą pola grant_id.
Nr grantu w chwili obecnej można jedynie odczytać w treści odnośnika w serwisie PLGrid Forge. Należy wejść w zakładkę Granty i nacisnąć kafelek wybranego grantu, następnie spisać nr z odnośnika w przeglądarce, który powinien mieć format, np.: https://llmlab.plgrid.pl/grants/29. W takim wypadku grant będzie mieć nr 29.
Przykładowe zapytanie typu POST o utworzenie klucza API:
import requests
import json
mgmkey = <management_key>
grant_id = <nr_grantu>
endpoint='https://llmlab.plgrid.pl/api/v1/management/api_keys/create'
headers={'accept': 'application/json', "Authorization": f"Bearer {mgmkey}", 'Content-Type': 'application/json'}
payload={
"name": "testkey",
"grant_id": grant_id,
"total_credits_quota": 1,
"monthly_credits_quota": 1,
"expires_at": "2026-04-16T17:00:00"
}
response = requests.post(url, json=payload, headers=headers)
print(response)
if response.ok:
data = response.json()
print(json.dumps(data, indent=4))
W tym zapytaniu do autoryzacji użyto klucza zarządzania <management_key>.
Serwis do endpointów w przeglądarce
Pod adresem: https://llmlab.plgrid.pl/api/docs znajduje się serwis, w którym zebrane są aktualne publiczne endpointy dostępne w PLGrid Forge. Ponadto, pozwala on na przetestowanie endpointów, wykonując część pracy za użytkownika.
endpointy wraz z przykładowymi zapytaniami
W prawym górnym rogu znajduje się pole autoryzacji kluczy Authorize.
przycisk autoryzacji, trzeba nacisnąć i wpisać treść klucza
Po dokonaniu autoryzacji, do każdego zapytania wysłanego z tej strony zostanie automatycznie dodany wskazany klucz. Rozwijając okienko wybranego endpointu po prawej pojawi się przycisk Try it out, po jego naciśnięciu można wpisać treść swojego zapytania i wysłać je za pomocą Execute.
przycisk Try it out pozwala edytować treść zapytania
Poniżej zostaje wypisana pełna komenda curl, która posłużyła do wysłania zapytania, adres URL endpointu oraz odpowiedź serwera w formacie JSON.
Na samym dole strony znajdują się wypisane pola wiadomości JSON otrzymywanych w odpowiedzi z powyższych endpointów.
Monitoring zużycia kredytów
per grant
W podglądzie każdego grantu wypisane są szczegółowe informacje na temat zużycia kredytów.
informacje na temat grantu
per klucz
W zakładce Klucze API, w liście kluczy po naciśnięciu na nazwę klucza można podejrzeć szczegółowe informacje o nim. Znajdują się tam m.in. statystyki zużycia kredytów przez wybrany klucz.
w szczegółach klucza można zobaczyć zużycie kredytów
Ten widok nie zawiera treści klucza, ponieważ nie jest ona przechowywana nigdzie w serwisie PLGrid Forge.
per członek zespołu
Liczbę zużytych kredytów przez każdego członka zespołu z osobna można podejrzeć w sekcji Członkowie w widoku wybranego grantu. Statystyka jest wypisywana zarówno w danym miesiącu, jak i sumarycznie w czasie trwania grantu.
Limity zużycia
Dowolna osoba, która posiada treść klucza API jest w stanie korzystać z interferencji tak długo, aż zużycie kredytów nie przekroczy obecnie najniższego z nałożonych limitów:
- liczba dostępnych kredytów w grancie,
- całkowity limit dla klucza,
- miesięczny limit dla klucza,
- miesięczny limit dla członka zespołu, do którego należy klucz.
Liczba dostępnych kredytów w grancie jest nadawana w Portalu PLGrid przy alokacji zasobów grantowych. Limity dla klucza podawane są przy generowaniu, ale mogą zostać zmienione później w zakładce Klucze API.
W podglądzie konkretnego grantu w Akcje istnieje możliwość nadania limitu dla wszystkich członków zespołu zbiorowo. Natomiast, ten sam limit można przypisać dla danego członka indywidualnie, wchodząc w sekcję Członkowie i naciskając Zmień limit. Każda zmiana limitu, zbiorowa czy indywidualna, nadpisuje poprzednią wartość, w związku z tym, tylko najnowsza liczba jest brana pod uwagę.
Limit dla członka zespołu jest ustawiany miesięcznie i nie ma możliwości ustawienia limitów całkowitych dla każdego członka.
w liście członków można ustawić limity indywidualnie
Należy podkreślić, że limit indywidualny jest dodatkowym ograniczeniem nakładanym sumarycznie na wszystkie klucze danego użytkownika, a nie na jego konto. Klucze generowane przez członka, który osiągnął miesięczny limit wykorzystania kredytów, nie będą pozwalać na dostęp do API. Użytkownik może wciąż korzystać z kluczy pozostałych członków oraz innych użytkowników PLGrid. Dzieje się tak, dlatego że każda osoba, nawet jeśli nie posiada konta, może korzystać z inferencji tak długo, jak zna treść klucza. Koszt kredytów zostanie przypisany do użytkownika, który wygenerował klucz.
Przykładowo, jeżeli prowadzący szkolenia rozda uczestnikom swój klucz API, to zużycie wygenerowane przez wszystkie osoby na sali będzie naliczane względem limitów prowadzącego w jego grancie.
Ostatnia aktualizacja: 9 listopada 2026