#60 — Ile wydasz na AI w przyszłym roku?

Trzydzieści firm — w tym JPMorgan Chase, IBM i Accenture — powołało organizację, która ma to ustalić.

4 sierpnia Linux Foundation uruchomiła Tokenomics Foundation. Członków-założycieli jest około trzydziestu i są wśród nich zarówno firmy kupujące tokeny, jak i te, które je sprzedają: Accenture, Booking.com, BNY, Flexera, IBM, JPMorgan Chase, KPMG, Oracle, SAP i ServiceNow. Zadaniem organizacji jest ujednolicenie tego, jak firmy mierzą koszty tokenów, jak nimi zarządzają i jak wiążą je z wartością biznesową. Rada fundacji zebrała się po raz pierwszy 30 lipca. Komitet techniczny dopiero się formuje.

Nikt nie powołuje organizacji standaryzacyjnej dla mało istotnego problemu. J.R. Storment, dyrektor wykonawczy Tokenomics Foundation, powiedział wprost, na czym problem polega, gdy Sheryl Estrada z Fortune zapytała go, po co taka instytucja jest potrzebna: „Przedpłacone pakiety kredytów, licencje na użytkownika i abonamenty «unlimited AI» zrywają związek między zużyciem a kosztem. A kosztów, których nie potrafisz zmierzyć, nie przypiszesz do niczego".

Powiedział też coś, co podważa założenie większości tegorocznych budżetów. „Ceny tokenów mocno spadały w latach 2023–2025", stwierdził, ale „wypłaszczyły się, a w nowych modelach rosną". AI określa dziś jako „największą i najszybciej rosnącą pozycję w budżetach technologicznych przedsiębiorstw".

Trzy dni później ukazały się dwie publikacje, które pokazują, dlaczego problem pomiaru jest trudniejszy, niż się wydaje.

O wysokości rachunku decyduje konfiguracja

7 sierpnia Databricks opublikował swój wewnętrzny playbook kosztów kodowania z AI. Autorami są Patrick Wendell i czterech współpracowników, a tekst recenzowali szefowie infrastruktury z czterech firm: Stripe, Coinbase, Uber i Ramp. Autorzy piszą, że krzywa kosztów pozostawiona sama sobie „w końcu przekroczy przychody".

Strojenie harness i ustawień cache zmniejszyło liczbę generowanych tokenów o blisko połowę, bez zauważalnego spadku jakości. Kierowanie zapytań do najtańszego modelu zdolnego je obsłużyć obniżyło średni koszt zadania o ponad 30%, przy jakości mniej więcej równej najdroższemu modelowi w zestawie. A kiedy programista wpisuje coś w rodzaju „zbadaj i napraw ten błąd", to zdanie stanowi znikomy ułamek tego, co faktycznie trafia do modelu — rachunek zdominowany jest przez kontekst, którego użytkownik wprost nie przekazuje.

Databricks identyfikuje też dźwignię zwiększenia efektywności kosztowej modeli. Firma rozdziela intelligence frontier, gdzie laboratoria konkurują szczytową zdolnością, od efficiency frontier — zbioru modeli o najlepszym stosunku poziomu inteligencji do ceny. Ten drugi, jak przekonuje Databricks, przesuwa się szybciej. Dowody są jak na firmowego bloga wyjątkowo konkretne. Stripe przetestował Opus 4.7, nie znalazł istotnej poprawy jakości wobec 4.6 przy wyższym koszcie i nie udostępnił go wewnętrznie. Databricks zmierzył regresję kosztową przy porównaniu Opus 5.0 z 4.8. Obie firmy zbudowały własne benchmarki, bo — jak ocenia Databricks — publiczne benchmarki słabo odwzorowują realną wydajność w kodowaniu.

Databricks sprzedaje infrastrukturę, której ten playbook wymaga — Unity AI Gateway i meta-harness Omnigent — a własne oszczędności opisuje jako „orientacyjne, oparte na nieformalnej ankiecie wśród zespołów deweloperskich". Poszczególne mechanizmy da się sprawdzić; zbiorcze procenty pozostają wiedzą samej firmy.

Dziesięć procent ludzi, dziewięćdziesiąt procent wydatków

Tego samego dnia prezes Varick Agents opisał, jak wdrożenia AI w dużych firmach wyglądają od środka, na podstawie projektów prowadzonych przez jego zespół. Rozkład powtarza się niezależnie od wielkości organizacji: mniej więcej 5–10% ludzi staje się realnymi power userami, około 20% korzysta sporadycznie i nieefektywnie, a około 70% praktycznie nie sięga po narzędzia.

Jeden z jego przykładów dotyczy firmy, która rocznie płaci ośmiocyfrową (w dolarach) kwotę za tokeny, w której 10% pracowników zużywa 90% tokenów. Łatwo policzyć, że gdyby pozostałe 90% korzystało z AI tak jak górny decyl, wydatek wzrósłby mniej więcej dziesięciokrotnie.

Te liczby podaje firma, która sprzedaje rozwiązanie tego problemu. Są anegdotą z jej projektów, a nie wynikiem badania. Sama wartość jest więc mniej istotna niż struktura: przy takim rozkładzie zużycia średnia na użytkownika przestaje wiele mówić o koszcie.

Tej kwoty nie da się zaprognozować

Rachunek za AI wyznaczają trzy rzeczy: ile kosztuje token, kto go zużywa i jak skonfigurowane są narzędzia. Pierwszej nie kontrolujesz, drugiej większość firm nie potrafi jeszcze pokazać w liczbach, a trzecia potrafi zmienić rachunek o połowę.

Cena rośnie. Storment mówi wprost, że spadki się skończyły, a nowe modele są droższe od poprzednich. Prognoza zakładająca dalsze obniżanie kosztów opiera się na nieaktualnym trendzie z lat 2023–2025.

Rozkładu zużycia większość firm nie potrafi dziś pokazać w liczbach. Jeśli za dziewięćdziesiąt procent rachunku odpowiada dziesiąta część załogi, uśredniony koszt na pracownika nie jest dobrym wskaźnikiem. Im lepiej-szerzej wdrożysz AI, tym rachunek będzie wyższy.

Konfiguracja potrafi zmienić rachunek o połowę. Databricks przestroił harness i ustawienia cache, i zmniejszył liczbę generowanych tokenów o blisko połowę, bez zauważalnego spadku jakości. Techniki ograniczania rozrostu kontekstu są dopiero tworzone. Databricks to firma, która budową rozwiązań dla AI zajmuje się na co dzień. Wydawałoby się, że wykorzystywane przez nią rozwiązania będą optymalne, tymczasem koszt udało się zmniejszyć o 50% dzięki stosunkowo prostym zmianom konfiguracji.

Roczna kwota w budżecie na AI nie jest więc wiarygodną prognozą. Tokenomics Foundation powstała po to, żeby dało się porównywać przynajmniej pierwszą z tych trzech rzeczy.

Wpływ na polski rynek

Wszystko, co składa się na playbook zastosowany przez Databricks — centralna lista dozwolonych modeli, kierowanie zapytań, własny benchmark na własnym kodzie, kontrola nad konfiguracją harness, pomiar kosztu pojedynczej sesji — wymaga własnego zespołu AI. Databricks, Stripe, Coinbase, Uber i Ramp taki zespół mają. Wiele polskich firm, które korzystają z AI przez licencje Microsoftu i dzięki rozwiązaniu wdrożonemu przez integratora, nie ma takich kompetencji.

Konfigurację harness, domyślny model i zachowanie cache ustawia w tych firmach zwykle integrator, a klient dostaje fakturę. Integrator nie ma powodu, żeby ten koszt ograniczać: przy rozliczeniu od zużycia im więcej tokenów, tym wyższy jego przychód.

Zaczynać trzeba więc nie tyle od budowy własnego AI gateway, tylko od pozyskania właściwych danych. Storment mówi, że wpisanie do umowy dostępu do danych o zużyciu tokenów „nie wymaga nowych kompetencji", a pokazuje, za co się płaci. W praktyce to pytania do dostawcy: jaki model jest ustawiony domyślnie i jak możemy to zmienić, jak działa cache i czy dostaniemy szczegółowy raport zużycia tokenów.

Jest w tym też okazja dla tych, którzy na tym rynku sprzedają. Dystans między tym, co z kosztami AI potrafią zrobić firmy z czołówki, a tym, co potrafi typowe polskie przedsiębiorstwo, jest duży i rośnie. To gotowa linia usługowa.

Zanim koszt tokenów trafi do budżetu AI

Kilka pytań, odpowiedź na które pozwoli lepiej szacować koszty AI:

  1. Jednostka. Co dokładnie jest liczone i czy dostawca liczy to tak samo?
  2. Przypisanie. Czy potrafisz rozbić zużycie na modele, obciążenia, zespoły i projekty? Storment uważa to za punkt wyjścia dla dyrektora finansowego.
  3. Rozkład. Jaka część zużycia przypada na górny decyl użytkowników? Jaki rozkład zużycia planujemy?
  4. Konfiguracja. Kto ustawia domyślny model, cache i konfigurację harness — Ty czy dostawca?
  5. Kierunek. Czy prognoza zakłada dalszy spadek cen jednostkowych? Storment mówi, że ceny się zatrzymały, a w nowych modelach rosną.
  6. Powiązanie z wartością. Czy budżet jest przypisany do oczekiwanego efektu, czy to płaski limit? Ten drugi nie powie nam, czy wydatek się zwrócił.

Briefing

Biuro ds. AI przy Komisji Europejskiej zaczęło egzekwować przepisy — zatrudniło 38 osób i utworzyło kanał dla sygnalistów. Komisja rozbudowała biuro 31 lipca, a 2 sierpnia zaczęły obowiązywać przepisy o przejrzystości, z karami do 15 mln € lub 3% obrotu. Co z tego wynika: skargę z art. 50 może teraz złożyć pracownik, a nie tylko klient. Fortune

OpenAI nie wyklucza, że jego nieopublikowany model osiągnął próg Critical w cyberbezpieczeństwie, i wstrzymało nad nim prace. 7 sierpnia firma podała, że wewnętrzne testy modelu Astra pokazały tak duży postęp w kodowaniu agentowym i cyberbezpieczeństwie, że nie da się wykluczyć progu Critical z jej Preparedness Framework. Próg ten oznacza zdolność do samodzielnego pisania działających exploitów zero-day w silnie zabezpieczonych systemach produkcyjnych albo do przeprowadzenia całego, nowatorskiego ataku na podstawie samego celu ogólnego. Wszystkie wcześniejsze modele, łącznie z GPT-5.6-Sol, mieściły się na poziomie High. OpenAI wstrzymało te prace nad Astrą, które nie spełniają zaostrzonych wymogów bezpieczeństwa. OpenAI

Google ocenił lukę w Gemini CLI na szczycie skali CVSS. Novee Security pokazało, że publiczne zgłoszenie w GitHubie, założone przez osobę bez żadnych uprawnień do repozytorium, może dotrzeć do danych uwierzytelniających w procesach CI — w agentach kodujących wszystkich trzech głównych dostawców. Demonstracja działała na domyślnej konfiguracji workflow każdego z nich. The Hacker News

Podsumowanie

4 sierpnia trzydzieści firm, w tym JPMorgan Chase, IBM i Accenture, powołało organizację, która ma ustalić, jak mierzyć i przypisywać koszty tokenów. Jej dyrektor wykonawczy mówi, że ceny za token przestały spadać, a w nowych modelach rosną. Databricks, razem ze Stripe, Coinbase, Uber i Ramp, pokazał, że ta sama praca po zmianie ustawień kosztuje o połowę mniej. Z wdrożeń w dużych firmach wynika, że dziesiąta część załogi zużywa dziewięćdziesiąt procent tokenów. Rachunek za AI wyznaczają trzy rzeczy: cena tokena, to kto go zużywa, i konfiguracja narzędzi. Ceny nie kontrolujesz, zużycia w rozbiciu na ludzi zwykle nie masz, a konfiguracja potrafi zmienić rachunek o połowę. Roczna kwota w budżecie nie jest więc wiarygodną prognozą a jedynie limitem, który może osiągniemy w marcu, a może w listopadzie. W polskich realiach najsilniejsza dźwignia kosztowa jest po stronie integratora, który konfiguruje narzędzia. Zacznij od tego, żeby wpisać do umowy dostęp do danych o zużyciu.

Zachowaj równowagę, Krzysztof

Krzysztof Goworek jest założycielem Quintant — firmy doradczej, która prowadzi przedsiębiorstwa od eksperymentów AI do realnej, mierzalnej wartości.