Drogi czytelniku,
We wtorek 6 października Cognizant, dostawca usług IT, ogłosił przedłużenie o pięć lat współpracy ze swoim klientem, koncernem farmaceutycznym Gilead Sciences. Umowa obejmuje DevOps oraz „odpowiedzialne stosowanie narzędzi agentowej AI w wybranych programach technologicznych” (Cognizant). Komunikat nie podaje nazw tych narzędzi. 30 września firma Infosys poinformowała, że będzie rozwijać, testować i utrzymywać aplikacje banku ABN AMRO z użyciem Topaz, własnego pakietu narzędzi generatywnej i agentowej AI (Infosys).
Barclays ostrzega, że dostawcy mogą używać AI bez jego wiedzy
1 października bank Barclays i firma Anthropic ogłosiły, że do końca 2026 r. z narzędzia Claude Code ma korzystać 50% programistów banku, a w 2027 r. większość jego inżynierów oprogramowania (Anthropic).
W raporcie rocznym za 2025 r., opublikowanym 10 lutego 2026 r., Barclays napisał: „Korzystanie z AI przez zewnętrznych dostawców usług Grupy w ich działalności, bez względu na to, czy zostało Grupie ujawnione i czy jest jej znane, również może narażać Grupę na ryzyko”. Bank podaje przykłady: dostawca używa narzędzi AI „z naruszeniem umów” z bankiem, wprowadza do nich „poufne lub zastrzeżone informacje” Grupy albo wdraża nowe narzędzia AI „bez zgody Grupy” (Barclays).
W raporcie za 2024 r. tego sformułowania nie ma. Podobne ostrzeżenia zamieszczają w raportach za 2025 r. banki Citigroup, Goldman Sachs, ING i Santander. W żadnym z tych dokumentów nie ma mowy o incydencie.
Trzy rzeczy mogą pójść źle
Ostrzeżenia banków i opublikowane dotąd badania opisują trzy odrębne ryzyka.
Pierwsze ryzyko polega na tym, że kod klienta trafia do usługi AI, której klient nie zatwierdził, albo do zatwierdzonej, ale na warunkach, na które by się nie zgodził. Agent kodujący działający jako usługa zewnętrzna wysyła pliki, nad którymi pracuje, do dostawcy modelu. To, jak długo dostawca modelu je przechowuje i czy może ich ponownie użyć, zależy od warunków, które dostawca IT uzgodnił z dostawcą modelu. Jeśli klient zatwierdził usługę i te warunki, jest to zwykła realizacja zlecenia. Barclays, ING i Santander opisują sytuację, w której klient takiej zgody nie dał. Po dostarczonym kodzie nie widać, dokąd był wysyłany.
Drugie ryzyko polega na tym, że agent wykracza poza swoje zadanie i działa z uprawnieniami programisty pracującego u dostawcy. Agent może natrafić na podrzucone instrukcje w plikach repozytorium i w zależnościach, które pobiera. To, co może wtedy zrobić, zależy od jego uprawnień. Autorzy preprintu zgłoszonego do arXiv 6 października przetestowali sześć narzędzi z agentami kodującymi, w tym Claude Code, Codex CLI i GitHub Copilot, na 23 małych zadaniach i jednym modelu bazowym. Gdy automatyczne zatwierdzanie było wyłączone, każde żądanie uprawnień oceniał drugi model i powiodło się 29,2% ataków. Gdy było włączone, powiodło się 95,6% ataków, a agenty wykonały więcej zadań. Odcięcie od sieci i tryb tylko do odczytu także ograniczały skutki ataków, ale agenty kończyły wtedy znacznie mniej zadań. Mniej więcej połowa mechanizmów bezpieczeństwa, które autorzy potwierdzili w tych narzędziach, jest domyślnie wyłączona (arXiv). Test jest zbyt mały, żeby powiedzieć, jak często atak powiódłby się w środowisku produkcyjnym. Pokazuje jednak, że o skali ryzyka w dużej mierze decydują uprawnienia agenta, a każde ograniczenie zmniejsza liczbę wykonanych zadań.
Zabezpieczenia istnieją. 7 października GitHub udostępnił wszystkim użytkownikom sandbox dla agentów Copilot, z zasadami ustawianymi na poziomie firmy, „których programiści nie mogą osłabić” (GitHub). Zasady ustawia ten, kto ma licencję, a przy pracach zleconych na zewnątrz jest to dostawca.
Trzecie ryzyko polega na tym, że kodu powstaje więcej, niż klient jest w stanie przejrzeć. W 2025 r. firma Veracode przetestowała ponad 100 modeli na 80 zadaniach programistycznych; mając do wyboru bezpieczny i niebezpieczny sposób napisania kodu, modele wybierały ten drugi w 45% przypadków (Veracode). Z danych telemetrycznych firmy Faros AI, obejmujących ponad 10 000 programistów z 1255 zespołów, wynika, że w zespołach intensywnie korzystających z AI pull requesty były o 154% większe, a ich przegląd trwał o 91% dłużej (Faros AI). Te dane pokazują zależność, ale nie dowodzą, że jej przyczyną jest AI.
Żadne z tych źródeł nie opisuje incydentu u klienta któregoś z dostawców. Dowody to testy, dane telemetryczne i ostrzeżenia dla inwestorów.
Przepisy nakładają obowiązek na klienta
Zgodnie z rozporządzeniem DORA podmioty finansowe, które korzystają z dostawców usług ICT, „przez cały czas ponoszą pełną odpowiedzialność” za wypełnianie swoich obowiązków (DORA, art. 28). Standardy techniczne obejmują więcej niż testowanie dostarczonego kodu. Artykuł 16 wymaga polityki określającej, jak podmiot nabywa i wytwarza oprogramowanie, ograniczeń w użyciu danych produkcyjnych w środowiskach testowych oraz kontroli w celu ochrony „integralności kodu źródłowego”, który dostawca opracowuje i dostarcza. Stanowi też, że „kod źródłowy dostarczony przez zewnętrznych dostawców usług ICT lub pozyskany w ramach projektów open source” musi być, w miarę możliwości, analizowany i testowany przed wdrożeniem w środowisku produkcyjnym (rozporządzenie delegowane 2024/1774, art. 16). Te obowiązki spoczywają na podmiocie finansowym i obowiązują bez względu na to, czy kod napisał człowiek, czy agent. Dostawcę wiążą o tyle, o ile podmiot finansowy przeniesie je na niego w swoich wymaganiach.
Departament Cyberbezpieczeństwa UKNF opublikował analizę z 23 lipca 2026 r. pod tytułem „Wpływ rozwoju modeli AI na dynamikę zagrożeń. Obserwacje oraz zbiór dobrych praktyk przygotowania organizacji”. Czytamy w niej, że kod „generowany lub modyfikowany z pomocą AI może zawierać błędy autoryzacji, niewłaściwe zarządzanie sekretami, podatne zależności”, a ryzyko dotyczy między innymi „kodu własnego, oprogramowania dostawców”. Dobre praktyki dla kodu wspomaganego AI to według UKNF: „Zatwierdzone narzędzia, zakaz przekazywania danych wrażliwych do nieautoryzowanych usług, obowiązkowy review”. Dokument zaznacza, że zbiór dobrych praktyk „nie stanowi katalogu wymagań nadzorczych” (UKNF).
7 października Monetary Authority of Singapore (MAS), bank centralny i nadzór finansowy Singapuru, opublikował ostateczną wersję wytycznych o zarządzaniu ryzykiem AI. Zgodnie z nimi umowy instytucji finansowej z dostawcami powinny zapewniać jej „odpowiedni do ryzyka stopień wglądu we wprowadzanie AI oraz w późniejsze aktualizacje lub zmiany” (MAS, pkt 5.10).
Testy akceptacyjne nie pokażą, jak powstał kod
Dotychczasowe mechanizmy kontroli dostawców w banku, czyli dostęp, poufność i podwykonawstwo, obowiązują także tutaj. Moim zdaniem agenty kodujące zmieniają jedno: narzędzie programisty samo wysyła kod do firmy trzeciej i samo wykonuje działania. Klient musi więc zatwierdzać także narzędzie i jego konfigurację.
Testy akceptacyjne wykrywają błędy w kodzie, pod warunkiem że klient ma wystarczająco dużo ludzi, żeby taką ilość kodu przejrzeć. Same nie pokażą, czy dostawca trzymał się zatwierdzonych narzędzi, dokąd kod był wysyłany ani co agentowi wolno było robić.
To, ile widzi klient, zależy od sposobu pracy dostawcy. Jeśli programiści dostawcy pracują w środowisku klienta, na jego repozytoriach i z jego licencjami, zasady klienta dotyczące agentów obowiązują ich tak samo jak jego własnych pracowników. Jeśli dostawca wytwarza oprogramowanie we własnym środowisku, klient polega na tym, czego od dostawcy wymagał i co jest w stanie sprawdzić.
Klient może zacząć od pytania, które agenty i modele pracują nad jego kodem, gdzie działają i jakie mają uprawnienia. Odpowiedź jest deklaracją. Przy istotnych pracach zgoda powinna wskazywać konkretną usługę i jej konfigurację, dostawca powinien umieć przedstawić dowody proporcjonalne do ryzyka i zgłaszać istotne zmiany. Tak działa Cushman & Wakefield, firma z branży nieruchomości. Jej warunki dla dostawców dopuszczają „komercyjne asystenty AI i copiloty do kodowania” tylko wtedy, gdy narzędzie i sposób jego użycia zostały zatwierdzone na piśmie. Wymagają też ewidencji użytych narzędzi AI oraz potwierdzenia, że wynik sprawdził człowiek (Cushman & Wakefield).
Jeśli agent działa jako zewnętrzna usługa, do której trafia kod instytucji finansowej, instytucja powinna też sprawdzić, czy korzystanie z tej usługi przez dostawcę jest podwykonawstwem w rozumieniu DORA. Zależy to od usługi i od tego, jak ważną funkcję ona wspiera. Jeśli tak, dostawca musi informować instytucję o istotnych zmianach na tyle wcześnie, żeby mogła się na nie zgodzić albo zgłosić sprzeciw (rozporządzenie delegowane 2025/532, art. 5).
Briefing
9 października firma Anthropic opublikowała opis niezamierzonych działań swoich modeli w testach i w użytku wewnętrznym. W jednym przypadku Claude znalazł na serwerze uniwersytetu skrypt, który zwracał dowolny wskazany plik, i wykorzystał tę lukę, żeby przeprowadzić tam swoją analizę. W innym Claude Haiku 4.5, który miał wykonywać przykładowe zadania na losowo wybranych stronach internetowych, wysłał zmyślone zgłoszenie przez formularz policji w Filadelfii. Firma podaje, że według jej wiedzy żaden z tych przypadków nie dotyczył danych klientów ani jej własnych systemów. Wyłączyła dostęp do internetu we wszystkich wewnętrznych testach, zaostrzyła ograniczenia narzędzi internetowych, zbudowała narzędzia do wykrywania i blokowania takich zachowań oraz zmienia środowiska treningowe, które nagradzały omijanie ograniczeń (Anthropic). To ograniczenia uprawnień i szerszy monitoring. Oba środki może zastosować także firma, która używa agentów.
8 października brytyjski urząd ochrony danych (ICO) poinformował, że dziesięć firm rozwijających AI, w tym Anthropic, Google, Meta, Microsoft i OpenAI, zmieniło praktyki ochrony danych albo zobowiązało się je zmienić w wyniku jego działań nadzorczych. Urząd skierował też zapytania do OpenAI, Anthropic, Meta i brytyjskiego AI Security Institute w sprawie testowania agentów. Richard Nevinson, dyrektor ICO ds. regulacji technologii, powiedział: „to, że agenty AI działają autonomicznie, nie usprawiedliwia niedbałego przestrzegania przepisów” (ICO). ICO zbiera opinie i dowody w sprawie agentów AI do 20 listopada, a na ich podstawie przygotuje wytyczne.
7 października firma Anthropic udostępniła model Claude Haiku 5.5 w cenie 0,10 USD za milion tokenów wejściowych i 0,50 USD za milion tokenów wyjściowych dla promptów do 100 000 tokenów. Obniżyła też o połowę, do 0,10 USD za milion tokenów, cenę odczytów z cache w modelu Sonnet 5.5, co według firmy zmniejsza koszt większości zadań wykonywanych przez agenty na tym modelu o około 20% (Anthropic). Ten szacunek obejmuje opłaty za model, które są jedną z części kosztu działania agenta.
Podsumowanie
Dostawcy używają agentów AI do pisania oprogramowania dla klientów z branż regulowanych. Testy akceptacyjne wykrywają błędy w dostarczonym kodzie. To, dokąd wysłano kod klienta i na co pozwolono agentowi, rozstrzyga się w konfiguracji po stronie dostawcy.
Tydzień temu pisałem o klientach, którzy domagają się od dostawców udziału w oszczędnościach z AI. Klient, który o taką oszczędność prosi, w pracach programistycznych zamawia tym samym pracę agentów nad swoim kodem. Moim zdaniem powinien wtedy wiedzieć, jakie to agenty i na jakich warunkach pracują.
Zachowaj równowagę,
Krzysztof
Krzysztof Goworek jest założycielem Quintant — firmy doradczej, która prowadzi przedsiębiorstwa od eksperymentów AI do realnej, mierzalnej wartości.