Anthropic przed debiutem giełdowym uruchamia własny alarm bezpieczeństwa: postęp AI szybszy niż oczekiwano
Anthropic ujawnił w dokumentacji IPO, że tempo postępów w badaniach nad AI uruchomiło dodatkowe mechanizmy bezpieczeństwa firmy. Instytucja oceniająca METR odkryła, że postępy technologiczne Anthropic w ostatnim roku były równoważne z poprzednimi dwoma latami, a AI uczestnicząca w własnym rozwoju przyspiesza ten proces. Ryzyko utraty kontroli spowodowane przez rekursyjne samodoskonalenie budzi również obawy w dziedzinie bezpieczeństwa AI.
Anthropic wkrótce zadebiutuje na Wall Street, jednak w dokumentacji dotyczącej wejścia na giełdę ujawniono ostrzeżenie dotyczące bezpieczeństwa: postępy firmy w zakresie badań nad AI osiągnęły ustalony przez nią próg bezpieczeństwa, co wymaga wdrożenia dodatkowych środków kontroli.
19 listopada brytyjski „Financial Times” poinformował, że Anthropic w zaktualizowanych dokumentach IPO przyznaje, że tempo rozwoju technicznego firmy uruchomiło dodatkowe mechanizmy bezpieczeństwa określone w „Polityce Odpowiedzialnego Rozszerzania” (Responsible Scaling Policy) z 2023 roku. Ujawnienie tej informacji następuje właśnie wtedy, gdy firma ustala cenę emisji IPO na 83 USD za akcję, wyżej niż wcześniejsze szacunki, a wycena wynosi około 1,5 biliona dolarów.
Wyzwalaczem mechanizmu bezpieczeństwa jest raport opublikowany w tym miesiącu przez instytucję METR zajmującą się oceną AI. Po uzyskaniu szerokiego dostępu do systemów Anthropic, personelu oraz niewydanych modeli, METR odkryła, że postępy firmy w AI w ciągu ostatniego roku odpowiadają blisko dwóm latom wcześniejszych osiągnięć. Badacze, wspomagani narzędziami AI, coraz bardziej przyspieszają rozwój, będąc istotnym czynnikiem tej tendencji.
Tempo rozwoju AI podwaja się, uruchamiając wewnętrzny mechanizm bezpieczeństwa
METR jest instytucją badawczą koncentrującą się na ocenie zaawansowanych możliwości AI oraz związanych z nimi ryzyk. Z najnowszego raportu wynika, że Anthropic w ciągu 12 miesięcy osiągnął postęp techniczny odpowiadający około dwóm latom historii, a tempo wzrostu zdolności w porównaniu z rokiem poprzednim podwoiło się.
Ta prędkość osiągnęła próg bezpieczeństwa wyznaczony przez Anthropic. Zgodnie z polityką firmy z 2023, jeśli tempo rozwoju AI pozwala skondensować dwa lata postępu technologicznego w ciągu jednego roku, konieczne jest zastosowanie bardziej rygorystycznej kontroli bezpieczeństwa.
Anthropic podkreśla, że ta decyzja opiera się na przewidywaniach co do możliwości przyszłych modeli oraz ogólnego tempa rozwoju i nie oznacza, że systemy AI już są zdolne do pełnej samodzielnej poprawy. Nowe środki obejmą zabezpieczenia, struktury zarządzania oraz wewnętrzne kontrole w procesie opracowywania modeli.
Sam McCandlish, członek zarządu Anthropic, stwierdził, że wnioski METR są zgodne z jego własnymi obserwacjami. Przyznał, że AI przyspiesza prace badawcze firmy, lecz wpływ ten trudny jest do precyzyjnego oszacowania.
AI bierze udział w swoich badaniach – ryzyko rekursywnej poprawy rośnie
Za przyspieszonym rozwojem technicznym stoi fakt, że AI coraz częściej uczestniczy w tworzeniu kolejnych generacji systemów AI. Proces ten określany jest jako „rekursywna poprawa” (RSI), gdzie system AI wykorzystuje swoje zdolności do wspierania budowy bardziej zaawansowanych modeli.
Anthropic w prospekcie giełdowym podkreśla, że zdolność jednego modelu do zamkniętej współpracy przy tworzeniu następnego stanowi ważną przewagę konkurencyjną firmy i znacząco poprawia efektywność wykorzystania mocy obliczeniowej.
Ta zdolność jednak niesie nowe ryzyka bezpieczeństwa. Prezes Apollo Research, Marius Hobbhahn, zaznacza, że dotychczas wśród badaczy panowały rozbieżne opinie co do terminu realizacji rekursywnej poprawy, a dziś okno czasowe szybko się skraca, podczas gdy branża nie jest jeszcze odpowiednio przygotowana pod kątem bezpieczeństwa.
Instytucja AI Futures Project twierdzi, że przyspieszenie ujawnione przez METR jest zaskakujące, a pojawienie się nadludzkich badaczy AI może nastąpić już w 2027 roku. Organizacja zaleca pilne zawieszenie lub istotne spowolnienie rozwoju zaawansowanych systemów AI.
Prezes Anthropic, Dario Amodei, także we wrześniu ubiegłego roku sugerował konieczność wprowadzenia „ograniczenia prędkości” dla rekursywnej poprawy w AI, gdyż postępy mogą nastąpić znacznie szybciej niż przewidywano.
Podejście do bezpieczeństwa budzi wątpliwości, narasta krytyka z zewnątrz
W momencie ujawnienia uruchomienia mechanizmu bezpieczeństwa coraz więcej zewnętrznych podmiotów kwestionuje podejście Anthropic do bezpieczeństwa.
W środę, z inicjatywy organizacji non-profit Center for AI Safety, grupa badaczy AI i zwolenników bezpieczeństwa, w tym założyciele Hugging Face oraz xAI, opublikowała oświadczenie publiczne, zarzucając Anthropic wykorzystywanie wizerunku firmy bezpiecznej w celu przyciągnięcia inwestorów, pracowników i opinii publicznej, stwierdzając jednocześnie, że „nie jest to bezpieczna firma AI”.
Oświadczenie podkreśla, że Anthropic z jednej strony ostrzega, iż rekursywna poprawa może prowadzić do koncentracji władzy i utraty kontroli przez człowieka, a z drugiej intensywnie pracuje nad tymi technologiami.
Podobne obawy pojawiają się również w branży AI. Członek rady dyrektorów OpenAI i badacz bezpieczeństwa AI, Paul Christiano, niedawno w podcaście zaznaczył, że rosnący poziom automatyzacji w rozwoju AI może w krótkim czasie doprowadzić do powstania bardzo potężnych systemów. Jeśli branża doświadczy gwałtownej eksplozji inteligencji i osiągnie superinteligencję, człowiek może ostatecznie utracić kontrolę nad tymi systemami.
Hobbhahn uważa, że nawet jeśli IPO Anthropic zakończy się niepowodzeniem, a rynek finansowy AI pogrąży się w stagnacji, nie powstrzyma to dalszych postępów technologicznych. Stwierdził, że obecne laboratoria AI mają dość środków, by sfinansować przynajmniej dwie rundy dużych przełomów technicznych – nawet jeżeli nastąpi pęknięcie bańki rynkowej, mogą powstać modele znacznie przewyższające ludzkie możliwości.
Zastrzeżenie: Treść tego artykułu odzwierciedla wyłącznie opinię autora i nie reprezentuje platformy w żadnym charakterze. Niniejszy artykuł nie ma służyć jako punkt odniesienia przy podejmowaniu decyzji inwestycyjnych.
Może Ci się również spodobać
Na miesiąc przed IPO dwóch gigantów, Anthropic i SpaceX, Bitcoin spadł o 22%. Jak logika płynności napędza przyszłe trendy rynkowe?
Główny strateg inwestycyjny SBET przypisuje to zjawisko „szybkim wzrostom korelacji między aktywami spowodowanym przez wydarzenia płynnościowe” — inwestorzy sprzedają aktywa kryptowalutowe, aby wziąć udział w głośnych IPO. Analizując rynek według tej logiki, większość domów maklerskich wymaga od inwestorów, aby po przydziale nowych akcji odczekali 15 do 30 dni przed ich sprzedażą. Po debiucie SpaceX na giełdzie, w 31. dniu cena ETH przewyższyła poziom z dnia IPO, a w 70. dniu trend spadkowy BTC się odwrócił.

WeRide Q3 przychody wzrosły o 88% rok do roku, przychody z infrastruktury AI prawie się podwoiły, kwartalne przychody Robotaxi po raz pierwszy przekroczyły 100 milionów juanów | Raport finansowy
WeRide odnotowało w trzecim kwartale przychody na poziomie 320 milionów juanów, przewyższając rynkowe oczekiwania wynoszące 270 milionów juanów; strata netto wyniosła 310 milionów juanów, co jest lepszym wynikiem niż prognozowane 400 milionów juanów straty. Przychody z zagranicy wzrosły rok do roku o 171,5%, co przyczyniło się do wzrostu marży brutto do 43%. Działalność Robotaxi w Kantonie po raz pierwszy osiągnęła pozytywną rentowność jednostkową. Jednak wzrost wydatków na badania i rozwój spowodował zwiększenie skorygowanej straty, a rentowność firmy wciąż wymaga poprawy.
Weteran technologiczny z Wall Street Niles uważa, że Anthropic (ANT.US) wygra w wojnie cenowej AI agentów! Ostrzega jednak, że cena akcji może spaść poniżej ceny emisji.
Anthropic IPO przekroczyło oczekiwania, jednak Dan Niles ostrzega przed ryzykiem związanym z wyceną, spowolnieniem wzrostu przychodów z AI oraz konkurencją cenową.
Po odejściu Jensena Huanga Nvidia stoi w obliczu nowego zagrożenia: utraty najlepszych inżynierów
Tysiące pracowników Nvidia podpisało petycję, domagając się przywrócenia Jensen Huanga na stanowisko prezesa; część z nich publicznie krytykuje decyzję rady nadzorczej, a niektórzy już ogłosili swoje odejście. Tymczasowa CEO, Kress, przyznała podwyżki i nagrody w akcjach, by ustabilizować zespół, jednak AMD, Broadcom oraz startupy AI próbują wykorzystać sytuację i przejąć specjalistów. Analitycy ostrzegają, że odejście pięciu do dziesięciu kluczowych liderów technologicznych może wpłynąć na decyzje dotyczące architektury chipów i oprogramowania, iterację produktów i rozwój kolejnej generacji technologii AI.

