Autor przez Autumn Spredemann za pośrednictwem Epoch Times,

Kod generowany przez sztuczną inteligencję stał się codziennym stałym dla programistów w całym spektrum technologicznym. Te cyfrowe narzędzia znacznie ułatwiły pisanie długiego kodu. Jednak eksperci twierdzą, że ten kompromis wiąże się z nowymi zagrożeniami bezpieczeństwa i ciągłej potrzeby nadzoru człowieka.

Deweloperzy twierdzą, że sztuczna inteligencja (AI) obniża wiele pracy w pisaniu kodu, ale doświadczeni programiści dostrzegają wady w niepokojącym tempie.

Firma zajmująca się testowaniem bezpieczeństwa Veracode opublikowany Badania w lipcu – z ponad 100 narzędzi AI Model Large Language (LLM) – które pokazały, podczas gdy AI generuje kod roboczy z zadziwiającą prędkością, jest również pełna potencjału cyberatakowego.

W raporcie odnotowano 45 procent próbek kodu, które nie powiodło testów bezpieczeństwa i wprowadziło luki określone przez organizację non -profit cyberbezpieczeństwa, otwarty światowy projekt bezpieczeństwa aplikacji.

Naukowcy Veracode nazywali ustalenia badań „pobudką dla programistów, liderów bezpieczeństwa i każdego, kto polegał na sztucznej inteligencji, aby szybciej się poruszać”.

Niektórzy eksperci twierdzą, że duża liczba wad bezpieczeństwa nie jest szokująca, biorąc pod uwagę aktualne ograniczenia AI z kodowaniem.

„Jestem zaskoczony, że odsetek nie jest wyższy. Kod generowany przez AI, nawet gdy działa, ma zwykle wiele logicznych wad, które po prostu odzwierciedlają brak kontekstu i troskliwości”, Kirk Sigmon, programista i partner w kancelarii własności intelektualnej Banner Witcoff, powiedział The Epoch Times.

Badacz cyberbezpieczeństwa i były operator misji w Iris Lunar Rover, Harshvardhan Chunawala, porównali pisanie kodu AI do budynku domowego. Powiedział, że to tak, jakby szkic AI szybki plan domu, ale plan może zawierać drzwi, które nie blokują, okna, które nie pasują, lub okablowanie, które jest niebezpieczne.

A wraz z postępem AI do krytycznej infrastruktury cyfrowej, powiedział, że system nie tylko robi „plany”, ale zamawianie materiałów i rozpoczęcia budowy przed inspekcją fundamentu.

„Ludzki architekt nadal musi sprawdzić każdy szczegół, zanim„ dom ”będzie bezpieczny do życia” Powiedział Chunawala.

Sigmon ma duże doświadczenie w kodowaniu z AI i jej podzbiorem, uczeniem maszynowym. Użył ostatniego przykładu, aby podkreślić ograniczenia kodu generowanego przez AI.

„Pewnej nocy pomagałem znajomemu zaprogramować stronę internetową o tematyce kosmicznej i starałem się sprawdzić, czy LLM może dać mi szybki i łatwy kod dla panoramicznych gwiazdek dla CSS3 dla tła strony”-powiedział.

Sigmon zauważył, że wyniki były rozczarowujące i wykazały aktualne ograniczenia AI.

„Dane wyjściowe modelu rzeczywiście zawierały kod, który próbował generować gwiazdy, ale zrzuciło je wszystkie w prawym górnym rogu przeglądarki i zamiast ładnie jeździć, sprawili, że stroby jak jakiś improwizowany entuzjazm”-powiedział.

„Wiedział, że rysuje gwiazdy w tle i wiedział, że powinny migotać, ale nie miał większego kontekstu, dlaczego tego chcę, a tym bardziej, jak może wyglądać estetycznie”.

Sigmon powiedział, że kod generowany przez AI tworzy również leniwe nawyki, które będą miały wpływ na przyszłość branży.

„Jakość kodu stała się znacznie gorsza. Jednym z bardziej niepokojących problemów jest po stronie akademickiej. Jeśli uczniowie mogą korzystać z modeli AI do generowania swoich projektów domowych, nie uczą się dobrych praktyk kodowania”, Powiedział.

Kod halucynacyjny

Sigmon powiedział, że nauczył się kodować sposób, w jaki robiło to wielu programistów oldschoolowych: poprzez próbę i błąd.

„Gotowa dostępność leniwego, generowanego przez AI kodu oznacza, że ​​nowi absolwenci wchodzą do siły roboczej, a także generują złe [or] Niewiarygodny kod, co oznacza, że ​​wiele programów po prostu się pogarsza ”, Powiedział.

W związku z tym wiele nowoczesnych baz kodowych jest w dużej mierze niezrozumiałe lub niezbyt przydatne, według Sigmona.

„Kiedyś byłem w stanie odebrać pracę każdego innego kodera i z grubsza rozumieć ich zamiary… w dzisiejszych czasach wiele z nich daje mi kaleczący ból głowy” Powiedział.

Osoba trzyma telefon wyświetlający Logo Chatgpt Openai STRICICICATIC Inteligence w Bretanii we Francji, 26 lutego 2025 r. Vincent Feuray/Hans Lucas/AFP za pośrednictwem Getty Images

Kolejny koder i były menedżer treści internetowych, który poprosił tylko o odwołanie się do jego imienia, Jamesa, zgodził się z Sigmonem.

„Musisz być bardzo ostrożny w swoich edycjach. Po prostu nie możesz zaufać kodowi AI” James powiedział The Epoch Times. Powiedział, że koderzy muszą zachować ostrożność, ponieważ im bardziej złożony jest projekt, tym gorsze „halucynacje” AI będą.

Kiedy AI postrzega wzór lub obiekt, który albo nie istnieje, albo jest niezauważalny dla ludzkich obserwatorów, może tworzyć dane wyjściowe, które są nielogiczne, albo po prostu błędne. Ten wzór jest często skierowane Jako „halucynacja”, a James powiedział, że może to być irytująca część radzenia sobie z kodeksem generowanym przez AI.

„Możesz dostać się dość daleko [in code] Zanim zda sobie sprawę, że jest błąd, a sztuczna inteligencja była po prostu halucynacyjna ” Powiedział.

Halucynacje AI już dokonały nagłówki dla problemów, które mogą stworzyć w miejscu pracy. W badaniu z 2024 r. Obserwowano, że LLM miało wskaźnik „halucynacji” od 69 do 88 procent, w oparciu o odpowiedzi na określone zapytania prawne.

Stanford Reglab i Institute for Human Centered Ai Badaczy znaleziony Wydajność LLM „pogarsza się w przypadku bardziej złożonych zadań, które wymagają szczegółowego zrozumienia problemów prawnych lub interpretacji tekstów prawnych”.

W niedawnym obok siebie porównanie Z jednych z największych produktów LLM – Claude, Gemini i Chatgpt – Claude miał najniższy wskaźnik „halucynacji”, wynoszący około 17 procent.

Wrzucając kolejny klucz do równania, James powiedział, że AI czasami podwaja swoje błędy, a nawet ich broni.

„Stało się tak, gdy opracowywałem aplikację bojową odgrywającą role. Chciałem po prostu zdobyć nazwę z pierwszego pliku, a [AI] Tracił to i starał się pobrać inne dane z tego samego pliku – powiedział James.

Kiedy James wskazał błąd, powiedział, że narzędzie AI „odmówiło odpuszczenia”. To problem, który napotkał z kilkoma różnymi narzędziami AI w kategorii LLM.

Zmiana klimatu

Chunawala powiedział, że AI przełomu do pisania kodu.

“Największą zmianą dla amerykańskich informatyków była szybkość. Tam, gdzie deweloperzy spędzili kiedyś na konfigurując szkielet programu lub pisali powtarzające się przypadki testowe, AI może teraz wyciągnąć te w ciągu kilku minut ”, powiedział Chunawala The Epoch Times.

Powiedział jednak, że ta nowa prędkość wiąże się ze znaczącym wyzwaniem: zaufaniem.

„AI często generuje kod, który na pierwszy rzut oka wygląda bezbłędnie, ale kiedy dokładnie go badasz, odkrywasz luki w logice, przestarzałych metodach lub subtelnych wadach, które mogą zagrozić bezpieczeństwu” Powiedział Chunawala.

Ekspert ds. Bezpieczeństwa cybernetycznego, Nick Nikiforakis, powiedział Epoch Timesowi, że AI jest dobra w pisaniu kodu „bojownika”.

„Nie jest to trudne do napisania; jest powtarzalne, a jednak jest to coś, co jest wymagane. AI wyróżnia się w tworzeniu tego rodzaju kodu, którego można użyć przy minimalnych modyfikacjach, zakładając, że podpowiedź obejmowała wszystkie właściwe specyfikacje”, powiedział Nikiforakis.

Uważa, że ​​werdykt wciąż jest dostępny, czy przeciętny programista może tworzyć kod z mniejszą liczbą błędów niż jego odpowiednik generowany przez AI. To powiedziawszy, Nikiforakis uważa, że ​​„kodowanie atmosfery” może stworzyć niebezpieczny scenariusz.

Ukute przez AI badacz Andrej Karpathy, „Kodowanie kodowania” to metoda tworzenia oprogramowania, która wykorzystuje narzędzia LLM do generowania kodu z podpowiedzi języka naturalnego, przy czym programista koncentruje się na celach, opiniach i eksperymentach w porównaniu z przeglądem lub edytowaniu samego kodu AI.

Kodowanie atmosferyczne stało się synonimem pomysłu, że ludzki programista może po prostu zaufać sztucznej inteligencji, aby poprawić to, jednocześnie skupiając się na szerszym obrazie.

Nikiforakis mówi, że to problematyczne.

„Jeśli masz ludzi, którzy nie piszą oprogramowania na życie i nigdy nie marzyli o wypróbowaniu przed AI, to ich jedyny wskaźnik na temat tego, czy oprogramowanie jest dobre, to jego funkcjonalność” – powiedział.

„Niestety jest to przypadek„ nie wiesz, czego nie wiesz ” I dlatego ci użytkownicy nie byliby w stanie rozpoznać wrażliwości, która trafia do oprogramowania produkcyjnego. ”

Zdjęcie z pliku nieudane pokazujące ostrzeżenie „wirusa” i kody binarne na ekranie komputera. Peter Byrne/Pa

Nikiforakis powiedział, że jeśli oprogramowanie kodowane kodem stanie się popularne, będzie to „przepis na katastrofę”.

Chunawala powiedział, że kod AI powinien być traktowany poważnie z punktu widzenia bezpieczeństwa.

„Badania wykazały, że około 40 do 45 procent aplikacji generowanych AI zawiera luki w zabezpieczeniach. Innymi słowy, prawie połowa oprogramowania stworzonego z AI może dać atakującym otwarcie”-powiedział.

Chunawala podkreślił, że te luki w zabezpieczeniach nie są abstrakcyjne. Nazywał je „bardzo realnym ryzykiem” i podał przykłady, takie jak brak odkażania wkładu użytkownika, co może umożliwić zakracie złośliwych poleceń.

Kolejnym ryzykiem bezpieczeństwa z kodem generowanym przez AI jest poleganie na przestarzałych „bibliotek”, które hakerzy już wiedzą, jak wykorzystać.

„Dzieje się tak, ponieważ sztuczna inteligencja jest przeszkolona w zakresie ogromnych kodeksu publicznego, a znaczna część tego kodu publicznego zawiera już błędy”, ” Powiedział Chunawala.

„Model nie rozróżnia najlepszej praktyki i złych praktyk; odtwarza oba. Bez dokładnego przeglądu człowieka i poręczy te słabe plamy trafiają prosto do systemów produkcyjnych” – dodał.

Ale na tym polega kolejny problem: ludzcy koderzy i programiści tracą pracę z AI w przyspieszającym tempie.

Badania z Rezerwy Federalnej St. Louis wskazuje Posty ofertowe dla programistów spadają od 2022 roku.

James jest częścią siły roboczej, która stara się znaleźć stałą pracę, odkąd został zwolniony z resztą swojego działu w lutym. Kiedy cztery lata temu szukał pracy, James powiedział, że pracodawcy praktycznie „rzucają w niego pieniądze”.

Teraz, powiedział, rynek pracy jest zalany utalentowanymi programistami szukającymi pracy.

„Częściowo jest to wydajność sztucznej inteligencji. Możemy robić to, co zrobiliśmy wcześniej, ale możemy to zrobić znacznie szybciej. Nie potrzebujesz dodatkowych ludzi. Być może potrzebowałeś dwóch lub trzech programistów, ale teraz potrzebujesz tylko jednego,„ powiedział James, podkreślając, że konkurencja o pracę w jego polu jest ”przez dach”.

„W idealnym świecie potrzebowałbyś zespołu, aby przejrzeć wszystko, co kompilacje AI. Ale decyzje te zwykle nie są podejmowane przez ludzi, którzy rozumieją technologię” – powiedział.