z halucynacje-twoje-aresztowanie dział

Ten artykuł został ponownie opublikowany z Rozmowa na licencji Creative Commons. Przeczytaj oryginalny artykuł.

20 października 2025 r. w hrabstwie Baltimore w stanie Maryland 17-letni uczeń Taki Allen siedział przed szkołą średnią po treningu piłki nożnej, gdy kamera monitorująca wykorzystująca sztuczną inteligencję fałszywie zidentyfikowała torbę Doritos w jego kieszeni jako pistolet. Po chwili przyjechały radiowozy, funkcjonariusze wyciągnęli broń, a Allena rzucono na kolana i zakuto w kajdanki podczas przeszukania. Jedyne, co znaleźli, to zmiętą paczkę chipsów. Błędna identyfikacja AI i wynikające z niej ludzkie decyzje zamieniły zwykły wieczór w traumatyczną konfrontację.

24 grudnia 2025 r. Angela Lipps, babcia z Tennessee, została zwolniona po pięciu miesiącach więzienia z powodu nieprawidłowego działania oprogramowania do rozpoznawania twarzy błędnie powiązał ją z przestępstwami związanymi z oszustwami w Północnej Dakocie, stanie, którego nigdy nie odwiedziła. Policja aresztowała ją na muszce, gdy opiekowała się czwórką wnuków.

Są to niefortunne przykłady tego, jak sztuczna inteligencja może prowadzić do złego traktowania ludzi z powodu wad technicznych, a także błędnej wiary ludzkiej w rzekomą obiektywność technologii. Przypadki te dotyczą różnych narzędzi, ale zasadniczy problem jest ten sam. Systemy sztucznej inteligencji generują prawdopodobieństwa, a ludzie traktują je jako pewniki.

Jesteśmy badaczami którzy studiują skrzyżowanie technologii, prawa i administracji publicznej. Badając, w jaki sposób policja wykorzystuje sztuczną inteligencję i jak technologie cyfrowe działają w społeczeństwie demokratycznym, zaobserwowaliśmy, jak szybko w praktyce następuje przejście od przewidywań probabilistycznych do pewności operacyjnej.

Narzędzia policyjne AI są wykorzystywane w kilkudziesięciu amerykańskich miastchociaż żaden rejestr publiczny nie śledzi pełnego zasięgu. Narzędzia przetwarzają historyczne dane dotyczące przestępczości i oceniają dzielnice przewidywane ryzyko aby funkcjonariusze mogli zostać skierowani do powstałych gorących punktów. Mechanizm jest prosty, ale jego konsekwencje już nie. Gdy system zasygnalizuje potencjalne zagrożenie, pytanie nie dotyczy już pewności przewidywania, ale tego, co z nim zrobić. Dane statystyczne zamieniają się w decyzję o rozmieszczeniu, a niepewność, która ją wywołała, znika po drodze.

Kwestia prawdopodobieństwa

Kiedy generatywne modele AI, takie jak ChatGPT czy Claude, odpowiadają na prośby ludzi, nie przeszukują bazy danych i nie wyciągają faktów. Przewidują najbardziej prawdopodobną odpowiedź na podstawie wzorców danych, na których zostali przeszkoleni. Na pytanie: „Kto wynalazł żarówkę?” modele nie sięgają do źródła ani nie sprawdzają ustaleń. Generują statystycznie prawdopodobną odpowiedź, którą jest „Thomas Edison”. Odpowiedź może być słuszna, ale może nie oddawać pełnej historii – na przykład równoległego wynalazku Josepha Swana w tym samym czasie co Edisona. Niebezpieczeństwo pojawia się, gdy ludzie wierzą, że model przywraca prawdę, a nie generuje prawdopodobieństwa.

To rozróżnienie ma znaczenie. Najbardziej prawdopodobna odpowiedź to nie to samo, co odpowiedź zweryfikowana pod względem faktycznym i uzupełniona kontekstem.

Ta rzeczywistość może być bardzo problematyczna dla policji i prawo. Na przykład, gdy organy ścigania korzystają Systemy AI szkolone na danych geograficznych aby oszacować, gdzie prawdopodobne jest wystąpienie działalności przestępczej, algorytmy analizują historyczne dane dotyczące przestępczości i wzorce geograficzne. Systemy te generują statystyczne oceny ryzyka lub mapy cieplne dla lokalizacji na podstawie wcześniejszych incydentów. Jednak takie przewidywania mogą mieć niewielki wpływ na to, kto był zamieszany w nowe przestępstwo na danym obszarze, nawet jeśli algorytm generuje informacje, które wydają się wiarygodne.

Niektórzy badacze argumentowali, że predykcyjne systemy policyjne nie zwiększają prawdopodobieństwa wystąpienia mniejszości rasowych będzie częściej aresztowany w stosunku do tradycyjnych praktyk policyjnych. Szersze obawy nie ograniczają się jednak do samych mierzalnych rozbieżności w wynikach aresztowań. Chodzi o to, jak probabilistyczne przewidywania mogą stać się standaryzowanymi decyzjami operacyjnymi bez dalszej weryfikacji.

Badacze zajmujący się sztuczną inteligencją przestrzegają przed wykorzystywaniem tych modeli w izolacji do celów przestępstw, postępowań prawnych lub podejmowania decyzji. Badania w Laboratorium Technologii Cyfrowych dla Demokracji Uniwersytetu Wirginii z szefami policji pokazuje, że niektóre grupy organów ścigania przestrzegają rygorystycznych zasad, które określają, kiedy technologia ma być używana w połączeniu z ludzką dyskrecją lub zamiast niej, podczas gdy inne nie mają takiej polityki.

Większość użytkowników nie zdaje sobie sprawy, że systemy sztucznej inteligencji rzadko dają binarne odpowiedzi: tak lub nie, identyfikacja pozytywna lub negatywna. Generują prawdopodobieństwa. Niektóre systemy przypisują wyniki, które oceniają pewność systemu w zakresie przewidywań. W takich przypadkach inżynierowie ustalili próg ufnościpoziom pewności określający, kiedy system powinien wywołać alert o możliwym zagrożeniu. Można myśleć o tym progu jako o ustawieniach pokrętła sterującego. Na przykład poziom ufności wynoszący 95% wskazuje, że model uważa swoją interpretację za taką wysoce prawdopodobne.

Niski próg wychwytuje więcej potencjalnych zagrożeń, ale zwiększa liczbę fałszywych alarmów. Wysoki próg zmniejsza liczbę błędów, ale stwarza ryzyko przeoczenia rzeczywistych zagrożeń. Tak czy inaczej, te algorytmiczne progi są często niewidoczne dla opinii publicznej i ustalane po cichu przez dostawców lub agencje, mimo że kształtują się w momencie rozpoczęcia działań policji.

Gdzie narysować linię

W medycynie tego rodzaju kompromisy są oczywiste. Narzędzia diagnostyczne są kalibrowane na podstawie względnej szkodliwości różnych błędów. Na przykład w przypadku chorób zakaźnych systemy wykrywające infekcje są często zaprojektowane tak, aby akceptować więcej wyników fałszywie pozytywnych, aby uniknąć pominięcia osób zakaźnych. Następnie lekarze badają przypadki u ludzi. I decyzje oparte na algorytmach podlegają standardom zawodowym, przeglądom etycznym i nadzorowi regulacyjnemu.

W działaniach policyjnych system sztucznej inteligencji musi zrównoważyć wyniki fałszywie pozytywne, gdy system sygnalizuje zagrożenie, które nie istnieje, i fałszywie negatywne, gdy nie wykrywa prawdziwego zagrożenia. Kompromis niesie ze sobą istotne konsekwencje. Niższy próg może generować więcej ostrzeżeń i umożliwić funkcjonariuszom wcześniejszą interwencję, ale zwiększa również ryzyko błędnej identyfikacji, co przydarzyło się Angeli Lipps, lub eskalacji spotkań, takich jak ten, którego doświadczył Taki Allen. Wyższy próg może ograniczyć bezprawne interwencje, ale może pozwolić na niewykrycie uzasadnionych zagrożeń.

Niektóre organy ścigania twierdzą, że lepiej jest działać na podstawie niedoskonałych sygnałów pomijanie poważnych zagrożeń. Jednak obniżenie poprzeczki dla alertów algorytmicznych opartych na szacunkach probabilistycznych skutecznie zwiększa liczbę osób objętych uwagą policji. Należy zdać sobie sprawę, że progi te nie są neutralną cechą technologii; są wyborami osadzone przez twórców w kodzie modelu. Decyzje o tym, gdzie wytyczyć granicę, określają, kiedy algorytmiczne podejrzenie staje się realną akcją policji, mimo że opinia publiczna rzadko widzi lub nie debatuje nad tym, jak te progi są ustalane.

Granice optymalizacji

Deweloperzy często używają kilku metod, aby określić, gdzie ustawić próg ufności. Techniki takie jak „analiza krzywej charakterystyki pracy odbiornika” sprawdź, jak zmiana progu alertu zmienia równowagę pomiędzy prawidłowym identyfikowaniem rzeczywistych zdarzeń a błędnym oznaczaniem nieszkodliwych. Analiza precyzji i przypomnienia analizuje podobny kompromis, zadając pytanie, jak dokładne są alerty systemu w stosunku do liczby pomyślnie wykrytych incydentów.

Podejścia te mogą pomóc w bardziej odpowiedzialnej kalibracji systemów poprzez sprawdzenie, jak często algorytm błędnie oznacza osoby lub lokalizacje. Dostrajanie może poprawić wydajność systemu. Techniki te nie są jednak w stanie rozwiązać podstawowego pytania, ile niepewności algorytmicznej jest skłonne tolerować społeczeństwo.

Zgodnie z prawem prawne standardy dowodowe określają, jak przekonujący musi być dowód, zanim sędzia lub ława przysięgłych będzie mogła wydać orzeczenie na korzyść powoda lub pozwanego. Sądy stosują formalne standardy dowodowe w zależności od stawki, np prawdopodobna przyczyna, przewaga materiału dowodowego I ponad wszelką wątpliwość. Standardy te odzwierciedlają ocenę społeczną dotyczącą dopuszczalnego poziomu niepewności przed wykonaniem władzy prawnej. Sąd nie akceptuje domysłów ani przewidywań; opiera się na procesie ważenia dowodów. W przeciwieństwie do ludzi model sztucznej inteligencji zwykle nie mówi: „Nie jestem pewien”. Model zazwyczaj ma pewność co do swojej odpowiedzi, nawet jeśli jest ona błędna.

Stawka rośnie, gdy sztuczna inteligencja wkracza na salę sądową, do organów ścigania, do klas, do gabinetów lekarskich i do sektora publicznego. Ważne jest, aby ludzie zrozumieli, że sztuczna inteligencja nie wie rzeczy tak, jak wielu zakłada. Nie rozróżnia „być może” i „zdecydowanie”. To zależy od nas. Wierzymy, że technolodzy powinni projektować systemy uwzględniające niepewność i edukować użytkowników w zakresie odpowiedzialnego interpretowania wyników sztucznej inteligencji.

Marii Lungu jest doktorantem Prawa i Administracji Publicznej na Uniwersytecie im Uniwersytet Wirginii I Stevena L. Johnsonajest profesorem nadzwyczajnym handlu na Uniwersytecie im Uniwersytet Wirginii

Zapisano pod: AI, aresztowania, policja, bezprawne aresztowanie