Ekonomiści lubią rysować trójkąty. W handlu nie można mieć wysokich ceł, odwetu i niezmienionych cen. W polityce pieniężnej nie można ustalać stóp procentowych, ustalać podaży pieniądza i obiecywać doskonałej stabilizacji. W przypadku zatrudniania na nierównych warunkach początkowych istnieje podobny trójkąt, który pomija większość debat na temat uczciwości w zatrudnianiu.

Kiedy firmy zwracają się do algorytmów w celu przydzielania rzadkich stanowisk pracy, przyciągają je trzy atrakcyjne cele: wysoka wydajność (wybór kandydatów, którzy najprawdopodobniej osiągną dobre wyniki), silna reprezentacja (spraw, aby wyniki były w przybliżeniu odzwierciedlały udziały w grupie) i silna neutralność formalna (mechaniczne stosowanie tych samych zasad do wszystkich).

Problem jest prosty, ale niewygodny: nie można zdobyć wszystkich trzech na raz. Mogą wybrać dowolne dwa, ale trzeci pójdzie w złym kierunku. To jest „trylemat sprawiedliwości”, a kiedy go zobaczysz, wiele zamieszania wokół algorytmów zatrudniania oraz inicjatyw dotyczących równości i włączenia społecznego zacznie wyglądać mniej jak tajemnica, a bardziej jak standardowa teoria cen. Oficjalne oświadczenie i dowód można znaleźć w moim dokumencie roboczym: „Trilemma uczciwości: twierdzenie o niemożności zarządzania algorytmicznego.”

Stara obietnica

Przez pewien czas historia wielu firm na temat zatrudniania była prosta. Uprzedzenia żyły w ludzkich głowach. Nieefektywność wynikała z przeczucia. Rozwiązanie było oczywiste: standaryzacja, automatyzacja, pomiar. Zastąp dyskrecję danymi, a zatrudnianie stanie się zarówno sprawiedliwsze, jak i skuteczniejsze.

Ta historia wywołała falę inwestycji w programy DEI i algorytmiczne narzędzia do zatrudniania. Dostawcy obiecali coś niezwykle atrakcyjnego zarówno w zakresie porządku publicznego, jak i ładu korporacyjnego: poprawę moralności bez kompromisów. Lepsze wyniki dla grup znajdujących się w niekorzystnej sytuacji, brak utraty wydajności i mniej niewygodnych rozmów na temat dyskrecji i władzy.

Algorytmiczne systemy zatrudniania były sprzedawane jako sposób na wyjście z kłopotów. Przekopuj życiorysy i aplikacje, dowiedz się, co przewiduje wydajność, egzekwuj „uczciwość” matematycznie i pozwól modelowi zadbać o równowagę.

Algorytmy nie eliminują jednak dyskrecji. Przenoszą to – do projektowania modelu, do wyboru danych, do samej definicji „uczciwości”. I mają tendencję do przenoszenia go do miejsc, które są trudniejsze do zobaczenia i trudniejsze do pokonania.

Przypowieść w trzech rogach

Przydatną przypowieścią jest słynna obecnie historia eksperymentalnego algorytmu zatrudniania firmy Amazon. System, przeszkolony na podstawie historycznych życiorysów i decyzji o zatrudnieniu, nauczył się, że kandydaci, których profile przypominały profile byłych pracowników płci męskiej, częściej otrzymywali wysokie oceny na stanowiskach technicznych. W praktyce obniżyło ocenę życiorysów, które wyglądały na „kobiece”, co odzwierciedlało zdominowaną przez mężczyzn siłę roboczą w branży technologicznej.

W wąskim sensie technicznym model nie działał nieprawidłowo. Zoptymalizował wydajność predykcyjną na podstawie danych, które otrzymał. Zastosowała tę samą zasadę punktacji do wszystkich kandydatów. Było skuteczne i formalnie neutralne. Nie udało mu się jednak wygenerować reprezentatywnych wyników na podstawie niereprezentatywnych danych.

W tym momencie firma stanęła przed trzema możliwościami, które wyraźnie pokrywają się z trylematem. Mógłby zachować model i zaakceptować nierówne wyniki (efektywność + neutralność, słaba reprezentacja), dodać ograniczenia uczciwości, aby popchnąć wyniki w kierunku parytetu i zaakceptować niższą dokładność predykcji (efektywność + reprezentacja, słabsza neutralność) lub ponownie wprowadzić ludzki osąd i obejścia, aby skorygować wzorzec (reprezentacja + dyskrecja, słabsza formalna neutralność). Amazon ostatecznie odszedł od systemu.

Podobny łuk rozegrał się z Wywiady wideo AI HireVue. Firma reklamowała automatyczną analizę wyrazu twarzy, tonu i doboru słów jako sposób na ujednolicenie i wyeliminowanie stronniczości badań przesiewowych na wczesnym etapie. Krytycy zwracali uwagę, że cechy te korelują ze stanem niepełnosprawności, neurodywergencją i pochodzeniem demograficznym w sposób, który trudno uzasadnić jako związany z pracą. Pod rosnącą presją HireVue całkowicie porzucił analizę twarzy.

W obu przypadkach nie powiódł się sam pomysł przeprowadzenia przeglądu. Zawiodła wiara, że ​​pomiar może być neutralny w świecie nierównych warunków początkowych i że wydajność, reprezentację i neutralność można uzyskać „za darmo” z odpowiedniego modelu.

Model zabawki

Prosty model ma przejrzystą strukturę. Wyobraźmy sobie firmę, która musi obsadzić stałą liczbę stanowisk z puli kandydatów podzielonej na dwie grupy, A i B. Kandydaci z obu grup są oceniani na podstawie modelu predykcyjnego, który szacuje prawdopodobieństwo ich sukcesu. Ze względu na nierówne warunki początkowe – jakość nauczania, wcześniejsze doświadczenie, pochodzenie – grupa A ma wyższy średni przewidywany wskaźnik sukcesu niż grupa B. Firma przyjmuje zasadę jednego progu: zatrudniaj wszystkich, których przewidywany wynik sukcesu przekracza pewien z góry określony poziom.

W przypadku nierównych stawek podstawowych jedna reguła nie może obejmować wszystkich trzech. Nie może wybrać kandydatów o najwyższych oczekiwanych wynikach; mieć pracowników z grup A i B mniej więcej odpowiadających ich udziałom w puli kandydatów (lub populacji); i zastosować ten sam próg do wszystkich. Jeśli firma upiera się przy dużej efektywności i silnej neutralności, ustala jeden wspólny próg. Osoby zatrudnione będą nieproporcjonalnie losowane z grupy A, czyli grupy z wyższymi przewidywanymi wynikami. Reprezentacja odbiega od udziałów grupowych.

Jeżeli nalega na dużą efektywność i silną reprezentację, musi złagodzić neutralność, wprowadzając progi lub wagi specyficzne dla grupy, tak aby zatrudniać więcej kandydatów z grupy B, jednocześnie starając się wybrać spośród nich najlepszych. Jednak kandydaci z A i B, którzy uzyskali ten sam wynik, są traktowani inaczej.

Jeśli będzie nalegać na silną reprezentację i silną neutralność – te same zasady dla wszystkich, podobne stawki zatrudnienia w poszczególnych grupach – nie będzie wybierać łącznie kandydatów z najwyższymi wynikami. Powoduje to, że część kandydatów z wyższymi wynikami zostaje pozbawiona zatrudnienia, a przyjmuje kandydatów z niższymi wynikami, poświęcając wydajność, chyba że i do czasu, gdy znikną podstawowe nierówności.

Jest to trylemat sprawiedliwości w najprostszej formie. Możesz wybrać dowolne dwa rogi trójkąta, ale trzeci obróci się przeciwko tobie. Niemożność nie wynika przede wszystkim z uczenia maszynowego; chodzi o przydzielanie ograniczonych przydziałów czasu na start lub lądowanie na nierównych warunkach.

Niedobór nie znika; porusza się

Ekonomiści widzieli ten film już wcześniej. Rozważ kontrolę czynszów. Kiedy pułapy cenowe zostaną narzucone poniżej poziomów oczyszczających rynek, niedobory nie znikają. Porusza się. Objawia się kolejkami, kontrolą pozacenową, płatnościami bocznymi i pogarszającą się jakością. Właściciele, którzy nie mogą racjonować czynszu, będą racjonować go listami oczekujących, sieciami osobistymi i dyskrecją. Prace empiryczne, np badanie Diamonda – McQuade’a – Qiana dotyczące kontroli czynszów w San Francisco ilustruje ten wzór.

Systemy rekrutacji zachowują się w podobny sposób. Ogranicz jeden mechanizm alokacji, a niedobór znajdzie inny kanał. Gdy wskaźniki wydajności nie mogą zapewnić racjonowania ze względu na ograniczenia uczciwości, organizacje racjonują za pomocą komitetów, wyjątków, przeglądu całościowego i nieprzejrzystych zastąpień. Każdy ruch zachowuje dwa narożniki trylematu, rozluźniając trzeci. Ograniczenia polityczne dostosowują niedobory; ; nie sprawiają, że niedobory znikają.

Co firmy powinny zrobić

Pytanie się zmienia, gdy przyjmiemy, że nie da się zmaksymalizować wydajności, reprezentacji i formalnej neutralności na raz. Zamiast pytać: „Jak wyeliminować uprzedzenia bez kompromisów?” firmy muszą zadać sobie pytanie: „Jaki margines chcemy rozluźnić i gdzie powinna znajdować się dyskrecja?”

Bardziej uczciwe podejście do równości i włączenia w algorytmach zatrudniania przyniosłoby co najmniej trzy rzeczy. Jasno określ priorytety i zaprojektuj zarządzanie wokół tego wyboru. Pozostaw swobodę tam, gdzie można ją monitorować – zorganizowane komitety, udokumentowane zmiany, procesy przeglądu – zamiast zakopywać oceny wartościujące w projekcie modelu i nieprzejrzystych wskaźnikach rzetelności. I przestań sprzedawać algorytmy jako magiczne kule. Modele nie mogą pomijać kompromisów wynikających z nierównych warunków początkowych; w najlepszym przypadku wyjaśniają, gdzie obowiązują ograniczenia i jakie koszty wyborów.

Celem nie jest doskonałość. To legitymizacja: otwarte decydowanie, gdzie trylemat obowiązuje w konkretnym kontekście i wzięcie odpowiedzialności za konsekwencje.

(0 KOMENTARZY)

źródło