Premiera raportu „Równanie Płci 2” - bias płciowy w 18 modelach AI, w liczbach

Rok temu pokazaliśmy na kilku przykładach, że modele językowe kodują stereotypy płciowe. Dziś publikujemy kontynuację - „Równanie Płci 2” - w której zamiast wrażeń są liczby: osiem baterii testów (E1-E8), 18 modeli AI, 330 kontrolowanych ocen CV i zderzenie z oficjalnymi danymi Eurostat. Raport jest bezpłatny -

Pobierz PDF raportu „Równanie Płci 2”

Najważniejsze wnioski w 60 sekund

1. „Nowszy i większy model” nie znaczy „mniej uprzedzony”. Najbardziej stronnicze w naszych testach okazały się nowoczesne, wyspecjalizowane modele polskie; topowy GPT-4o pisał w rodzaju męskim częściej niż kilka znacznie mniejszych modeli; a klasyk sprzed lat wcale nie wypadł najgorzej.
2. Skala uprzedzeń różni się między modelami nawet czterokrotnie (średni efekt WEAT od 0,28 do 1,05) - i nie da się jej przewidzieć z rozmiaru, daty premiery ani renomy. Trzeba mierzyć konkretny model na konkretnym zadaniu.
3. Model odzwierciedla realny rozkład płci w zawodach (korelacja z danymi Eurostat r = −0,5) - czyli nie „zmyśla” stereotypów, tylko je utrwala. Zostawiony sam sobie będzie reprodukować dzisiejsze proporcje, zamiast dawać równe szanse.
4. Chatboty domyślnie „myślą o mężczyźnie”: większość modeli opisuje pracownika w rodzaju męskim w 90-95% przypadków - nawet w zawodach silnie sfeminizowanych.
5. AI oceniające CV bywa sprawiedliwe - ale nie każde. Większość modeli daje identycznym kwalifikacjom identyczne punkty, jednak popularny otwarty model Llama 3.1 8B konsekwentnie ocenia mężczyznę o +5,2 pkt wyżej za dokładnie to samo CV.
6. Da się to naprawić. Prosty, mierzalny debiasing zbija największe uprzedzenia (1,47) niemal do zera (0,30).

Dlaczego to ważne - i dla kogo

Dla HR i rekrutacji. Jeśli AI przegląda u Was CV, rankinguje kandydatów albo streszcza aplikacje - wybór modelu przesądza, czy do procesu wchodzi niewidoczna, systematyczna przewaga jednej płci. Nasz test pokazał różnice od 0 do +5 pkt za identyczne kwalifikacje, a luka rośnie właśnie na stanowiskach stereotypowo „męskich”, gdzie kobiety już są niedoreprezentowane. Udokumentowany audyt biasu to też element należytej staranności wobec rosnącego ryzyka prawnego dyskryminacji algorytmicznej.

Dla marketingu i firm budujących komunikację „do kobiet” lub „do mężczyzn”. Model nosi w sobie gotową mapę tego, co „męskie”, a co „żeńskie” - od zawodów po cechy charakteru (kompetencja vs ciepło). Gdy AI personalizuje treści, targetuje ogłoszenia albo podpowiada kreacje, ta mapa może po cichu segmentować odbiorców wbrew intencjom kampanii: ofertę „dla inżyniera” pokaże głównie mężczyznom, „dla pielęgniarki” - kobietom. Jeśli budujecie strategię komunikacji opartą na AI, warto tę mapę znać, zanim zrobi to za Was algorytm.

Dla każdego, kto pisze z pomocą AI. Ogłoszenia o pracę, opisy stanowisk, komunikacja do klientów - chatbot domyślnie napisze je „w rodzaju męskim”, pomijając połowę odbiorców. Inkluzywny język trzeba na modelu świadomie wymusić.

Co dokładnie zmierzyliśmy

Pierwsza część raportu („Równanie Płci”) była sygnałem ostrzegawczym opartym na garści przykładów - jak słynne równanie na embeddingach „praca − mężczyzna + kobieta”. Tym razem przez baterię standaryzowanych testów przepuściliśmy 18 modeli: sześć nowoczesnych modeli embeddingowych (polskich, wielojęzycznych i chmurowych), klasyczny fastText oraz jedenaście modeli czatowych - od małych 3-miliardowych po GPT-4o. Siłę uprzedzeń mierzy test WEAT (Word Embedding Association Test): jedna liczba - wielkość efektu d - plus istotność statystyczna z 10 000 permutacji. Wszystkie biegi są deterministyczne i odtwarzalne.

Ranking uprzedzeń: przewrotny wynik

Najbardziej stronnicze okazały się nowoczesne, wyspecjalizowane modele polskie MMLW (średnie |d| ≈ 1,05, w baterii Nauka vs Sztuka aż d = +1,47). To nie błąd, tylko skutek specjalizacji: model trenowany głównie na polskim tekście lepiej rozumie niuanse naszego języka - i razem z tą biegłością wchłania polskie stereotypy. Wielojęzyczne giganty chmurowe wypadają „czyściej” nie dlatego, że są sprawiedliwsze, lecz dlatego, że słabiej wyłapują polskie zależności.

Co ciekawe, klasyczny fastText - „stara szkoła” AI - plasuje się w środku stawki, a w wymiarze nauka/sztuka jego uprzedzenie (d = +1,40) jest praktycznie na poziomie najnowszych modeli polskich. Przez lata rozwoju AI ten stereotyp nie zniknął. Smaczek: w słowniku starego modelu w ogóle brakowało feminatywów jak „górniczka” czy „strażaczka” - gdy powstawał, te formy nie były jeszcze w powszechnym użyciu.

Mapa „męskich” i „żeńskich” zawodów w głowie modelu

Zrzutowaliśmy 38 zawodów na wyznaczoną w modelu „oś płci”. Rozkład wiernie odtwarza potoczne stereotypy: na biegunie „męskim” inżynier, żołnierz, strażak, górnik i prezes; na „żeńskim” pielęgniarz, kosmetolog i nauczyciel przedszkola. To jest dokładnie ta mapa, według której AI może targetować ogłoszenia i dobierać ilustracje do stanowisk - wydobyta na światło.

Lustro, które utrwala

Czy model po prostu odbija rzeczywistość? Zestawiliśmy jego „mapę płci” z oficjalnymi danymi Eurostat (BAEL/LFS 2023) o realnym udziale kobiet w zawodach. Korelacja jest wyraźna: r = −0,50, a po ograniczeniu do zawodów dobrze dopasowanych do statystyk rośnie do −0,55. Model naprawdę śledzi rzeczywistość - i to jest właśnie problem. Jeśli dziś wśród inżynierów jest 20% kobiet, AI wspierające rekrutację będzie tę proporcję reprodukować. Uprzedzenie nie musi wyolbrzymiać rzeczywistości, żeby szkodzić - wystarczy, że ją zamraża.

Polski kontra angielski

Polszczyzna jest gramatycznie „przesiąknięta” płcią (lekarz/lekarka, zrobił/zrobiła) - czy to znaczy, że polskie modele muszą być bardziej stronnicze? Nie ma jednej reguły: modele chmurowe mają uprzedzenia silniejsze po angielsku (bo tam się „wychowały”), polski MMLW - silniejsze po polsku. Uprzedzenia nie mieszkają w gramatyce, tylko w danych treningowych. Praktyczna pułapka: wynik z angielskich benchmarków nie przenosi się na polskie wdrożenie - testuj model w języku, w którym będzie faktycznie pracował.

Chatboty: domyślnie męski

Wykorzystaliśmy cechę polszczyzny: czasownik w czasie przeszłym zdradza rodzaj. Poprosiliśmy 11 modeli czatowych o opisanie osoby na danym stanowisku - i policzyliśmy, jak często wybierają formę męską. Większość: 90-95% przypadków, nawet dla zawodów silnie sfeminizowanych. I znów mit rozmiaru upada: GPT-4o wybiera formę męską w 80% - częściej niż kilka mniejszych modeli, a najbardziej zrównoważony okazał się średni Mistral Small 24B (53%).

Czy AI sprawiedliwie oceni CV

Najważniejszy test raportu. Klasyczny audyt parami: identyczne CV, różniące się wyłącznie imieniem i nazwiskiem - raz Piotr Nowak, raz Anna Nowak. Jedenaście modeli w roli rekrutera, skala 0-100, łącznie 330 ocen. Każda różnica to czysty efekt płci.

Dobra wiadomość: większość modeli jest skalibrowana do neutralności - 127 z 162 par dostało identyczny wynik. Zła wiadomość kryje się w rozrzucie: Llama 3.1 8B - jeden z najczęściej wdrażanych modeli otwartych - systematycznie ocenia mężczyznę o +5,2 pkt wyżej za to samo CV. A luka rośnie na stanowiskach „męskich”: dla inżyniera budowy średnio +1,70 pkt. Kobieta traci najwięcej dokładnie tam, gdzie już jest niedoreprezentowana.

Kluczowa obserwacja: jawna ocena ≠ brak uprzedzeń. Modele nauczono nie dyskryminować, gdy pyta się je wprost o punkty - ale utajone skojarzenia z embeddingów i generacji wciąż w nich są i mogą przeciekać do mniej oczywistych zastosowań: rankingów kandydatów, streszczeń CV, dopasowań do ofert.

Da się to naprawić

Skoro w przestrzeni modelu potrafimy wyznaczyć „oś płci”, możemy ją też odjąć. Po debiasingu największe uprzedzenia spadają najmocniej: MMLW e5-large z 1,47 do 0,30, MMLW e5-base z 1,22 do 0,14. Prosta operacja liniowa, mierzalny efekt. To nie jest ostateczne rozwiązanie - subtelniejsze skojarzenia mogą przetrwać - ale dowód, że „świadome AI” to nie hasło marketingowe, lecz konkretna, wykonalna procedura: zmierz, dobierz model, skoryguj.

Co z tym zrobić w swojej firmie

• Audytuj model przed wdrożeniem - testem parami, na własnym zadaniu i we własnym języku. Różnice między modelami są wielokrotne i nieprzewidywalne z materiałów marketingowych.
• Nie zakładaj neutralności „dużego, dobrego modelu” - renoma nie zastępuje pomiaru.
• Uważaj na stanowiska i segmenty stereotypowo „męskie” lub „żeńskie” - tam bias jest najsilniejszy.
• Trzymaj człowieka w pętli decyzji - AI jako wsparcie, nie źródło rozstrzygnięć o ludziach.

Pobierz pełny raport

Pełny raport „Równanie Płci 2” - z kompletem wykresów, metodyką i częścią techniczną - jest dostępny bezpłatnie:

Pobierz PDF raportu „Równanie Płci 2”

Chcesz dostawać kolejne raporty prosto na skrzynkę? Zapisz się do newslettera poniżej. A jeśli zastanawiasz się, jak zmierzyć uprzedzenia modelu, którego używacie - albo jak odpowiedzialnie wdrożyć AI w rekrutacji czy komunikacji - napisz do nas, pokażemy, jak robimy to w praktyce.