路透社近日披露，亞馬遜在去年棄用了一個(gè)篩簡(jiǎn)歷的 AI 工具——它好像發(fā)展出了性別歧視傾向，直接通過關(guān)鍵詞篩掉了一堆女應(yīng)聘者。

信源告訴路透社，亞馬遜從 2014 年起就開始開發(fā)這個(gè)用于評(píng)價(jià)簡(jiǎn)歷的程序，它會(huì)給所有簡(jiǎn)歷按 1-5 星打分（就像在亞馬遜上給貨品評(píng)分一樣）。

“每個(gè)人都想要圣杯，” 一個(gè)信源說道，“他們真的就想把這個(gè)軟件發(fā)展成那樣的引擎，給它 100 個(gè)簡(jiǎn)歷，它立馬給你排出最優(yōu)秀的 5 個(gè)，我們直接雇傭他們就好了。”

可是，這個(gè)程序被人類投喂的訓(xùn)練資料是過去 10 年亞馬遜收到的簡(jiǎn)歷。它在回顧這些簡(jiǎn)歷后挑選出 5 萬個(gè)關(guān)鍵詞用作評(píng)判標(biāo)準(zhǔn)，學(xué)習(xí)到的是人類 HR 招人的模式。

該模式顯然有不完善之處。在這個(gè)本來就由男性主導(dǎo)的科技界，招聘中有話語權(quán)的人因?yàn)榉N種原因更樂意招入男性。這也告訴了系統(tǒng)，具有男性特質(zhì)的簡(jiǎn)歷總會(huì)是公司青睞的選擇，因而它耿直地把帶有“女子的”（women’s）名詞降權(quán)（比如“女子象棋俱樂部”），直接篩掉兩所女校的畢業(yè)生，并且傾向使用“男性化”用語的簡(jiǎn)歷，比如“執(zhí)行”（executed）和“捕捉”（captured）。

工程師們?cè)谝荒旰蟀l(fā)現(xiàn)了這個(gè)問題，立刻修改了程序，期望它在某些問題的判斷上對(duì)所有人都持中立”態(tài)度。然而這并不能保證軟件不會(huì)在其他地方、以別的形式歧視某個(gè)人群。而且亞馬遜還發(fā)現(xiàn)，軟件有時(shí)會(huì)留下根本不達(dá)標(biāo)的候選人，智能比較有限。他們最終在去年年初放棄了這個(gè)工具，因?yàn)楦邔訉?duì)它的表現(xiàn)失去了信心。

有越來越多的公司開始使用 AI 軟件篩第一輪簡(jiǎn)歷，據(jù)悉有 55% 的美國人力資源經(jīng)理說 AI 會(huì)在 5 年內(nèi)成為他們?nèi)粘９ぷ鞯闹�手。這個(gè)案例可能會(huì)給予他們一些啟示——機(jī)器從人類給予的材料中習(xí)得他們潛意識(shí)中的偏見，最終在“算法偏見”的影響下區(qū)別對(duì)待被評(píng)判的對(duì)象，做出錯(cuò)誤判斷或顯示錯(cuò)誤結(jié)果。

這種機(jī)器偏見跨越各個(gè)領(lǐng)域：一個(gè)叫做 COMPAS 的系統(tǒng)通過計(jì)算罪犯再次犯罪的可能來給罪犯量刑提供指導(dǎo)，但是它的結(jié)果明顯表現(xiàn)了種族傾向，當(dāng)一個(gè)白人犯罪老手和黑人新手同天被錄入系統(tǒng)時(shí)，機(jī)器認(rèn)為黑人更可能在未來犯罪（兩年后，白人因搶劫罪被判刑 8 年，黑人未受任何指控）；今年 2 月，MIT 發(fā)現(xiàn)三大性別識(shí)別 AI（分別來自 IBM、微軟和曠視）判斷白人男性的準(zhǔn)確率達(dá)到 99%，對(duì)黑人女性的準(zhǔn)確率是 35%，因?yàn)樵谒鼈兘邮艿淖R(shí)圖訓(xùn)練里，白人男性數(shù)量遠(yuǎn)遠(yuǎn)超過黑人女性。

深度學(xué)習(xí)公司 MetaMind Richard Socher 曾指出，AI 已經(jīng)滲透了我們的生活，所以它們不帶任何偏見是至關(guān)重要的，沒人有意將系統(tǒng)設(shè)計(jì)得具有偏見，但是“如果用糟糕的數(shù)據(jù)去訓(xùn)練它，它就會(huì)做出糟糕的判斷”。

令專家們感到擔(dān)憂的是，雖然有越來越多的系統(tǒng)顯出了偏見，但是很多公司和政府決策者，要么過于相信系統(tǒng)，要么對(duì)限制這種偏見并不感興趣。