AI發展這一年：不斷衍生的技術丑聞與抵制聲潮

作者 | AI Now學院

譯者 | Raku

編輯 | Jane

【導讀】10月2日，紐約大學AI Now學院在紐約大學斯克博劇院（Skirball Theatre）組織召開了第四屆年度AI Now研討會。研討會邀請了業內組織者、學者和律師帶來演講，并共同登臺探討相關工作，這次研討會圍繞五大熱議話題，重點探討了AI負面影響以及不斷擴大的抵制聲潮。

五大熱議問題：

• 面部與情感識別

• 從“AI的偏見”向公正的轉變

• 城市、監控、邊界

• 勞動力、工人組織與 AI

• AI 對氣候的影響

第一個小組討論了AI在警務與邊境控制中的用途；第二個小組與布魯克林的租戶組織者進行了交談，他們反對房東在建筑物中使用面部識別系統；第三個小組以民權律師為由起訴密歇根州，該小組使用了錯誤且有偏見的算法；最后一個小組討論的重點是藍領技術人員，從亞馬遜倉庫到演出經濟驅動程序，向小組人員講解他們在過去一年中的組織和重大成就。

AI Now聯合創始人凱特·克勞福德（Kate Crawford）和梅雷迪斯·惠特克（Meredith Whittaker）以總結一年來關鍵時刻的簡短講話作為開場白，研討會上有四個小組在研討會上發表了看法，以下是他們演講的摘錄。

1、面部與情感識別

2019 年，公司和 政府都紛紛加大在公共住房、招聘和城市街道中推廣人臉識別的力度。現在，一些美國航空公司甚至也用此來代替 登機牌，聲稱這樣會更方便。

同樣，情感識別也得到了更廣泛的應用，通過解釋面部的微表情來“讀取”我們的內在情緒。正如心理學家麗莎·費爾德曼·巴 雷 特（Lisa Feldman Barret）在一份廣泛的調查報告中所表明的，這類人工智能相貌學沒有可靠的科學基礎。但是，它已經在課堂和工作面試中，在人們不知情的情況下被使用了。

例如，喬治敦（Georgetown）隱私和技術中心獲得的文件顯示，未經個人同意或未經州、聯邦立法者的授權，FBI和ICE一直在悄悄訪問駕照數據庫，對數百萬張照片進行面部識別搜索。

但是今年，隨著ACLU的Kade Crockford、羅切斯特理工學院的Evan Selinger和東北大學的Woodrow Hertzog等學者和組織者呼吁對嚴格限制使用面部識別后，選民和立法者對這項技術的使用也開始采取相應的舉措。第九巡回上訴法院最近裁定，Facebook可能因未經用戶許可對照片進行面部識別而被起訴，稱這是對隱私的侵犯。

由于媒體正義組織（Media Justice）等組織的領導，今年5月，舊金山簽署了第一個面部識別禁令，隨后另外兩個城市也開始禁止面部識技術的應用。并且現在有一位總統候選人承諾全國范圍內的禁令；很多音樂家要求在音樂節上停止面部識別；還有一項名為《禁止生物特征住房壁壘法案》的聯邦法案，其目標是在公共房屋中進行面部識別。

同樣，面試識別的應用在歐洲也不順利。英國議會委員會要求停止對面部識別的試驗，直到建立法律框架為止，而且最近發現布魯塞爾警方對這些AI工具的使用是非法的。

當然，這些改變需要大量的工作。而且還要明確一點，這不是需要完善技術或是消除偏差的問題。考慮到對監視、跟蹤、逮捕的人種和收入的差異，即使是非常準確的面部識別也會產生危害。正如凱特·克勞福德（Kate Crawford）最近在《自然》雜志上寫的那樣——消除對這些系統的偏差并不是重點，它們“發生錯誤時是危險的，成功了則是有害的”。

2、從“AI的偏見”向公正的轉變

今年，我們還看到了一些重要的變化，從只 關注技術層面的人工智能“去偏見”，轉向對司法公正的實質性 關注。

許多令人不安的事件在一定程度上推動了這一點。

例如，密歇根州的前州長里克·斯奈德（Rick Snyder）是一位技術主管，同時也是弗林特水危機的負責人，他決定在全州范圍內安裝一個自動化決策系統，稱為MiDAS。它旨在自動標記涉嫌福利欺詐的工人。為了削減成本，該州安裝了MiDAS并解雇了整個欺詐檢測部門。但事實證明，93％的時間MiDAS系統都會出錯。錯誤地指控了40,000多名居民，從而引發了許多破產乃至自殺事件。但是，MiDAS只是緊縮政策的一部分，這些政策旨在讓窮人成為替罪羊。

AI Now政策總監Rashida Richardson負責一個案例研究警察日常工作與預測性警務軟件之間聯系。她和她的團隊發現，在美國各地的許多警察部門中，預測性警務系統可能會使用來自種族主義和腐敗的警務記錄。

顯然，在這種情況下糾正偏差與刪除數據集中的變量無關，需要改變的是警察制作數據的做法。人權數據分析小組的研究人員克里斯蒂安·盧姆（Kristian Lum）在她開創性工作“算法如何放大警務中的歧視性”問題中也表明了這一點。

最近，凱特·克勞福德（Kate Crawford）和AI Now藝術家研究員特雷弗·帕格倫（Trevor Paglen）還在他們的Training Humans展覽中探討了分類政治，這是首個 關注創建機器學習系統的訓練數據的大型藝術展覽。這個項目從1963年Woody Bledsoe的第一個實驗，到最著名和使用最廣泛的基準集，如Wilded Labeled Faces和ImageNet，回顧了AI訓練集的歷史和邏輯。

今年9月，數百萬人上傳了他們的照片來看他們將如何被ImageNet分類。這是一個具有重大意義的問題。ImageNet是規范的對象識別數據集。它在塑造AI產業方面做得比其他公司都多。

雖然ImageNet的一些類別很奇怪，甚至很有趣，但數據集也充滿了極具問題的分類，其中許多是種族主義者和厭惡婦女主義者（misogynist）。Imagenet Roulette提供了一個界面，使人們可以查看AI系統如何對它們進行分類。克勞福德（Crawford）和帕格倫（Paglen）發表了一篇調查文章，展示了他們如何在多個基準訓練集上揭開它們的面紗，以揭示其體系結構。

這也是為什么藝術和研究結合在一起有時比單獨時更有影響力的一個原因，這讓我們考慮由誰來定義我們所處的類別，以及會產生什么后果。

3、城市、監控、邊界

能源，分類和控制問題是今年在美國大規模部署公司監視系統的前景。以亞馬遜的Ring為例，它是一款監控攝像頭和門鈴系統，旨在讓人們能夠7*24小時全天候監控家和附近地區。

亞馬遜正在與400多個警察部門合作推廣Ring，希望警察說服居民購買該系統，這有點像把警察變成挨家挨戶推銷安防系統的銷售員。

作為交易的一部分，亞馬遜將持續獲得視頻片段；警察可以隨時調用他們想要的監控的視頻。該公司已經在這一領域申請了人臉識別專利，這表明他們希望能夠將攝像頭拍攝的對象與“可疑人員數據庫”進行對比，從而有效地在全國范圍內建立私有化的家庭監控系統。

但是Ring并不是解決這個問題的最佳方案。正如Burku Baykurt，Molly Sauter和AI Now研究員Ben Green學者所表明的那樣，“智慧城市”的技術烏托邦式言論掩蓋了更深層次的不公正和不平等問題。

居民小區也在考慮這個問題。8月，圣地亞哥居民抗議安裝“智能”燈桿。今年6月，紐約州洛克波特市的學生和家長抗議學校使用面部識別系統，該系統能夠隨時追蹤和繪制任何學生或老師的信息，目前此系統已暫停使用。

這些工具最被濫用的地區之一是在美國南部邊境，在那里，ICE，海關和邊境巡邏隊正在部署AI系統。目前，有52,000名 移 民被關在監獄、拘留所或其他限制自由的場所，還有4萬名無家可歸者在邊界的墨西哥一側等待庇護。到目前為止，在過去的一年中，有7名兒童在ICE羈押期間死亡，許多兒童面臨的食物和醫療不足。這些恐怖的事情確確實實在發生。

根據倡導組織Mijente的一份重要報告，我們知道，亞馬遜(Amazon)和Palantir等公司正在為ICE驅逐難民提供出境理由。為了反對以上的行為和組織，有數十所大學的2000多名學生簽署了不與Palantir合作的承諾，在與ICE簽約的科技公司總部，幾乎每周都有抗議活動。

4、勞動力，工人組織與AI

當我們審視AI領域日益增長的多樣性問題時，種族，階級和性別等方面的結構性歧視問題將得到充分顯示。

4月，AI Now發布了由AI Now博士后Sarah Myers West負責的Discriminate Systems。這項研究展示了AI內部歧視性文化與AI系統中嵌入的偏差與歪曲事實之間的反饋回路。調查結果令人震驚，正如AI行業將自己確立為財富和權力的紐帶一樣，它也變得更加同質。這一領域顯然存在一個普遍的問題。

但是也有越來越多的人呼吁變化。最早呼吁問責的人之一是肯尼亞研究生阿瓦·姆博雅（Arwa Mboya）。從Google 罷工到Riot Games，再到與CEO面對面的Microsoft員工，我們已經看到了多家科技公司的一系列罷工和抗議，所有都要求消除工作中的種族和性別不平等。

現在，AI Now聯合創始人梅雷迪思·惠特克（Meredith Whittaker）于今年早些時候離開了Google。她對行業的發展方向越來越感到震驚，事情變得越來越糟，而不是更好，因此，她和她的同事們開始圍繞工作場所中AI的不當使用和濫用等現象展開行動。

用于工人管理的AI平臺也是一個日益嚴重的問題。從Uber到Amazon倉庫，這些龐大的自動化平臺指導員工行為，設定績效目標并確定員工工資，使員工幾乎沒有控制權。例如，今年早些時候，Uber大幅削減了工人的工資，沒有任何解釋或警告，而是通過對其平臺的更新悄悄地實施了這一變更。

幸運的是，我們也看到了這些工人的一些重大勝利。CA的Rideshare工人在AB-5法中取得了巨大勝利，該法案要求基于應用程序的公司向駕駛員提供全面的就業保護。與現狀相比，這是一個巨大的變化。

5、AI對氣候的影響

所有這些問題的背景都是氣候。

AI非常耗能，并消耗大量自然資源。來自Amherst的研究員Emma Strubell在今年早些時候發表了一篇論文，揭示了訓練AI系統的巨大碳足跡。她的團隊表明，僅創建一種用于自然語言處理的AI模型，就可以排放多達600,000磅的二氧化碳，相當于往返紐約與北京125次飛行的耗能。

大型AI的碳消通常被隱藏在諸如“云”類產品背后。實際上，據估計目前世界的計算基礎設施所的碳排放量與航空業一樣多，占全球排放量的很大比例。

不斷涌現的抗議聲音

大家可以看到越來越多的抵制AI濫用的浪潮涌現。

很明顯，人工智能引發的問題是社會、文化和政治問題，而不僅是技術問題。這些問題，從刑事司法到工人權利，再到種族和兩性平等，都有悠久的歷史。

2019年的AI技術的濫用提醒我們，還有一個機會來決定接受哪類AI以及如何使其承擔責任。可視化時間軸中所代表的組織，立法和獎金涵蓋了過去一年中抵制AI的負面影響和無法說明的技術力量的一些關鍵時刻。這不是詳盡的清單，而是工作人員、組織者和研究人員積極抵制AI負面影響的某些方式的快照。

原文鏈接：

https://medium .com/@AINowInstitute/ai-in-2019-a-year-in-review-c1eba5107127

https://www.toutiao.com/i6749828780862210568/