14. 做正確的事情
拿世間的美好、醜陋與殘酷餵養 AI 系統,卻幻想它只會映照美好。
Vinay Uday Prabhu、Abeba Birhane,大規模資料集:計算機視覺的一場皮洛士式勝利?(2020)
在本書的最後一章,讓我們退後一步。全書至此,我們考察了形形色色的資料系統架構,權衡了它們的利弊,也探討了構建可靠、可伸縮、可維護應用的技術。然而,我們一直略過了討論中一個重要而根本的部分,現在該把它補上了。
每個系統都是為某種目的而建;我們採取的每個行動,都會產生預期和非預期的後果。目的也許只是賺錢,但對世界造成的影響可能遠遠超出最初的目的。身為構建這些系統的工程師,我們有責任仔細思考這些後果,並有意識地選擇自己希望生活在怎樣的世界中。
我們常把資料當作抽象事物來談論,但請記住,許多資料集記錄的是人:他們的行為、興趣與身份。我們必須懷著人性與尊重對待這類資料。使用者也是人,人的尊嚴至高無上 1。
軟體開發越來越多地涉及重大的倫理抉擇。ACM《倫理與職業行為準則》等指南可以幫助軟體工程師處理這些問題 2;然而在實踐中,它們很少得到討論、應用和落實。因此,工程師和產品經理有時會輕率地對待隱私,以及產品可能造成的負面後果 3、4。
技術本身並無善惡,關鍵在於如何使用它,以及它會給人帶來什麼影響。搜尋引擎這樣的軟體系統如此,槍支這樣的武器也一樣。軟體工程師不能只關注技術而無視其後果;倫理責任同樣要由我們承擔。倫理思考並不容易,卻重要得不容迴避。
可是,什麼算“好”、什麼算“壞”,並沒有明確的定義;計算領域的大多數人甚至不討論這個問題 5。不同於計算領域的許多概念,倫理學的核心概念沒有固定、確定的精確含義,而是需要解釋,並且這種解釋可能帶有主觀性 6。倫理不是照著清單逐項打勾,確認自己已經合規;它是一個參與式、迭代式的反思過程,需要與相關各方對話,並對結果負責 7。
預測分析
例如,預測分析正是人們熱衷於大資料和 AI 的主要原因之一。用資料分析預測天氣或疾病傳播是一回事 8;預測一名已定罪者是否可能再犯、貸款申請人是否可能違約,或保險客戶是否可能提出高額索賠,則是另一回事 9。後一類預測會直接影響個人的生活。
支付網路當然希望阻止欺詐交易,銀行希望避免不良貸款,航空公司希望避免劫機,企業也希望避免僱到能力不足或不可信賴的人。從它們的角度看,錯失商機的代價不大,不良貸款或問題員工造成的損失卻高得多,因此組織自然希望謹慎行事。拿不準時,拒絕總比答應穩妥。
然而,隨著演算法決策越來越普遍,被某種演算法標為高風險的人——無論判斷正確與否——可能接連遭到這樣的拒絕。一個人若被系統性地排除在就業、航空出行、保險、房屋租賃、金融服務以及社會生活的其他關鍵領域之外,其自由會受到極大限制,以至於這種處境被稱為“演算法監獄” 10。在尊重人權的國家,刑事司法制度堅持無罪推定;自動化系統卻可能在沒有任何罪證、幾乎無從申訴的情況下,系統性地、任意地剝奪一個人參與社會的機會。
偏見與歧視
演算法作出的決定不一定比人類更好,也不一定更差。每個人都可能心存偏見,即便主動設法克服也不例外;歧視性做法還可能沉澱為文化與制度。人們寄希望於以資料而非人的主觀判斷與直覺為依據,從而作出更公平的決定,也給傳統制度中經常被忽視的人更多機會 11。
開發預測分析和 AI 系統時,我們不只是用軟體規定何時同意、何時拒絕,把人的決策自動化;甚至連規則本身也交給系統從資料中推斷。然而,這些系統學到的模式並不透明:即使資料中確實存在某種相關性,我們也未必知道原因。如果演算法的輸入帶有系統性偏見,系統很可能會學到這種偏見,並在輸出中將其放大 12。
許多國家的反歧視法禁止根據族裔、年齡、性別、性取向、殘障或信仰等受保護特徵區別對待他人。個人資料中的其他特徵或許可以分析,但如果它們與受保護特徵相關,又該怎麼辦?例如,在種族隔離的社群中,一個人的郵政編碼,甚至 IP 地址,都可以有力地預測其種族。如此看來,相信演算法能夠以帶有偏見的資料為輸入,卻產出公平公正的結果,實在荒謬 13、14。然而,資料驅動決策的支持者似乎經常預設這種信念;有人諷刺這種態度說,“機器學習就像為偏見洗錢” 15。
預測分析系統不過是在外推過去;如果過去充滿歧視,它們就會固化並放大這種歧視 16。要讓未來比過去更好,需要道德想象力,而這隻有人類才能提供 17。資料與模型應該是我們的工具,而不是我們的主人。
責任與問責
自動化決策引出了責任與問責問題 17。如果人犯了錯,可以追究其責任,受決定影響的人也可以申訴。演算法同樣會犯錯,但出了問題,誰來負責 18?自動駕駛汽車造成事故,責任由誰承擔?自動信用評分演算法若系統性地歧視某一種族或宗教的人,他們有沒有救濟途徑?如果機器學習系統作出的決定受到司法審查,你能否向法官解釋演算法是怎樣得出這一決定的?任何人都不應把責任推給演算法,藉此逃避問責。
信用評級機構是收集個人資料並據此作出決定的一個早期例子。糟糕的信用評分會給生活帶來困難,但至少信用分通常基於當事人實際借貸歷史中的相關事實,記錄有誤時也能更正——儘管評級機構一般不會讓更正變得容易。相比之下,基於機器學習的評分演算法通常使用範圍廣得多的輸入資料,而且更加不透明,因而很難看清某項決定是如何得出的,也很難判斷某個人是否受到了不公平或歧視性對待 19。
信用分概括的是“你過去表現如何?”,預測分析通常依據的卻是“誰與你相似,以及與你相似的人過去表現如何?”。拿他人的行為來類比一個人,實際上就是在製造刻板印象,例如根據居住地——它往往是種族和社會經濟階層的近似指標——給人歸類。那些被分錯類別的人怎麼辦?而且,如果錯誤資料導致了錯誤決定,當事人幾乎無從尋求救濟 17。
許多資料本質上都是統計性的。這意味著,即使總體機率分佈正確,落到個案上也很可能出錯。例如,假如你所在國家的平均預期壽命是 80 歲,並不意味著你會在 80 歲生日當天去世。僅憑平均值和機率分佈,很難判斷某一個人究竟能活到多大年紀。同樣,預測系統給出的是機率性結果,放到具體個案上完全可能出錯。
盲目相信資料在決策中至高無上,不僅是一種妄想,而且非常危險。隨著資料驅動決策日益普及,我們需要弄清楚如何讓演算法透明並接受問責,如何避免強化既有偏見,以及如何在演算法不可避免地犯錯時加以糾正。
我們還要弄清楚如何防止資料被用來傷害人,並讓它發揮積極作用。例如,資料分析可以揭示人們生活中的財務與社會特徵。一方面,這種能力可用於集中援助與支援,幫助最需要幫助的人;另一方面,掠奪性企業有時也會用它識別弱勢群體,再向他們兜售高息貸款和毫無價值的大學文憑等高風險產品 17、20。
反饋迴圈
即便是推薦系統這類對人們生活的影響沒有那麼直接、深遠的預測應用,也有一些難題必須正視。當服務越來越善於預測使用者想看什麼時,最終可能只向人們展示他們已經認同的觀點,形成滋生刻板印象、錯誤資訊與社會極化的迴音室。我們已經看到了社交媒體迴音室對競選活動的影響。
當預測分析開始左右人們的生活時,自我強化的反饋迴圈會造成尤其惡劣的問題。例如,假設僱主用信用分評估求職者。你原本工作能力很強,信用記錄也很好,卻因一場自己無力控制的變故突然陷入財務困境。幾次賬單逾期之後,信用分隨之下降,找到工作的機會也越來越少。失業又把你推向貧困,進一步拉低評分,讓工作變得更加難找 17。這是有毒假設造成的惡性迴圈,卻披著數學嚴謹性與資料客觀性的外衣。
另一個反饋迴圈的例子是:經濟學家發現,德國的加油站引入演算法定價後,市場競爭反而減弱,消費者支付的價格隨之上漲,因為演算法學會了合謀 21。
我們無法總是預見這種反饋迴圈何時出現。不過,只要思考整個系統——不僅包括計算機化的部分,也包括與之互動的人——許多後果仍然可以預判。這種方法稱為 系統思維 22。我們可以嘗試理解,資料分析系統會如何響應不同的行為、結構或特徵。它會鞏固並放大人與人之間既有的差異,例如讓富者愈富、貧者愈貧,還是會努力消除不公?而且,即使懷有最好的初衷,也必須提防意料之外的後果。
隱私與追蹤
預測分析用資料自動作出關於人的決定,隨之帶來種種問題;除此之外,收集資料本身也存在倫理問題。收集資料的組織與資料被收集的人之間,究竟是什麼關係?
如果系統只儲存使用者明確輸入的資料,是因為使用者希望它以某種方式儲存和處理這些資料,那麼系統就是在為使用者提供服務:使用者是客戶。然而,如果系統只是在使用者做其他事情時,順帶追蹤並記錄其活動,雙方的關係就沒有那麼清楚了。服務不再只是照使用者的吩咐行事,而是有了自己的利益,並且這種利益可能與使用者的利益衝突。
對於許多線上服務面向使用者的功能,追蹤行為資料已經越來越重要:追蹤使用者點選了哪些搜尋結果,有助於改進結果排名;推薦“喜歡 X 的人也喜歡 Y”,能幫助使用者發現有趣而有用的事物;A/B 測試和使用者流程分析,則能幫助判斷如何改進使用者介面。這些功能需要在一定程度上追蹤使用者行為,而使用者也能從中受益。
然而,根據公司的商業模式,追蹤往往不會止步於此。如果一項服務靠廣告維持,廣告主才是真正的客戶,使用者的利益便退居其次。追蹤的資料越來越細,分析觸及的範圍越來越廣,資料也會長期保留,以便為營銷目的建立每個人的詳細畫像。
此時,公司與被收集資料的使用者之間,便呈現出一種截然不同的關係。使用者得到免費服務,又被誘導儘量多地參與其中;追蹤使用者主要不是為了服務這個人,而是為了滿足出資維持服務的廣告主的需求。用一個含義更陰暗的詞來描述這種關係再合適不過:監視。
監視
讓我們做一個思想實驗:把 資料 一詞換成 監視,再看看那些常見說法聽起來是否依然悅耳 23。例如:“在我們這個監視驅動的組織中,我們收集實時監視流,並把它們存入監視倉庫。我們的監視科學家運用高階分析和監視處理來獲得新的洞見。”
對於《設計監視密集型應用》這本書而言,這個思想實驗顯得格外尖銳,甚至帶有本書少見的論戰色彩;但要強調這一點,就需要這樣的措辭。在試圖讓軟體“吞噬世界”的過程中 24,我們建成了人類有史以來規模最大的群體監視基礎設施。我們正在迅速走近這樣一個世界:每處有人居住的空間裡,都至少有一個連線網際網路的麥克風——智慧手機、智慧電視、聲控助理裝置、嬰兒監視器,甚至使用雲端語音識別的兒童玩具。許多這類裝置的安全記錄糟糕透頂 25。
與過去相比,新的變化在於數字化使大規模收集個人資料變得輕而易舉。我們的位置與行蹤、社會關係與通訊、購物與支付以及健康狀況,幾乎都無法擺脫監視。實施監視的組織最終可能比當事人自己更瞭解這個人——例如,在當事人尚未察覺時,就發現其疾病或經濟問題。
即使是過去最極權、最壓迫的政權,也只能夢想在每個房間裡裝上麥克風,強迫每個人時刻攜帶能夠追蹤位置和行蹤的裝置。數字技術帶來的好處如此之大,以至於今天的我們竟自願接受了這個全面監視的世界。區別只在於,資料是由企業收集來為我們提供服務,而不是由試圖控制我們的政府機構收集 26。
並非所有資料收集都一定稱得上監視,但從監視的角度審視它,有助於理解我們與資料收集者的關係。為什麼人們似乎樂於接受企業的監視?也許你覺得自己沒什麼可隱瞞——換句話說,你完全順應現有的權力結構,不屬於邊緣化的少數群體,也不必擔心遭受迫害 27。但並非人人都有這樣的幸運。又或許是因為目的看起來無害:不是公然脅迫、逼人服從,只是提供更好的推薦與更個性化的營銷。然而,結合上一節對預測分析的討論,這兩者之間的界線就沒有那麼清楚了。
我們已經看到,汽車在未經駕駛者同意的情況下追蹤駕駛行為,而這些資料又會影響汽車保險費率 28;健康保險的承保條件也可能取決於人們是否佩戴健身追蹤裝置。當監視被用來決定保險、就業等關係人生的重要事項時,它就不再顯得無害。此外,資料分析還能揭示出乎意料的私密資訊:例如,智慧手錶或健身追蹤器中的運動感測器,可以相當準確地推斷你正在輸入什麼,甚至包括密碼 29。感測器會越來越精確,分析演算法也只會越來越強。
同意與選擇自由
我們或許會說,使用者自願選擇使用追蹤其活動的服務,也接受了服務條款與隱私政策,因此已經同意收集資料。我們甚至可以聲稱,使用者用自己提供的資料換取了有價值的服務,而追蹤是提供服務所必需的。毫無疑問,社交網路、搜尋引擎以及其他各種免費線上服務的確對使用者很有價值——但這種說法存在問題。
首先應該問清楚,追蹤究竟在哪種意義上不可或缺。有些追蹤的確直接用於改進面向使用者的功能:例如,追蹤搜尋結果的點選率,可以提升搜尋引擎的結果排名與相關性;追蹤顧客經常一起購買的商品,可以幫助網店推薦相關產品。然而,如果追蹤使用者互動是為了推薦內容,或是為廣告建立使用者畫像,就很難說這是否真正符合使用者的利益——還是因為廣告在為服務買單,追蹤才變得“必要”?
其次,使用者幾乎不知道自己把哪些資料送進了我們的資料庫,也不知道這些資料會如何儲存和處理;大多數隱私政策更善於遮掩,而不是說明真相。如果不瞭解自己的資料將被如何處置,使用者便不可能作出有意義的同意。一個使用者的資料往往還會透露其他人的資訊,而這些人既不是服務的使用者,也沒有接受任何條款。我們在本書這一部分討論的衍生資料集,可能把整個使用者群的資料與行為追蹤資料、外部資料來源組合起來;這恰恰是使用者不可能真正理解的資料。
而且,從使用者身上抽取資料是一個單向過程,既不是真正互惠的關係,也不是公平的價值交換。雙方沒有對話,使用者也不能就提供多少資料、換取什麼服務進行協商:服務與使用者之間的關係高度不對稱,完全是一邊倒的。條件由服務制定,而不是由使用者決定 30、31。
歐盟《通用資料保護條例》(GDPR)要求,同意必須是“自願作出、具體、知情且明確無誤的”;使用者還必須能夠“拒絕或撤回同意而不受不利影響”,否則就不能算“自願作出”。任何徵求同意的請求,都必須“採用易於理解、便於獲取的形式,並使用清晰明白的語言”。此外,“沉默、預先勾選的選框或無行動均不構成同意” 32。同意並不是合法處理個人資料的唯一依據;例如,合法利益 也允許出於防範欺詐等目的使用某些資料 33。
你也許會說,不願接受監視的使用者只要選擇不使用這項服務即可。但這種選擇同樣算不上自由:如果一項服務普及到“被大多數人視為參與基本社會生活所必需” 30,就不能合理地要求人們退出這項服務——使用它實際上已成為強制要求。例如,在多數西方社會中,隨身攜帶智慧手機、透過社交網路與人交往、使用 Google 查詢資訊,都已經成為常態。尤其是在一項服務具有網路效應時,選擇 不 使用它需要付出社會代價。
因為追蹤政策而拒絕使用一項服務,說來容易,做到卻很難。這些平臺就是專門為吸引使用者而設計的;許多平臺還採用遊戲機制和賭博中常見的手法,讓使用者不斷回來 34。即使使用者能夠擺脫這些誘導,拒絕參與也只是少數特權者才有的選擇:他們既有時間和知識去理解隱私政策,也承擔得起可能錯失社會交往或職業機會的代價。對於處境不那麼優越的人,並不存在真正的選擇自由,監視變得無從逃避。
隱私與資料使用
有時人們聲稱“隱私已死”,理由是一些使用者願意把生活中的種種事情釋出到社交媒體上,其中有日常瑣事,也有極其私密的內容。然而,這種說法是錯誤的,源於對 隱私 一詞的誤解。
擁有隱私並不意味著把一切都藏起來,而是有權自由選擇向誰透露什麼、公開什麼、保密什麼。隱私權是一種決定權:在每一種情境中,它都讓每個人自行決定,要站在從保密到透明這條光譜的什麼位置 30。這是個人自由與自主的重要組成部分。
例如,罹患罕見病的人也許非常樂意把自己的私密醫療資料交給研究人員,只要這些資料有望幫助開發治療方法。關鍵在於,這個人可以選擇誰能訪問資料,以及資料用於什麼目的。如果病情資訊可能妨礙他們獲得醫療保險、就業機會或其他重要權益,他們大概會謹慎得多。
透過監視基礎設施從人們身上抽取資料時,隱私權未必遭到削弱,而是轉移到了資料收集者手中。獲取資料的公司實際上是在說:“相信我們會妥善使用你的資料。”這意味著,決定透露什麼、保密什麼的權利,從個人手中轉到了公司手中。
這些公司反過來又會將大部分監視結果秘而不宣,因為公開真相會令人毛骨悚然,也會損害它們的商業模式——這種模式依靠比其他公司更瞭解人來獲利。使用者的私密資訊只會間接顯露出來,例如以廣告定向工具的形式,供廣告主鎖定某類特定人群,比如患有某種疾病的人。
即使無法從某條廣告所針對的人群中重新識別出某個使用者,他們也已經失去了決定是否披露某些私密資訊的自主權。不再是使用者根據個人意願決定向誰透露什麼,而是由公司行使這項隱私權,目標則是讓利潤最大化。
許多公司追求的,只是不要讓人 覺得 它們令人不安。它們避而不談資料收集究竟有多麼侵犯隱私,只顧管理使用者的觀感。可就連觀感也常常管理得一團糟:例如,某件事在事實上也許沒有錯,但如果會喚起痛苦的回憶,使用者可能根本不願再次看到它 35。對任何資料,我們都應該預料它可能是錯的、不可取的,或者在某些情境下並不合時宜,併為處理這些問題建立機制。何謂“不可取”或“不合時宜”,當然要靠人來判斷;除非我們明確要求演算法尊重人的需要,否則演算法根本不懂這些概念。身為這些系統的工程師,我們必須保持謙遜,承認這類問題可能發生,並預先做好準備。
線上服務的隱私設定允許使用者控制自己的哪些資料可以被其他使用者看見。這只是把部分控制權交還給使用者的起點。無論使用者如何設定,服務本身仍能不受限制地訪問資料,並可按照隱私政策的許可任意使用。即使服務承諾不把資料賣給第三方,通常也會賦予自己不受限制的權利,在內部處理和分析資料,而這些處理往往遠遠超出使用者能夠直接看到的範圍。
如此大規模地把隱私權從個人轉移給企業,在歷史上前所未有 30。監視從來都有,但過去代價高昂、依賴人工,既不能自動化,也無法大規模擴充套件。信任關係也一直存在,例如病人與醫生、被告與律師之間的關係;但在這些情形下,資料的使用受到嚴格的倫理、法律與監管約束。網際網路服務卻讓人們可以在未經有效同意的情況下積累海量敏感資訊,又在使用者不瞭解私密資料去向的情況下,大規模加以利用。
資料資產與權力
行為資料是使用者與服務互動的副產品,因此有時被稱為“資料廢氣”(data exhaust),彷彿這些資料只是毫無價值的廢料。從這個角度看,行為分析和預測分析就像一種回收利用,從本來會被丟棄的資料中提取價值。
更準確的看法也許恰好相反:從經濟角度看,如果定向廣告為服務提供收入,那麼產生行為資料的使用者活動就可以視為一種勞動 36。甚至還可以說,使用者與之互動的應用,不過是引誘使用者不斷把更多個人資訊送入監視基礎設施的手段 30。線上服務所承載的可貴的人類創造力與社會關係,就這樣被資料抽取機器無情地利用。
個人資料是寶貴的資產,資料經紀商的存在就是明證。這是一個行事隱秘、見不得光的行業:它購買、彙總、分析和推斷極具侵擾性的個人資料,再將其轉售,主要用於營銷 20。初創公司的估值往往取決於使用者數和“眼球”數量——也就是它們的監視能力。
資料既然有價值,自然有很多人想得到它。公司當然想要——這正是它們收集資料的原因。政府也想拿到這些資料:透過秘密交易、脅迫、法律強制,或者乾脆竊取 37。一家公司破產時,收集的個人資料也是會被變賣的資產之一。而且,資料很難保護周全,洩露事件頻繁得令人不安。
這些現象使批評者認為,資料不僅是一種資產,更是一種“有毒資產” 37,至少也是“危險物質” 38。資料或許不是什麼“新黃金”或“新石油”,而是“新鈾” 39。即使自信能夠防止資料遭到濫用,每次收集資料時,我們仍需權衡它的好處與落入惡人之手的風險:計算機系統可能被罪犯或敵對國家的情報機構攻破;資料可能被內鬼洩露;公司可能落入不認同我們價值觀、不擇手段的管理層手中;國家也可能被一個強迫我們交出資料時毫無顧忌的政權接管。
收集資料時,我們不能只考慮今天的政治環境,還必須考慮未來所有可能出現的政府。沒有人能保證今後當選的每一屆政府都會尊重人權與公民自由;因此,“部署日後可能助長警察國家的技術,有違健全的公民社會規範” 40。
俗話說,“知識就是力量”。不僅如此,“審視他人而讓自己免受審視,是最重要的權力形式之一” 41。這正是極權政府渴求監視的原因:它賦予政府控制民眾的力量。今天的科技公司雖然沒有公開謀求政治權力,但積累的資料與知識仍然賦予它們左右我們生活的巨大力量;其中很大一部分都在暗中發揮作用,不受公眾監督 42。
回顧工業革命
資料是資訊時代的決定性特徵。網際網路、資料儲存與處理,以及軟體驅動的自動化,正在深刻影響全球經濟與人類社會。資訊科技已經改變了我們的日常生活和社會組織,並且很可能在未來幾十年繼續帶來根本變化,這自然讓人聯想到工業革命 17、26。
工業革命源於技術與農業的重大進步,帶來了持續的經濟增長,長遠來看也顯著提高了生活水平。然而,它同樣伴隨著嚴重問題:煙塵和化工過程造成可怕的空氣汙染,工業與生活廢棄物也嚴重汙染水源。工廠主生活奢華,城市工人卻往往居住在簡陋的房屋中,長時間在惡劣條件下勞動。僱用童工十分普遍,甚至讓兒童在礦井中從事危險而低薪的工作。
人們花了很長時間,才建立起環境保護法規、工作場所安全規程、童工禁令和食品衛生檢查等保障措施。工廠不能再把廢料排入河流、出售受汙染的食品或剝削工人,經營成本無疑會隨之上升。然而,整個社會從這些法規中受益匪淺,今天幾乎沒有人願意回到它們出現之前的年代 17。
正如工業革命有著必須治理的黑暗面,邁向資訊時代的過程也帶來了我們必須正視並解決的重大問題 43、44。資料的收集與使用就是其中之一。用 Bruce Schneier 的話來說 26:
資料是資訊時代的汙染問題,保護隱私則是環境挑戰。幾乎所有計算機都會產生資訊。它堆積在周圍,開始潰爛。如何處理它——如何控制它,又如何處置它——是資訊經濟健康發展的核心。今天,我們回望工業時代最初的幾十年,會疑惑祖先為何在急於建設工業世界時無視汙染;同樣,我們的後代也會回望資訊時代最初的幾十年,並根據我們如何應對資料收集與濫用的挑戰來評價我們。
我們應該努力讓他們感到驕傲。
立法與自律
資料保護法或許能夠幫助維護個人權利。例如,歐盟 GDPR 規定,個人資料必須“為特定、明確且合法的目的而收集,不得以與這些目的不相容的方式作進一步處理”;而且,資料必須“相對於處理目的而言充分、相關,並僅限於必要範圍” 32。
然而,資料最小化 原則與大資料的哲學針鋒相對。大資料追求儘可能多地收集資料,將其與其他資料集組合,透過實驗和探索獲得新的洞見。探索意味著把資料用於未曾預料的目的,這恰好與收集資料時必須宣告的“特定、明確”目的相反。GDPR 雖然給線上廣告行業帶來了一些影響 45,執行力度卻一直很弱 46,而且似乎沒有促使整個科技行業的文化與實踐發生多大改變。
收集大量個人資料的公司反對監管,認為它會增加負擔、妨礙創新。這種反對在一定程度上不無道理。例如,共享醫療資料顯然會帶來隱私風險,卻也蘊藏著機會:如果資料分析能幫助我們改進診斷、找到更好的治療方法,可以挽救多少生命 47?監管過度也許會阻礙這類突破。要在潛在機會與風險之間找到平衡並不容易 41。
歸根結底,科技行業對待個人資料的文化必須改變。我們應該停止把使用者視為有待最佳化的指標,記住他們是值得尊重、擁有尊嚴和自主權的人。我們應該自覺約束收集與處理資料的做法,建立並維繫依賴我們軟體的人們對我們的信任 48。我們也有責任讓終端使用者瞭解其資料如何被使用,而不是繼續把他們矇在鼓裡。
我們應該讓每個人保有隱私——也就是對自己資料的控制權——而不是用監視手段把這種控制權奪走。個人控制自身資料的權利,就像國家公園裡的自然環境:如果我們不明確地保護、照料它,它就會遭到破壞。這將成為一場公地悲劇,最終所有人都會受害。無處不在的監視並非不可避免,我們仍然來得及阻止它。
第一步是不要永久保留資料,而要在不再需要時儘快清除,並從一開始就儘量少收集 48、49。手中沒有的資料,就不可能洩露、被盜,也不可能被政府強迫交出。總的來說,我們必須改變文化與態度。身為技術從業者,如果不考慮自己工作的社會影響,就是沒有盡到本職 50。
總結
至此,我們來到了全書的終點。這一路討論了許多內容:
在 第 1 章 中,我們對比了分析型系統與事務型系統、雲服務與自託管、分散式系統與單節點系統,並討論了如何在業務需求與使用者需求之間取得平衡。
在 第 2 章 中,我們介紹了如何定義效能、可靠性、可伸縮性和可維護性等非功能性需求。
在 第 3 章 中,我們考察了關係模型、文件模型、圖模型、事件溯源和資料框等一系列資料模型,還介紹了 SQL、Cypher、SPARQL、Datalog 與 GraphQL 等查詢語言的示例。
在 第 4 章 中,我們討論了用於 OLTP 的儲存引擎(LSM 樹和 B 樹)、用於分析的列式儲存,以及用於資訊檢索的全文索引與向量索引。
在 第 5 章 中,我們考察了將資料物件編碼為位元組的不同方式,以及如何隨著需求變化支援演化。我們還比較了資料透過資料庫、服務呼叫、工作流引擎和事件驅動架構在程序之間流動的幾種方式。
在 第 6 章 中,我們研究了單主複製、多主複製與無主複製之間的權衡,也討論了寫後讀一致性等一致性模型,以及讓客戶端可以離線工作的同步引擎。
在 第 7 章 中,我們深入討論了分片,包括再平衡策略、請求路由和二級索引。
在 第 8 章 中,我們討論了事務的永續性、讀已提交、快照隔離和可序列化等隔離級別的實現方式,以及如何保證分散式事務的原子性。
在 第 9 章 中,我們梳理了分散式系統中的根本問題,包括網路故障與延遲、時鐘誤差、程序暫停和崩潰,並看到這些問題為何讓正確實現一把看似簡單的鎖都變得十分困難。
在 第 10 章 中,我們詳細討論了各種形式的共識,以及共識所實現的一致性模型——線性一致性。
在 第 11 章 中,我們深入研究了批處理,從簡單的 Unix 工具鏈,一直講到使用分散式檔案系統或物件儲存的大規模分散式批處理器。
在 第 12 章 中,我們把批處理推廣為流處理,並討論了底層訊息代理、變更資料捕獲、容錯,以及流連線等處理模式。
在 第 13 章 中,我們探討了一套流式系統的哲學,使彼此不同的資料系統更容易整合、系統更容易演化,應用也更容易伸縮。
最後,在本章中,我們退後一步,審視了構建資料密集型應用所涉及的一些倫理問題。我們看到,資料雖然可以用來行善,也可能造成嚴重傷害:作出深刻影響個人生活、卻難以申訴的決定,導致歧視與剝削,讓監視成為常態,並暴露私密資訊。我們還面臨資料洩露的風險;即使出於善意使用資料,也可能造成意料之外的後果。
軟體和資料正在給世界帶來如此巨大的影響。身為工程師,我們必須牢記,自己有責任為希望生活其中的世界而努力——一個懷著人性與尊重對待每個人的世界。讓我們一起朝著這個目標前進。
腳註
參考文獻
David Schmudde. What If Data Is a Bad Idea?. schmud.de, August 2024. Archived at perma.cc/ZXU5-XMCT ↩︎
ACM Code of Ethics and Professional Conduct. Association for Computing Machinery, acm.org, 2018. Archived at perma.cc/SEA8-CMB8 ↩︎
Igor Perisic. Making Hard Choices: The Quest for Ethics in Machine Learning. linkedin.com, November 2016. Archived at perma.cc/DGF8-KNT7 ↩︎
John Naughton. Algorithm Writers Need a Code of Conduct. theguardian.com, December 2015. Archived at perma.cc/TBG2-3NG6 ↩︎
Ben Green. “Good” isn’t good enough. At NeurIPS Joint Workshop on AI for Social Good, December 2019. Archived at perma.cc/H4LN-7VY3 ↩︎
Deborah G. Johnson and Mario Verdicchio. Ethical AI is Not about AI. Communications of the ACM, volume 66, issue 2, pages 32–34, January 2023. doi:10.1145/3576932 ↩︎
Marc Steen. Ethics as a Participatory and Iterative Process. Communications of the ACM, volume 66, issue 5, pages 27–29, April 2023. doi:10.1145/3550069 ↩︎
Logan Kugler. What Happens When Big Data Blunders? Communications of the ACM, volume 59, issue 6, pages 15–16, June 2016. doi:10.1145/2911975 ↩︎
Miri Zilka. Algorithms and the criminal justice system: promises and challenges in deployment and research. At University of Cambridge Security Seminar Series, March 2023. ↩︎
Bill Davidow. Welcome to Algorithmic Prison. theatlantic.com, February 2014. Archived at archive.org ↩︎
Don Peck. They’re Watching You at Work. theatlantic.com, December 2013. Archived at perma.cc/YR9T-6M38 ↩︎
Leigh Alexander. Is an Algorithm Any Less Racist Than a Human? theguardian.com, August 2016. Archived at perma.cc/XP93-DSVX ↩︎
Jesse Emspak. How a Machine Learns Prejudice. scientificamerican.com, December 2016. perma.cc/R3L5-55E6 ↩︎
Rohit Chopra, Kristen Clarke, Charlotte A. Burrows, and Lina M. Khan. Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems. ftc.gov, April 2023. Archived at perma.cc/YY4Y-RCCA ↩︎
Maciej Cegłowski. The Moral Economy of Tech. idlewords.com, June 2016. Archived at perma.cc/L8XV-BKTD ↩︎
Greg Nichols. Artificial Intelligence in healthcare is racist. zdnet.com, November 2020. Archived at perma.cc/3MKW-YKRS ↩︎
Cathy O’Neil. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing, 2016. ISBN: 978-0-553-41881-1 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Julia Angwin. Make Algorithms Accountable. nytimes.com, August 2016. Archived at archive.org ↩︎
Bryce Goodman and Seth Flaxman. European Union Regulations on Algorithmic Decision-Making and a ‘Right to Explanation’. At ICML Workshop on Human Interpretability in Machine Learning, June 2016. Archived at arxiv.org/abs/1606.08813 ↩︎
A Review of the Data Broker Industry: Collection, Use, and Sale of Consumer Data for Marketing Purposes. Staff Report, United States Senate Committee on Commerce, Science, and Transportation, commerce.senate.gov, December 2013. Archived at perma.cc/32NV-YWLQ ↩︎ ↩︎
Stephanie Assad, Robert Clark, Daniel Ershov, and Lei Xu. Algorithmic Pricing and Competition: Empirical Evidence from the German Retail Gasoline Market. Journal of Political Economy, volume 132, issue 3, pages 723-771, March 2024. doi:10.1086/726906 ↩︎
Donella H. Meadows and Diana Wright. Thinking in Systems: A Primer. Chelsea Green Publishing, 2008. ISBN: 978-1-603-58055-7 ↩︎
Daniel J. Bernstein. Listening to a “big data”/“data science” talk. Mentally translating “data” to “surveillance”: “...everything starts with surveillance...” x.com, May 2015. Archived at perma.cc/EY3D-WBBJ ↩︎
Marc Andreessen. Why Software Is Eating the World. a16z.com, August 2011. Archived at perma.cc/3DCC-W3G6 ↩︎
J. M. Porup. ‘Internet of Things’ Security Is Hilariously Broken and Getting Worse. arstechnica.com, January 2016. Archived at archive.org ↩︎
Bruce Schneier. Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World. W. W. Norton, 2015. ISBN: 978-0-393-35217-7 ↩︎ ↩︎ ↩︎
The Grugq. Nothing to Hide. grugq.tumblr.com, April 2016. Archived at perma.cc/BL95-8W5M ↩︎
Federal Trade Commission. FTC Takes Action Against General Motors for Sharing Drivers’ Precise Location and Driving Behavior Data Without Consent. ftc.gov, January 2025. Archived at perma.cc/3XGV-3HRD ↩︎
Tony Beltramelli. Deep-Spying: Spying Using Smartwatch and Deep Learning. Masters Thesis, IT University of Copenhagen, December 2015. Archived at arxiv.org/abs/1512.05616 ↩︎
Shoshana Zuboff. Big Other: Surveillance Capitalism and the Prospects of an Information Civilization. Journal of Information Technology, volume 30, issue 1, pages 75–89, April 2015. doi:10.1057/jit.2015.5 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
Michiel Rhoen. Beyond Consent: Improving Data Protection Through Consumer Protection Law. Internet Policy Review, volume 5, issue 1, March 2016. doi:10.14763/2016.1.404 ↩︎
Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016. Official Journal of the European Union, L 119/1, May 2016. ↩︎ ↩︎
UK Information Commissioner’s Office. What is the ’legitimate interests’ basis? ico.org.uk. Archived at perma.cc/W8XR-F7ML ↩︎
Tristan Harris. How a handful of tech companies control billions of minds every day. At TED2017, April 2017. ↩︎
Carina C. Zona. Consequences of an Insightful Algorithm. At GOTO Berlin, November 2016. ↩︎
Imanol Arrieta Ibarra, Leonard Goff, Diego Jiménez Hernández, Jaron Lanier, and E. Glen Weyl. Should We Treat Data as Labor? Moving Beyond ‘Free’. American Economic Association Papers Proceedings, volume 1, issue 1, December 2017. ↩︎
Bruce Schneier. Data Is a Toxic Asset, So Why Not Throw It Out? schneier.com, March 2016. Archived at perma.cc/4GZH-WR3D ↩︎ ↩︎
Cory Scott. Data is not toxic - which implies no benefit - but rather hazardous material, where we must balance need vs. want. x.com, March 2016. Archived at perma.cc/CLV7-JF2E ↩︎
Mark Pesce. Data is the new uranium – incredibly powerful and amazingly dangerous. theregister.com, November 2024. Archived at perma.cc/NV8B-GYGV ↩︎
Bruce Schneier. Mission Creep: When Everything Is Terrorism. schneier.com, July 2013. Archived at perma.cc/QB2C-5RCE ↩︎
Lena Ulbricht and Maximilian von Grafenstein. Big Data: Big Power Shifts? Internet Policy Review, volume 5, issue 1, March 2016. doi:10.14763/2016.1.406 ↩︎ ↩︎
Ellen P. Goodman and Julia Powles. Facebook and Google: Most Powerful and Secretive Empires We’ve Ever Known. theguardian.com, September 2016. Archived at perma.cc/8UJA-43G6 ↩︎
Judy Estrin and Sam Gill. The World Is Choking on Digital Pollution. washingtonmonthly.com, January 2019. Archived at perma.cc/3VHF-C6UC ↩︎
A. Michael Froomkin. Regulating Mass Surveillance as Privacy Pollution: Learning from Environmental Impact Statements. University of Illinois Law Review, volume 2015, issue 5, August 2015. Archived at perma.cc/24ZL-VK2T ↩︎
Pengyuan Wang, Li Jiang, and Jian Yang. The Early Impact of GDPR Compliance on Display Advertising: The Case of an Ad Publisher. Journal of Marketing Research, volume 61, issue 1, April 2023. doi:10.1177/00222437231171848 ↩︎
Johnny Ryan. Don’t be fooled by Meta’s fine for data breaches. The Economist, May 2023. Archived at perma.cc/VCR6-55HR ↩︎
Jessica Leber. Your Data Footprint Is Affecting Your Life in Ways You Can’t Even Imagine. fastcompany.com, March 2016. Archived at archive.org ↩︎
Maciej Cegłowski. Haunted by Data. idlewords.com, October 2015. Archived at archive.org ↩︎ ↩︎
Sam Thielman. You Are Not What You Read: Librarians Purge User Data to Protect Privacy. theguardian.com, January 2016. Archived at archive.org ↩︎
Jez Humble. It’s a cliché that people get into tech to “change the world”. So then, you have to actually consider what the impact of your work is on the world. The idea that you can or should exclude societal and political discussions in tech is idiotic. It means you’re not doing your job. x.com, April 2021. Archived at perma.cc/3NYS-MHLC ↩︎