衆所周知，計算(suàn)機很多(duō)時(shí)候可(kě)以給我們的(de)問題一個(gè)很好的(de)答(dá)案，但我們并不理(lǐ)解它是如何得(de)到這(zhè)些答(dá)案的(de)。Been Kim一直在開發一個(gè)“面向人(rén)類的(de)翻譯器(translator for humans)”，這(zhè)樣我們就可(kě)以知道人(rén)工智能何時(shí)會失效。
如果一個(gè)醫生告訴你需要做(zuò)手術，你會想知道爲什(shén)麽，而且你會期望自己可(kě)以理(lǐ)解這(zhè)個(gè)解釋，即使你從未上過醫學院。谷歌(gē)大(dà)腦(nǎo)(Google Brain)的(de)科學家Kim認爲，我們應該對(duì)人(rén)工智能抱有更高(gāo)的(de)期望。作爲“可(kě)解釋”機器學習(xí)(“interpretable” machine learning)的(de)專家，她希望開發能夠向任何人(rén)解釋自己的(de)人(rén)工智能軟件。
自從大(dà)約十年前人(rén)工智能興起以來(lái)，人(rén)工智能背後的(de)神經網絡技術使用(yòng)其日益強大(dà)的(de)學習(xí)和(hé)識别數據模式的(de)能力，已經改變了(le)從電子郵件到藥物(wù)開發的(de)每一件事。但這(zhè)種能力帶來(lái)了(le)一個(gè)問題：現代深度學習(xí)網絡的(de)複雜(zá)性使之能夠成功地學會如何駕駛汽車和(hé)發現保險欺詐，但即便是人(rén)工智能專家也(yě)無法了(le)解它内部工作的(de)機制。如果一個(gè)神經網絡被訓練來(lái)識别像肝癌和(hé)精神分(fēn)裂症這(zhè)樣的(de)病人(rén)——就像2015年紐約西奈山醫院的(de)“深度病人(rén)(Deep Patient)”系統一樣——我們不知道神經網絡關注的(de)是數據的(de)哪些特征。這(zhè)種“知識”被加諸于許多(duō)層的(de)人(rén)工神經元上，每層都有成百上千的(de)連接。
随著(zhe)越來(lái)越多(duō)的(de)行業試圖用(yòng)人(rén)工智能實現自動化(huà)或增強他(tā)們的(de)決策能力，這(zhè)種黑(hēi)箱理(lǐ)論似乎顯示出根本性的(de)缺陷。美(měi)國國防部高(gāo)級研究計劃局(DARPA)的(de)“XAI”項目(用(yòng)于“可(kě)解釋的(de)人(rén)工智能”)正在積極研究這(zhè)個(gè)問題，可(kě)解釋性已經從機器學習(xí)研究的(de)邊緣轉移到了(le)它的(de)中心。Kim說：“人(rén)工智能正處于這(zhè)個(gè)關鍵時(shí)刻，人(rén)類正試圖考察這(zhè)項技術是否對(duì)我們有益。”“如果我們不解決這(zhè)一可(kě)解釋性問題，我認爲我們就不應該繼續使用(yòng)這(zhè)項技術。我們可(kě)能會放棄它。”
Kim和(hé)她在Google Brain的(de)同事最近開發了(le)一個(gè)名爲“概念激活向量測試(TCAV)”的(de)系統，她将其描述爲“面向人(rén)類的(de)翻譯器”，該系統允許用(yòng)戶詢問黑(hēi)匣子人(rén)工智能一個(gè)特定的(de)高(gāo)層次概念在其推理(lǐ)中發揮了(le)多(duō)大(dà)作用(yòng)。例如，如果一個(gè)機器學習(xí)系統已經被訓練識别圖像中的(de)斑馬，那麽一個(gè)人(rén)可(kě)以使用(yòng)TCAV來(lái)确定系統在做(zuò)出決定時(shí)對(duì)“條紋”概念給予了(le)多(duō)少權重。
可(kě)解釋性是什(shén)麽意思，它爲什(shén)麽如此重要，Kim一一給出了(le)解答(dá)。
“可(kě)解釋性”這(zhè)個(gè)詞到底是什(shén)麽意思?
可(kě)解釋性有兩個(gè)分(fēn)支。一種是科學的(de)可(kě)解釋性：如果你把神經網絡作爲研究對(duì)象，那麽你就可(kě)以進行科學實驗來(lái)真正理(lǐ)解關于模型的(de)細節、它的(de)反應以及諸如此類的(de)事情。
可(kě)解釋性還(hái)有第二個(gè)分(fēn)支，我主要關注的(de)是人(rén)工智能的(de)可(kě)解釋性。你不必了(le)解模型的(de)每一個(gè)細節。但是，隻要你能夠理(lǐ)解并足夠安全地使用(yòng)該工具就可(kě)以了(le)，這(zhè)就是我們的(de)目标。
你爲什(shén)麽能對(duì)一個(gè)你不完全理(lǐ)解其工作原理(lǐ)的(de)系統有信心呢(ne)?
我給你打個(gè)比方。假設我後院有一棵樹，我想砍掉它。我可(kě)能會用(yòng)電鋸來(lái)做(zuò)這(zhè)項工作。現在，我不完全理(lǐ)解電鋸是如何工作的(de)。但手冊上說，“這(zhè)些是你需要小心的(de)事情，以免割到你的(de)手指。”所以，根據這(zhè)本手冊，我甯願用(yòng)電鋸也(yě)不願用(yòng)手鋸，手鋸的(de)原理(lǐ)容易理(lǐ)解，但會讓我花五個(gè)小時(shí)來(lái)砍樹。
你知道“切割”是什(shén)麽，即使你不完全知道完成這(zhè)個(gè)動作的(de)機制是什(shén)麽。
對(duì)。第二個(gè)可(kě)解釋性的(de)第二個(gè)分(fēn)支是：我們能充分(fēn)理(lǐ)解一個(gè)工具，以便安全地使用(yòng)它嗎?我們可(kě)以通(tōng)過确認工具中反映出的(de)人(rén)類已有的(de)知識來(lái)形成這(zhè)種理(lǐ)解。
“反映人(rén)類知識”如何使人(rén)工智能更容易理(lǐ)解?
這(zhè)有另一個(gè)例子。如果醫生使用(yòng)機器學習(xí)模型來(lái)進行癌症診斷，醫生會想知道，該模型有沒有利用(yòng)數據中我們不想涉及的(de)随機性。确保這(zhè)一點的(de)一種方法是确認機器學習(xí)模型正在做(zuò)醫生會做(zuò)的(de)事情。換句話(huà)說，證明(míng)醫生自己的(de)診斷知識已經反映在模型中。
因此，如果醫生在判斷一個(gè)細胞是否變成了(le)癌細胞，他(tā)們可(kě)能會在标本中尋找一種叫做(zuò)“融合腺(fused glands)”的(de)東西。他(tā)們還(hái)可(kě)以考慮患者的(de)年齡，以及患者過去是否接受過化(huà)療。這(zhè)些都是醫生診斷癌症時(shí)關心的(de)因素。如果我們能證明(míng)機器學習(xí)模型也(yě)注意到了(le)這(zhè)些因素，那麽模型就更容易理(lǐ)解了(le)，因爲它反映了(le)醫生作爲人(rén)類會具備的(de)知識。
這(zhè)就是TCAV所做(zuò)的(de)嗎?它揭示了(le)機器學習(xí)模型使用(yòng)哪些高(gāo)級概念來(lái)做(zuò)出決策?
對(duì)。在此之前，可(kě)解釋性方法隻解釋了(le)在輸入數據的(de)特征上，神經網絡做(zuò)了(le)什(shén)麽工作。也(yě)就是說，如果您有圖像，每個(gè)像素都是一個(gè)輸入參數。事實上，Yann Lecun(一位早期的(de)深度學習(xí)先驅，目前是Facebook的(de)人(rén)工智能研究主管)說，你可(kě)以查看神經網絡中的(de)每個(gè)節點，并查看每個(gè)輸入的(de)數值。這(zhè)對(duì)電腦(nǎo)來(lái)說沒問題，但人(rén)類不會這(zhè)樣做(zuò)。我不會告訴你，“哦，看看100到200像素，RGB值是0.2和(hé)0.3。”我隻會說，“有一張狗的(de)照(zhào)片，它的(de)毛發真的(de)很蓬松。”這(zhè)就是人(rén)類交流的(de)方式——利用(yòng)概念。
TCAV如何把輸入的(de)數據轉化(huà)成概念?
讓我們回到使用(yòng)機器學習(xí)模型的(de)醫生的(de)那個(gè)例子，這(zhè)個(gè)機器學習(xí)模型已經被訓練爲将細胞樣本的(de)圖像按照(zhào)可(kě)能存在的(de)癌症分(fēn)類。作爲醫生，你可(kě)能想知道“融合腺體”的(de)概念對(duì)預測癌症有多(duō)重要。首先，你收集一些圖像，比如20個(gè)，其中有一些含有融合腺體的(de)細胞。現在你将這(zhè)些标記的(de)示例插入模型中。
那麽TCAV内部所做(zuò)的(de)就是所謂的(de)“敏感性測試”，當我們将這(zhè)些包含融合腺體的(de)圖片放入模型，癌症陽性預測的(de)概率會增加多(duō)少?你可(kě)以将其輸出爲一個(gè)介于0和(hé)1之間的(de)數字，這(zhè)是你的(de)TCAV得(de)分(fēn)。如果概率增加，證明(míng)這(zhè)是模型的(de)一個(gè)重要概念。如果沒有，這(zhè)就不是一個(gè)重要的(de)概念。
“概念”是一個(gè)模糊的(de)術語。有沒有TCAV不能處理(lǐ)的(de)概念?
如果你不能使用(yòng)數據表達你的(de)概念，那麽它将無法工作。如果你的(de)機器學習(xí)模型是在圖像上訓練的(de)，那麽這(zhè)個(gè)概念必須是可(kě)視化(huà)的(de)。比如說，我想用(yòng)視覺表達“愛(ài)”的(de)概念，這(zhè)真的(de)很難。
TCAV本質上是爲了(le)建立對(duì)人(rén)工智能的(de)信任，而不是真正的(de)理(lǐ)解它嗎?
不是，我們從認知科學和(hé)心理(lǐ)學的(de)研究中知道，人(rén)類很容易上當受騙。這(zhè)意味著(zhe)欺騙一個(gè)人(rén)去相信某件事其實很容易。機器學習(xí)可(kě)解釋性的(de)目标與此相反。它告訴你一個(gè)系統是否安全，重要的(de)是找到真相而不是建立信任。可(kě)解釋性的(de)重點是揭示人(rén)工智能推理(lǐ)中的(de)潛在缺陷。
它怎麽能暴露自己的(de)缺陷?
你可(kě)以使用(yòng)TCAV向經過訓練的(de)模型測試相關的(de)概念。回到醫生使用(yòng)人(rén)工智能進行癌症預測的(de)例子，醫生們可(kě)能會突然想，“這(zhè)台機器似乎傾向于對(duì)帶有藍色陰影(yǐng)的(de)圖像給出患有癌症的(de)預測。我們認爲不應該考慮這(zhè)一因素。”因此，如果帶有“藍色”的(de)TCAV分(fēn)數很高(gāo)，這(zhè)就成爲這(zhè)個(gè)機器學習(xí)模型的(de)一個(gè)缺陷。
TCAV是針對(duì)無法解釋的(de)機器學習(xí)模型設計的(de)。爲什(shén)麽不讓系統從一開始就可(kě)以解釋呢(ne)?
可(kě)解釋性研究的(de)一個(gè)分(fēn)支，側重于建立反映人(rén)類推理(lǐ)方式的(de)固有可(kě)解釋模型。但我的(de)看法是：現在你在任何地方都有人(rén)工智能模型，這(zhè)些模型已經被構建，并且已經得(de)到重要應用(yòng)，而從一開始我們就沒有考慮過可(kě)解釋性。這(zhè)就是事實。谷歌(gē)就有很多(duō)這(zhè)樣的(de)情況!你可(kě)以說，“可(kě)解釋性是非常有用(yòng)的(de)，讓我爲你建立另一個(gè)模型來(lái)取代你已有的(de)模型。”那好吧，祝你好運。
那你怎麽辦?
我們仍然需要判斷這(zhè)項技術是否适合我們。這(zhè)就是我爲什(shén)麽研究“後訓練(Posttraining)”的(de)可(kě)解釋性方法。如果你有一個(gè)别人(rén)給你的(de)模型，而你不能改變它，你如何去爲它的(de)行爲生成解釋，以便你可(kě)以安全地使用(yòng)它?這(zhè)就是TCAV工作的(de)意義所在。
你相信如果沒有可(kě)解釋性，人(rén)類可(kě)能會放棄人(rén)工智能技術嗎?考慮到它的(de)強大(dà)功能，你真的(de)認爲這(zhè)是現實的(de)可(kě)能性嗎?
是的(de)。專家系統(智能計算(suàn)機程序系統)就是這(zhè)樣。在20世紀80年代，我們确定他(tā)們比人(rén)工操作人(rén)員(yuán)執行某些任務更便宜。但現在誰在使用(yòng)專家系統呢(ne)?沒有人(rén)。之後我們進入了(le)人(rén)工智能的(de)冬天。
因爲人(rén)工智能鋪天蓋地的(de)宣傳和(hé)資金的(de)大(dà)量投入，現在看起來(lái)不太可(kě)能放棄人(rén)工智能。但從長(cháng)遠(yuǎn)來(lái)看，我認爲人(rén)類可(kě)能發現——也(yě)許是出于恐懼，也(yě)許是因爲缺乏證據——這(zhè)項技術不适合我們。這(zhè)也(yě)是可(kě)能的(de)。
---------------------
作者：fadsf15
來(lái)源：CSDN
原文：https://blog.csdn.net/fadsf15/article/details/89922678
版權聲明(míng)：本文爲博主原創文章(zhāng)，轉載請附上博文鏈接！
