用可組合的構(gòu)建塊豐富用戶界面？谷歌對(duì)“可解釋”的最新解釋
來(lái)源：原創(chuàng) 時(shí)間：2018-03-10 瀏覽：0 次隨著神經(jīng)網(wǎng)絡(luò)領(lǐng)域新成果的不斷發(fā)展，需要解決的問(wèn)題也有相應(yīng)的，能夠解釋決策的方法包括建立對(duì)真實(shí)世界行為的信心、偏差檢測(cè)模型和科學(xué)好奇心。為了做到這一點(diǎn)，我們需要構(gòu)造抽象的深度。豐富的接口修改(或?qū)嵗?。可以說(shuō)，除了極少數(shù)例外，現(xiàn)有的研究對(duì)這一點(diǎn)的解釋有多大，并沒(méi)有任何貢獻(xiàn)。機(jī)器學(xué)習(xí)社區(qū)致力于開(kāi)發(fā)強(qiáng)大的方法，如視覺(jué)特征、屬性和維度約簡(jiǎn)，用于解釋和理解神經(jīng)網(wǎng)絡(luò)。
然而，這些技術(shù)被認(rèn)為是孤立研究的線索，對(duì)其改性的研究也被忽視。另一方面，社區(qū)對(duì)開(kāi)放界面進(jìn)行了初步探索，豐富的神經(jīng)網(wǎng)絡(luò)用戶界面，但它們也沒(méi)有這些抽象概念有待進(jìn)一步研究。使用這些抽象的概念，它已經(jīng)在相當(dāng)標(biāo)準(zhǔn)的方式。因此，我們留下了很多不實(shí)用的界面(如突出圖或相關(guān)摘要)，神經(jīng)元將是一些有價(jià)值的東西。
更糟糕的是，許多解釋技術(shù)還沒(méi)有完全應(yīng)用到抽象中，因?yàn)闆](méi)有這樣的壓力，所以它們可以擴(kuò)展或合并。在本文中，我們將闡述現(xiàn)有的方法，作為豐富用戶界面的基礎(chǔ)和構(gòu)建塊的組合。我們發(fā)現(xiàn)，這些不同的技術(shù)現(xiàn)在集中在一個(gè)統(tǒng)一的語(yǔ)法中，實(shí)現(xiàn)了在最終接口中的互補(bǔ)作用。此外，這種語(yǔ)言方法使我們能夠系統(tǒng)地解釋空間探索的界面，以便我們能夠評(píng)估它們是否符合具體目標(biāo)。
我們將展示一些接口，它們顯示網(wǎng)絡(luò)信息檢測(cè)到的信息，并說(shuō)明網(wǎng)絡(luò)是如何理解發(fā)展的，同時(shí)保持了大量的人類信息的規(guī)模。例如，我們將看到一個(gè)拉布拉多獵犬觀察網(wǎng)絡(luò)是如何檢測(cè)它的軟耳朵，以及它是如何影響分類。在本文中，我們?cè)诒硎靖拍畹慕缑嫔鲜褂昧藞D像分類模型Google LeNet，因?yàn)樗谏窠?jīng)元中看起來(lái)很不尋常。雖然本文對(duì)任務(wù)和網(wǎng)絡(luò)的語(yǔ)義進(jìn)行了具體的選擇，但我們提出了它們的基本抽象和組合模式，仍然可以應(yīng)用于其他A型神經(jīng)網(wǎng)絡(luò)的領(lǐng)域。
了解隱層最新研究解釋涉及到神經(jīng)網(wǎng)絡(luò)的輸入，輸出層?？梢哉f(shuō)，結(jié)果主要是由于這些層的清晰含義：在計(jì)算機(jī)視覺(jué)中，輸入層代表輸入圖像中每個(gè)像素的紅色、綠色和藍(lán)色通道值，而輸出層由類標(biāo)簽及其相關(guān)的概率組成。在網(wǎng)絡(luò)上找到新的輸入表示形式。在計(jì)算機(jī)視覺(jué)中，我們使用神經(jīng)網(wǎng)絡(luò)在圖像中的每個(gè)位置運(yùn)行相同的特征檢測(cè)器。我們可以把每個(gè)層的學(xué)習(xí)表示看作是一個(gè)三維立方體。多維數(shù)據(jù)集中的每個(gè)單元都是一個(gè)激活。
或神經(jīng)元的數(shù)目。x軸和y軸對(duì)應(yīng)于圖像中的位置。z軸是計(jì)算機(jī)視覺(jué)中神經(jīng)網(wǎng)絡(luò)各隱含層上的活動(dòng)立方體。多維數(shù)據(jù)集的不同片段允許我們針對(duì)單個(gè)神經(jīng)元、空間位置或通道的激活。理解這些激活是困難的，因?yàn)槲覀兺ǔ０阉鼈儺?dāng)作抽象的向量來(lái)對(duì)待。
然而，通過(guò)特征可視化，我們可以把這個(gè)抽象的向量轉(zhuǎn)換成更有意義的語(yǔ)義詞典。為了創(chuàng)建語(yǔ)義詞典，我們將每個(gè)神經(jīng)元的激活與該神經(jīng)元的可視化相結(jié)合。并根據(jù)激活的大小對(duì)它們排序。激活和特征可視化的結(jié)合改變了我們和底層數(shù)學(xué)對(duì)象之間的關(guān)系。激活現(xiàn)在映射到圖標(biāo)的表示，而不是抽象索引。
其中許多類似于人類的創(chuàng)造力，如“軟耳朵”、“狗鼻子”或“毛皮”。語(yǔ)義詞典的力量不僅僅在于它們擺脫了無(wú)意義的索引。因?yàn)樗鼈兇砹说湫蜆颖旧窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)抽象。通過(guò)對(duì)圖像進(jìn)行分類，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了一系列視覺(jué)抽象，因此圖像是用來(lái)表示它們的最自然的符號(hào)。如果我們使用音頻，那么更自然的符號(hào)可能是音頻剪輯。
這很重要，因?yàn)楫?dāng)神經(jīng)元看起來(lái)適合人類的思維時(shí)，它們很容易被簡(jiǎn)化成單詞。
但這樣做是一個(gè)有損的操作，甚至對(duì)于類似的抽象，網(wǎng)絡(luò)可能已經(jīng)學(xué)到了更深層次的細(xì)微差別。例如，谷歌lenet有多軟耳檢測(cè)器檢測(cè)耳朵的凹陷。長(zhǎng)度和周圍環(huán)境的細(xì)微差別。也可能有視覺(jué)上相似的抽象，但我們對(duì)它們沒(méi)有很好的自然語(yǔ)言描述：例如，當(dāng)陽(yáng)光照射到水面時(shí)，就會(huì)拍攝到一個(gè)特定的閃光柱。網(wǎng)絡(luò)可以學(xué)習(xí)我們不尋常的新抽象概念，自然語(yǔ)言可以使我們完全失?。。。∫话銇?lái)說(shuō)，一個(gè)典型的例子是一個(gè)更自然的方式來(lái)表示外國(guó)的抽象，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)比人類語(yǔ)言，給隱含層的意義。
語(yǔ)義詞典解釋我們現(xiàn)有技術(shù)提供依據(jù)，使它們的組合積木。就像它們的基本向量一樣，我們可以減少它們的維數(shù)。在其他情況下，語(yǔ)義詞典允許我們進(jìn)一步開(kāi)發(fā)這些技術(shù)。例如，除了當(dāng)前在輸入和輸出級(jí)別使用的單向?qū)傩酝?，語(yǔ)義詞典還允許特定隱層的屬性轉(zhuǎn)換。
原則上，這項(xiàng)研究可以不用語(yǔ)義詞典來(lái)完成，但是結(jié)果意味著什么還不清楚。網(wǎng)絡(luò)看到了什么？一種用來(lái)探測(cè)軟耳朵、狗鼻子、貓頭、毛茸茸的腿和草的探測(cè)器。語(yǔ)義詞典提供了一個(gè)細(xì)粒度的激活視圖：每個(gè)單個(gè)神經(jīng)元都能檢測(cè)到什么？在此基礎(chǔ)上，我們還可以考慮激活向量作為一個(gè)整體。我們可以想象在給定空間位置發(fā)射的神經(jīng)元的組合，而不是可視化單個(gè)神經(jīng)元。
我們優(yōu)化圖像以使激活點(diǎn)和原始激活向量之間的點(diǎn)積最大化。）將此技術(shù)應(yīng)用于所有激活向量，以便我們不僅能看到網(wǎng)絡(luò)在每個(gè)位置檢測(cè)到的信息。我們也可以了解網(wǎng)絡(luò)了解整個(gè)輸入圖像，并通過(guò)跨層（如“mixed3a”、“mixed4d”），我們可以看到網(wǎng)絡(luò)的理解的發(fā)展：從早期的層邊緣檢測(cè)。對(duì)于后者的形狀和對(duì)象的更復(fù)雜的部分。
然而，這些可視化忽略了一個(gè)關(guān)鍵信息：激活的大小，根據(jù)激活向量的大小對(duì)每個(gè)單元的面積進(jìn)行縮放，我們可以指出網(wǎng)絡(luò)在這個(gè)位置檢測(cè)到的特征強(qiáng)度：。
如何組裝概念？特性可視化幫助我們回答網(wǎng)絡(luò)檢測(cè)到的內(nèi)容，但它不回答網(wǎng)絡(luò)如何將這些單獨(dú)的部分組合起來(lái)做出最終決定?；蛘邽槭裁匆龀鲞@些決定。歸因是一套通過(guò)解釋神經(jīng)元之間的關(guān)系來(lái)回答這些問(wèn)題的技術(shù)。有許多歸因方法，但到目前為止，似乎還沒(méi)有明確和正確的答案。事實(shí)上，我們有理由認(rèn)為，到目前為止，我們的答案沒(méi)有一個(gè)是完全正確的。我們認(rèn)為對(duì)歸因方法的研究很多，但就本文而言，準(zhǔn)確的歸因方法并不重要。我們使用了一種相當(dāng)簡(jiǎn)單的方法，關(guān)系的線性近似，可以很容易地被任何其他技術(shù)所取代。
最常見(jiàn)的屬性界面與突出地圖稱為顯著圖，一個(gè)簡(jiǎn)單的熱圖。高亮顯示導(dǎo)致輸出分類的輸入圖像的像素。我們發(fā)現(xiàn)目前的方法有兩個(gè)缺點(diǎn)。目前還不清楚單個(gè)像素是否是屬性的基本單位。每個(gè)像素的含義與其他像素糾纏在一起，對(duì)簡(jiǎn)單的視覺(jué)轉(zhuǎn)換(如亮度、對(duì)比度等)不具有魯棒性。第二，傳統(tǒng)的顯著圖是一種非常有限的接口類型，每次只顯示一個(gè)類的屬性。
也不允許你深入研究個(gè)別的觀點(diǎn)。由于它們沒(méi)有明確地處理隱藏層，因此很難充分探索它們的設(shè)計(jì)空間。通道屬性通道屬性：通過(guò)將屬性應(yīng)用于隱藏層的空間位置，另一種方法是通過(guò)通道而不是空間位置來(lái)裁剪我們的活動(dòng)立方體。這允許我們執(zhí)行信道屬性：每個(gè)檢測(cè)器對(duì)最終輸出有多大的貢獻(xiàn)？該方法與Kim等人的同時(shí)代工作相似，該方法將歸因與學(xué)習(xí)渠道組合結(jié)合起來(lái)。
本文提出的接口思想結(jié)合了特征可視化和屬性化等構(gòu)建模塊。將這些片段組合在一起并不是一個(gè)任意的過(guò)程，而是遵循基于接口目標(biāo)的結(jié)構(gòu)。例如，如果接口強(qiáng)調(diào)網(wǎng)絡(luò)可以識(shí)別什么，那么它就會(huì)優(yōu)先考慮它的理解是如何進(jìn)化的，或者關(guān)注事物是如何在人類的范圍內(nèi)進(jìn)化的...為了評(píng)估這些目標(biāo)和理解權(quán)衡，我們需要能夠系統(tǒng)地考慮可能的替代方案。我們可以將接口看作是元素的組合。這些接口的可信度如何？為了使可解釋的接口更有效，我們必須相信它們告訴我們的故事。
我們認(rèn)為目前使用的一系列建筑模塊存在兩個(gè)問(wèn)題。首先，在不同的輸入圖像中，神經(jīng)元是否具有相對(duì)一致的意義，它們是否通過(guò)特征可視化來(lái)準(zhǔn)確地表示？語(yǔ)義詞典和基于它們的接口是以問(wèn)題的真實(shí)性為前提的。第二，歸因是否有意義，我們能相信現(xiàn)有的任何歸因方法嗎？模型行為非常復(fù)雜，我們當(dāng)前的構(gòu)建塊只允許我們演示它的具體方面。未來(lái)可解釋研究的一個(gè)重要方向是開(kāi)發(fā)能夠更廣泛地涵蓋模型行為的技術(shù)。
然而，即使有了這些改進(jìn)，我們相信，可靠度的關(guān)鍵指標(biāo)將是一個(gè)不誤導(dǎo)的接口。與顯示信息的交互不應(yīng)導(dǎo)致用戶隱式繪制模型的不正確評(píng)估。我們?cè)诒疚闹薪榻B的接口在這方面仍然有很大的改進(jìn)余地。在機(jī)器學(xué)習(xí)與人機(jī)交互交叉研究中，有必要解決這些問(wèn)題.。
有一個(gè)豐富的設(shè)計(jì)空間，與枚舉算法交互，我們認(rèn)為，也有很大的空間與神經(jīng)網(wǎng)絡(luò)的互動(dòng)。我們還有很多研究工作要做。若要?jiǎng)?chuàng)建強(qiáng)大且可信任的可解釋接口，請(qǐng)執(zhí)行以下操作。如果我們?nèi)〉贸晒Γ山忉屝詫⑹且粋€(gè)強(qiáng)有力的工具，將使我們能夠?qū)崿F(xiàn)有意義的人的監(jiān)督，并創(chuàng)造公平、安全和一致的人工智能系統(tǒng)。
