早在2016年的時候，彭博社報道過，初創(chuàng)公司就已經(jīng)開始營銷私人助理機器人——埃米·英格拉姆（Amy Ingram）。公司對外宣稱這款機器人是“能夠為你安排會議的私人助理”！你只要將電子郵箱發(fā)送給埃米，埃米就能以非常甜美的語氣開始自己的私人助理工作。

當時人們一度認為，埃米確實比人類更適合這項工作。

但是，經(jīng)歷過一次又一次AI騙局之后，我們才慢慢弄明白，原來AI也是有假。現(xiàn)在我們在看看埃米，如果仔細觀察其廣告細則，就會發(fā)現(xiàn)人類可以隨意介入這個“人工智能”系統(tǒng)。營銷這個機器人的公司在背后利用全天候工作的人來操控埃米。

當然，還有比這個更早的自動機騙局。

1770年，一個酷似真人的機械裝置——“土耳其人”，戰(zhàn)勝了絕大多數(shù)人類棋手，成為國際象棋高手。公眾對于這款機器的癡迷要遠遠高于之前的沃康松發(fā)明長笛演奏者。有人懷疑機器里面是不是有一個小孩，但是每當打開機器內(nèi)部，就能夠發(fā)現(xiàn)里面有很多機械齒輪在運作，并沒有發(fā)現(xiàn)有小孩藏在里面。

“土耳其人”機器人

歷任主人對這款國際象棋高手機器的工作原理始終諱莫如深，外界對“土耳其人”歷經(jīng)多年的猜測，卻還是無法揭示這款自動機的工作原理。“土耳其人”被創(chuàng)作出的84年后，一場大火燒掉了“土耳其人”。后一任主人的兒子覺得保守秘密也沒有意義，于是公布了“土耳其人”的工作原理。

事實上，“土耳其人”就是一個巨大的木偶人，利用巧妙的機關構成對觀眾的欺騙。

這些例子表明，我們不應該接受“它采用了深度神經(jīng)網(wǎng)絡”的回答，來掩蓋所謂“人工智能”系統(tǒng)的工作原理。因為如果不這樣，會讓我們陷入到一些毫無根據(jù)的人工智能炒作之中。事實上，這種“粗心”的想法讓我們輕信了像“土耳其人”這樣的騙局。

確保我們不會落入騙局和“甜蜜營銷”陷阱的方法之一是仔細研究這些裝置背后的細節(jié)和工作原理。

深度神經(jīng)網(wǎng)絡如何識別圖像中的物體？

在2006年之后的10年時間內(nèi)，計算機識別圖像、語音等的能力已經(jīng)得到顯著地提升。甚至從某種角度上說，計算機已經(jīng)超過人類在圖像識別方面的能力，而這得益于一種叫做“深度神經(jīng)網(wǎng)絡”的技術。不僅僅如此，深度神經(jīng)網(wǎng)絡還能針對一副圖片創(chuàng)造出逼真的渲染效果。

深度神經(jīng)網(wǎng)絡本質上就是一種輸入和輸出之間的映射關系。一旦網(wǎng)絡參數(shù)訓練完畢，深度神經(jīng)網(wǎng)絡是一個可以預測的，是一個確定性的函數(shù)。只要隱藏層足夠多，深度神經(jīng)網(wǎng)絡理論上是可以表達任意函數(shù)。而且只要我們仔細研究，就會發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡就是一個分類器。

但是了解了這些，我們還是無法知道深度神經(jīng)網(wǎng)絡在了解世界的內(nèi)部表達是什么樣，還是不知道深度神經(jīng)網(wǎng)絡在那些時候會表現(xiàn)比較差？要想了解深度神經(jīng)網(wǎng)絡的能力和局限，我們只能去了解深度神經(jīng)網(wǎng)絡背后的細節(jié)。

這里以“深度神經(jīng)網(wǎng)絡識別圖像中的狗”為例，說明深度神經(jīng)網(wǎng)絡的工作原理。

首先，需要準備讓深度神經(jīng)網(wǎng)絡去學習的圖片。這些“訓練樣例”有包含狗的圖片，也有不包含狗的圖片。而且，為了深度神經(jīng)網(wǎng)絡理解這些圖片，需要對樣例進行數(shù)字編碼，這樣就能夠用數(shù)字來表達像素的顏色，從而用數(shù)字來描述圖片。

因為彩色圖片中，每個像素有三種顏色（紅、綠、藍）因此，對于640×480大小的圖片，需要921600（640×480×3）個數(shù)字來表達。一旦將網(wǎng)絡的輸入設置為這些數(shù)字的時候，就可以開始運行設計好的深度神經(jīng)網(wǎng)絡框架。這些數(shù)字會一層層地激活，直到在末端產(chǎn)生一個輸出。

可以把神經(jīng)網(wǎng)絡中的神經(jīng)元想象成一個個打開或關閉的小燈泡。而且，當網(wǎng)絡中神經(jīng)元的激勵水平越高，小燈泡的亮度就會越大。一旦網(wǎng)絡運行，網(wǎng)絡中的一些神經(jīng)元就會變亮，另一些則會變暗。在深度神經(jīng)網(wǎng)絡識別狗的過程中，我們更關注網(wǎng)絡輸出的神經(jīng)元有多亮。

含有兩個隱藏層的神經(jīng)網(wǎng)絡

假設我們設計的網(wǎng)絡的輸出層只有一個神經(jīng)元，我們稱之為“狗神經(jīng)元”。如果“狗神經(jīng)元”亮，則說明圖片中含有“狗”，反之則不含。如果亮度不暗也不亮，則認為圖片中可能有狗，可能沒有狗。同樣，我們對“訓練樣例”的標簽也做數(shù)字編碼處理，通過人工標注的方式，有狗則為“1”，無狗則為“0”。

之后，我們就需要將輸出的亮度和“訓練樣例”的標簽進行對比，一個輸入的末端神經(jīng)元亮，且該輸入的標簽為“1”，則認為網(wǎng)絡的預測是正確。然后，根據(jù)預測結果來評估網(wǎng)絡的誤差有多大。并將誤差反向傳遞給網(wǎng)絡，從而調節(jié)每個神經(jīng)元之間的權重，以便下一次預測誤差會變小。直到網(wǎng)絡預測完全正確或者絕大部分都正確，則不再調整網(wǎng)絡參數(shù)。

隨著時間的推移，網(wǎng)絡會變得越來越準確。原因就在于，我們就是將預測不斷逼近我們的訓練標簽（真值）。這就是很多標準神經(jīng)網(wǎng)絡的訓練方式，盡管很簡單，但也直到20世紀七八十年代才被人們真正理，而神經(jīng)網(wǎng)絡此前已經(jīng)存在了幾十年。

如何避免過擬合的問題？

神經(jīng)網(wǎng)絡的挑戰(zhàn)就是過擬合問題。我們會經(jīng)常發(fā)現(xiàn)，訓練好的深度神經(jīng)網(wǎng)絡，能夠很好應對與訓練樣例類似的情況，但是對于訓練樣例中沒有出現(xiàn)的對象，深度神經(jīng)網(wǎng)絡就會表現(xiàn)得比較差。盡管它很好地匹配了訓練數(shù)據(jù)，但它不太可能很好地解釋新數(shù)據(jù)，這就是過擬合的問題。

過擬合問題說明

一旦神經(jīng)網(wǎng)絡函數(shù)無線逼近訓練樣本，模型的復雜度就會上升，其泛化能力自然變得非常差。

通常，避免過擬合問題，有兩種解決辦法：一是使用更簡單的模型，即使用可調旋鈕比較少的模型；二是把更多數(shù)據(jù)用于復雜模型。目前，研究人員傾向于將這兩種辦法結合起來，使用盡可能多的數(shù)據(jù)來訓練旋鈕較少的網(wǎng)絡。

說起更多數(shù)據(jù)，不得不提一下，斯坦福大學李飛飛教授的ImageNet數(shù)據(jù)集。李飛飛之所以出名，一定程度上在于她制作了大量標注良好的圖片。當認識到數(shù)據(jù)對于網(wǎng)絡訓練會產(chǎn)生巨大作用后，李飛飛和同事開始了一個宏大的項目——ImageNet。到目前，這個ImageNet擁有1400萬張高分辨率的圖片，標注的類別超過2.2萬個。

李飛飛與ImageNet數(shù)據(jù)集

這個數(shù)據(jù)集比當時其他數(shù)據(jù)集要多出一個數(shù)量級的標注圖片，而且還有很多細粒度標簽，比如有達爾馬提亞犬、荷蘭毛獅犬和迷你雪納瑞犬。2010年，李飛飛組織了一場名為“ImageNet大規(guī)模視覺識別挑戰(zhàn)賽”的比賽，數(shù)據(jù)集采用1000個類別的140萬張圖片。比賽的前兩年，識別錯誤率從2010年的28%下降到2011年的26%。

但是在2010年的時候，一個不被看好的成功——深度神經(jīng)網(wǎng)絡，成為挑戰(zhàn)賽不可爭議的贏家，錯誤率達到16%，遠低于之前的26%。這個轉變思維模式的深度神經(jīng)網(wǎng)絡被稱為AlexNet，這個模型之所以表現(xiàn)出色，在于用大量的數(shù)據(jù)來訓練不太多需要調整權重的網(wǎng)絡。

AlexNet是一個卷積神經(jīng)網(wǎng)絡，通過一系列卷積層（5層），然后一系列全連接層（3層）。那么，這種網(wǎng)絡架構設計到底有什么奇特之處呢？

簡單來說，卷積層就是通過查找圖片中的物體來轉化圖片。每個卷積層都有一組過濾器，用于查找圖片中的不同對象，比如貓、狗等。如果貓過濾器映射出的圖片都是暗的，則表示沒有找到貓。但對于第一個卷積層的過濾器來說，一般都不會識別出很復雜的物體，部分原因在于第一層的過濾器通常比較小。

AlexNet神經(jīng)網(wǎng)絡架構

AlexNet的第一層的過濾器在11×11的像素塊中查找對象，而且采用大約100個過濾器，意味著擁有100個神奇的物體探測器。這些過濾器被稱為“邊緣探測器”，因為它們匹配輸出的是圖片的邊緣或者其他簡單模型。AlexNet另外4個卷積層中每層都有幾百個過濾器。每一個連續(xù)的卷積層都使用前一層的過濾器作為基本構件，將其組合成更加復雜的模式。

隨著網(wǎng)絡的不斷深入，過濾器捕捉到的成分越來越復雜。慢慢地，你可以開始分辨出物體的連貫部分，有些像毛發(fā)，有些甚至像人臉。一旦穿過第5個卷積層，就開始3個全連接層。網(wǎng)絡的輸出有 1000個不同的神經(jīng)元，分別對應ImageNet挑戰(zhàn)中的每一個類別。

激活網(wǎng)絡輸出層神經(jīng)元的圖像塊，左為大白鯊，右為沙漏

后，不出所料，點亮大白鯊神經(jīng)元的圖像塊似乎有大白鯊，點亮沙漏神經(jīng)元的圖像塊似乎有沙漏。但是這些圖片中物體并非來自任何一張圖片，而是網(wǎng)絡自己生成，以反映每個神經(jīng)元找到的內(nèi)容。

盡管目前，AlexNet并不是和高效的，但是其應對過擬合的思維卻影響著后續(xù)神經(jīng)網(wǎng)絡的設計。

為什么深度神經(jīng)網(wǎng)絡會如此有效？

是什么讓深度神經(jīng)網(wǎng)絡，尤其是AlexNet，在ImageNet比賽中表現(xiàn)得如此出色？AlexNet的網(wǎng)絡架構真的非常完美嗎？事實上，從理論上說，一個隱藏層就能夠表達任意復雜函數(shù)，那么，網(wǎng)絡真的需要這樣深嗎？

如果只有一個隱藏層，那么對于復雜問題，我們網(wǎng)絡的隱藏層將會變得非常龐大、非常寬。這就需要更多的數(shù)據(jù)來調整更多的網(wǎng)絡神經(jīng)元權重，否則就會出現(xiàn)過擬合的情況。根據(jù)《On the Number of Linear Regions of Deep Neural Networks》這篇文章的理論表明，通過讓隱藏層更深而不是更寬，能夠更加有效地表達復雜的函數(shù)。

換句話說，神經(jīng)元越少，需要學習的權重就越少！

卷積層之所以強大，在于其使用分布式表達來處理圖像。

卷積神經(jīng)網(wǎng)絡

那么，為什么深度比寬度有效？這個其實很好理解。通過一些基本的、少量的共享特征，比如眼睛、耳朵、眉毛、嘴巴、膚色等，可以構建出不同的人種。這樣，前幾層就可以專注于尋找基本組件，后幾層則專注于如何組合這些基本組件。這種做法自然比一次識別出不同形象（更寬的隱藏層）要來得高效。

2012之后，很多ImageNet比賽都開始采用深度神經(jīng)網(wǎng)絡的設計思路。目前，ImageNet挑戰(zhàn)賽中的錯誤率已經(jīng)達到2.3%，與AlexNet的16%更是精進許多，已經(jīng)超過了人類的圖像識別能力。但是，我們也能發(fā)現(xiàn)，目前很多深度神經(jīng)網(wǎng)絡的深度已經(jīng)變得越來越深，甚至達到看似荒謬的程度。

Inception v2:用兩個 3×3卷積替代 5×5

但是，谷歌曾推出22層的Inception Network，為什么沒有因為深度而陷入過擬合？原因在于谷歌研發(fā)人員發(fā)現(xiàn)，卷積層的神經(jīng)元過于簡單，因此采用更多復雜的微型網(wǎng)絡取而代之。更重要的是，讓每一層使用更少的參數(shù)。（例如，兩個3×3過濾器和一個1×1過濾器，以及將它們組合起來的3個權重，總共需要22個參數(shù)，而一個5×5過濾器則有25個參數(shù)）

之后，還有更多改善網(wǎng)絡的辦法，比如在不相鄰的卷積層之間增加連接，能夠提高網(wǎng)絡性能。比如讓神經(jīng)元在網(wǎng)絡一層內(nèi)相互加強，比如找到了狗耳朵，就會讓其他部分更加注重尋找狗尾巴和狗腿。

總而言之，隨著科技技術的不斷發(fā)展，深度神經(jīng)網(wǎng)絡也會變得越來越有效。

結論

目前，市面上有很多宣稱是基于深度神經(jīng)網(wǎng)絡的人工智能項目，但真假也的確難辨。要想分清真假人工智能系統(tǒng)，需要更多關注項目背后的細節(jié)。

本文從深度神經(jīng)網(wǎng)絡如何識別圖像的過程入手，介紹了一個標準的深度神經(jīng)網(wǎng)絡的工作原理。之后針對深度神經(jīng)網(wǎng)絡極易出現(xiàn)的過擬合問題，說明解決過擬合問題可以用“大量的數(shù)據(jù)來訓練不太多需要調整權重的網(wǎng)絡”的思路。

后，本文分析了為什么深度神經(jīng)網(wǎng)絡會變得如此有效，原因在于網(wǎng)絡的深度比寬度更有效。但是，即使網(wǎng)絡再深，也需要盡可能減少網(wǎng)絡需要調整的參數(shù)，從而避免過擬合問題。

未來，深度神經(jīng)網(wǎng)絡必將出現(xiàn)更多更有效的網(wǎng)絡模型，要想分辨真假，只能從細節(jié)入手！你們怎么看待人工智能有假的問題，歡迎在下方留言評論。