DeepMind 已經建立了一個可以像常規的圖靈機一樣訪問外部記憶體的「神經系統圖靈機」。其結果是這個「神經系統圖靈機」可以模擬人類大腦的短期記憶。
在神經系統科學領域中，其中一個最大的挑戰就是要瞭解人類大腦的短期工作記憶。與此同時，電腦科學家們也熱愛在晶圓中重現同樣的記憶。
在神經系統科學領域中，其中一個最大的挑戰就是要瞭解人類大腦的短期工作記憶。與此同時，電腦科學家們也熱愛在晶圓中重現同樣的記憶。
Google 在今年年初曾花費 4 億美金收購的創業公司 DeepMind 在今天公佈了一台原型電腦，這台原型電腦可以試圖模仿一些人類大腦的短期工作記憶的特性。這台新的電腦具備一種神經網路類型，它可以適應與外部記憶體共同工作。其結果是這台電腦可以儲存記憶並能在之後檢索它們從而執行一些有邏輯性的任務，除此以外，它也可以被訓練去做一些事情。
記憶為「塊」的組成
DeepMind 在人們已經有著悠久探索歷史的短期記憶方面取得了突破性進展。在 20 世紀 50 年代，美國認知心理學家 George Miller 進行了一項在腦科學的歷史中非常著名的實驗。George Miller 對人類大腦工作記憶的能力十分感興趣，他開始著手測量人類大腦的實驗並邀請了大批的學生參與這項實驗。
George Miller 的實驗結果顯示，短期記憶的能力不能由它包含的資訊量來確定。反而 George Miller 的實驗結果顯示出工作記憶是以「塊」的形式來儲存資訊，並且大約可以儲存七個。
這提出了一個奇怪的問題：這個「塊」是什麼？在 Miller 的實驗中，一個塊可以是一個單一的數字，如「4」，一個字母如「Q」，一個詞或一個詞組。所以每個塊都可以表示任何從一個非常小的資訊量變成一個非常複雜的想法的東西，它等效於大量的資訊。
但是，無論一個單獨的塊能表示多少資訊，人類的大腦也只能儲存七個塊在工作記憶中。
這裡有一個例子。請仔細看下面的句子：「This book is a thrilling read with a complex plot and lifelike characters 」。
這句話是由大約 7 塊訊息組成的，顯然這句話在任何普通讀者看來都是可以理解的。
與此相反的是，嘗試讀讀這句話：「This book about the Roman Empire during the first years of Augustus Caesar’s rein at the end of the Roman Republic, describes the events following the bloody Battle of Actium in 31 BC when the young emperor defeated Mark Antony and Cleopatra by comprehensively outmaneuvering them in a major naval engagement 」。
這句話至少包含 20 塊資訊。所以，如果你發現它更難以閱讀，不用驚訝。人類的大腦在工作記憶中確實很難以處理這類訊息。
在認知科學領域，理解句子的組成部分，並將其儲存在工作記憶中的能力被稱為綁定變量。這是將一塊數據取出，將其分配給記憶，並反覆執行此操作的能力。
神經網路－－找出訊息間的關聯
在 90 年代和 100 年代期間，電腦科學家多次試圖設計演算法、電路和神經網路，希望其可以執行上述操作。這樣的電腦應該能夠分析一些簡單的句子例如「瑪麗告訴約翰」，所以在這樣的情況下，電腦可以區分出瑪麗是說話的角色，說話這個動作和約翰這個傾聽的角色。
DeepMind 的人員透露，早期的機器性能非常有限，而他們的架構借鑑了之前的技術並加強了它。
他們開始重新定義神經網路的本質。至今，神經網路已成為相互關聯的「神經元」模式，它有能力改變相互連接的強度來響應外部輸入。這是一種學習的形式，讓他們發現不同的輸入之間的相似之處。
但是，計算的基本過程包含一個重要的附加因素。在計算的過程中，外部記憶體需要可以被讀取和寫入。在圖靈著名的電腦說明中，記憶體就像是一個電報紙條，通過電腦來回傳遞並儲存各種各樣的符號供稍後處理。
這種類型的可讀和可寫的記憶體中不存在常規的神經網路。因此，他們僅僅添加了一個。這使得神經網路可以在其記憶體中儲存變量並返回給它們在之後的計算中使用。
這類似於一台普通的電腦可能把數字 3 和數字 4 輸入進內部寄存器，之後將它們合在一起生成 7。區別在於神經網路可以儲存更複雜的表示變量的模式。
由於這種形式的計算與傳統的神經網路具有不同的特點，DeepMind 給它起了一個新的名字——他們稱之為神經系統圖靈機，而且第一款產品已建成。神經系統圖靈機與常規神經網路類似，它通過接受外部世界輸入的資訊來學習，但它也會學習如何儲存這種資訊以及何時進行檢索。
DeepMind 的工作包括：首先構建設備，然後進行實驗。他們的實驗中包含了一些測試，看看神經系統圖靈機能否執行特定的任務，它可以再擴展這個能力從而實現更大或更複雜的任務。
尋求再編碼能力
事實證明，神經系統圖靈機已經學會了完美複製的序列長度為 20 左右的資訊。然後在複製序列長度為 30 和 50 的資訊時，也很少出現錯誤。對於長度為 120 的序列，錯誤開始增多。
他們比較了它們的神經系統圖靈機的與常規的神經網路的性能。區別是很顯著的。傳統的神經網路學會複製序列長度是 20 的資訊時幾乎是完美的。但是，當涉及到那些更長的序列時，錯誤會立刻增多。處理長度為 120 的序列時幾乎是不可識別的。
DeepMind 團隊也測試了神經系統圖靈機執行其他任務的能力。例如，其中之一相當於是複印：該任務是複製序列，然後重複該序列一定的次數，並結束於一個預定的標記。這一次，該神經系統圖靈機的表現顯著優於常規的神經網路。
這是一個令人印象深刻的產品。DeepMind 的實驗表明，神經系統圖靈機能夠從數據中學習簡單的演算法，並使用這些演算法來擴展它的能力。
大腦的這種重新編碼能力是人工智慧的關鍵要素之一。除非電腦能複製人類大腦的這種能力後，否則它永遠都比不上人腦的表現。
Google 旗下的 DeepMind 曾表示，他們的目標是「解決智慧」。如果此解決方案可以達到人類的智力水準，那麼最好的測試就是看神經系統圖靈機能否具有人類大腦重新編碼的能力。
（本文由 雷鋒網 授權轉載）
沒有留言:
張貼留言