膠囊神經網絡:什麼是、它是如何工作的、架構和組件

已發表: 2020-04-03

你如何識別事物? 如果我寫“他們的”和“蒂爾”,你會把它們都讀成“他們的”嗎? 你的答案可能是肯定的。

您的大腦可以識別主要特徵並幫助您識別事物。 這就是為什麼您可以輕鬆識別面孔的原因。 膠囊神經網絡的工作方式類似。 在本文中,我們將了解它們是什麼以及它們是如何工作的。 如果您對機器學習算法感興趣,那麼您一定會喜歡這篇文章。 那麼,讓我們開始吧。

目錄

什麼是膠囊神經網絡?

膠囊神經網絡專注於生物神經網絡的複制,以執行更好的識別和分割。 它們是一種人工神經網絡。 它們在膠囊神經網絡的一層下面有一個嵌套層,這就是“膠囊”這個詞的含義。

這些網絡中的膠囊決定了對象特徵的參數。 假設你的膠囊網絡必須識別一張臉。 膠囊將專注於確定是否存在特定的面部特徵。 他們不僅限於此。 他們還將檢查特定面部的特徵是如何組織的。 因此,只有當膠囊確定面部元素的順序正確時,您的系統才能識別面部。

您可能想知道,它們如何確定這些特徵的順序? 這些網絡可以這樣做,因為您提供了他們的輸入。 當他們檢查了數百(甚至數千)張圖像時,他們可以有效地執行此任務。

了解更多:神經網絡:現實世界中的應用

膠囊網絡如何工作?

現在,讓我們看看這些網絡是如何運作的。 最初,膠囊執行權重矩陣與輸入向量的矩陣乘法。 這為我們提供了有關幾個低級和高級特徵之間的空間關係的信息。

之後,膠囊選擇父膠囊。 他們通過動態路由進行選擇,我們將在本文後面討論。 一旦他們選擇了他們的父膠囊,他們就會發現當他們堅持自己的方向時,向量的總和在 0 和 1 之間被擠壓。 您通過使用坐標系的範數作為存在概率和余弦距離作為一致性度量來執行擠壓。

標準神經網絡和膠囊神經網絡之間存在顯著差異。 雖然膠囊網絡使用膠囊來封裝有關圖像的基本信息,但標準神經網絡為此使用神經元。 膠囊產生向量,而神經元只能產生標量。 由於這個原因,膠囊可以識別面部(或特定特徵)的方向,但神經元不能。 如果你改變任何特徵的方向,向量的值將保持不變,但它的方向會根據位置的變化而改變。

膠囊網絡在小型數據集上的表現驚人地好,並且它們更容易解釋穩健的圖像。 除此之外,它們還保留了圖片的所有信息,包括紋理、位置和姿勢。 它們唯一的缺點是它們無法勝過龐大的數據集。

閱讀:神經網絡中的 6 種激活函數

膠囊神經網絡的架構是什麼?

膠囊網絡的主要兩個組件是編碼器和解碼器。 它們總共包含六層。 編碼器具有前三層,它們負責將輸入圖像轉換為向量(16 維)。 編碼器的第一層是卷積神經網絡,它提取圖片的基本特徵。

第二層是 PrimaryCaps 網絡,它採用這些基本特徵並在其中找到更詳細的模式。 例如,它可以看到特定筆劃之間的空間關係。 不同的數據集在 PrimaryCaps 網絡中具有不同數量的膠囊; 例如,MNIST 數據集有 32 個膠囊。 第三層是 DigitCaps 網絡,其中存在的膠囊數量也各不相同。 在這些層之後,編碼器有一個 16 維向量,該向量進入解碼器。

解碼器具有三個連接層。 它採用 16 維向量並嘗試借助其擁有的數據從頭開始重建相同的圖像。 這樣,網絡變得更加健壯,因為它可以根據其知識進行預測。

另請閱讀: Python 中的遞歸神經網絡

CNN 中的計算

矩陣乘法

在第一層和第二層之間,我們執行矩陣乘法。 這對空間關係的信息進行了編碼,編碼後的信息顯示了標籤分類的概率。

標量權重

在這個計算階段,較低級別的膠囊根據高級膠囊的權重調整其權重。 他們這樣做是為了匹配高級膠囊的重量。 高級膠囊繪製權重分佈圖並接受最大的分配以通過。 它們都通過動態路由相互通信。

動態路由

在動態路由中,較低的膠囊將其數據發送到父膠囊。 它們都根據它們將自己的數據發送到最合適的膠囊中,獲得大部分數據的膠囊成為父膠囊。 父膠囊遵循協議並相應地分配權重。

為了理解動態路由,假設你給你的膠囊網絡提供了房子的圖像。 它在識別房屋屋頂方面面臨一些問題。 所以膠囊分析圖像,特別是它的常數部分。 他們協調房子的框架與牆壁和屋頂有關。

他們首先決定對像是否是房子,然後將他們的預測發送到高層膠囊。 如果屋頂關於牆壁的投影與低層膠囊的其他預測相匹配,則輸出表明該物體是一所房子。 這就是協議路由的過程。

矢量到矢量非線性

一旦動態路由完成,系統就會壓縮信息,這意味著它會壓縮該信息。 它為您提供膠囊是否識別特定特徵的概率。

最後的想法

看完這篇文章,你一定已經熟悉了膠囊神經網絡及其操作。 你一定也意識到他們的行動有多麼有用。

如果您想了解有關機器學習算法的更多信息,請查看我們的博客。 你會在那裡找到一些知識淵博的文章。

如果您有興趣了解有關機器學習的更多信息,請查看 IIIT-B 和 upGrad 的機器學習和人工智能 PG 文憑,該文憑專為工作專業人士設計,提供 450 多個小時的嚴格培訓、30 多個案例研究和作業、IIIT- B 校友身份、5 個以上實用的實踐頂點項目和頂級公司的工作協助。

什麼是變壓器神經網絡?

當神經網絡將向量序列作為輸入,將其更改為稱為向量的向量(該過程稱為編碼),然後將其解碼回另一個序列,則稱為變換器神經網絡。 轉換器是許多神經網絡架構中用於處理順序數據的組件,包括純語言文本、聲學信號、基因組序列和時間序列數據。 Transformer 神經網絡最常見的應用是自然語言處理。

什麼是圖形神經網絡以及圖形如何工作?

圖神經網絡或 GNN 是使用圖節點之間的消息傳輸來表示圖依賴關係的神經模型。 這些網絡直接在給定的圖結構上運行。 簡單來說,圖中的每個節點都有一個標籤,使用神經網絡根據 ground truth 預測標籤節點。 GNN 最近在各種學科中獲得了突出地位,包括社交網絡、知識圖譜、推薦系統,甚至生命科學。

膠囊與膠囊網絡不同嗎?

膠囊和膠囊網絡這兩個術語都與深度學習有關,但它們不是一回事。 一組神經元的活動向量表示某個項目的實例化參數,例如對象的實例化參數,稱為膠囊。 然而,膠囊網絡是可以檢索地理信息和其他重要方面的網絡,以最大限度地減少池操作過程中的數據丟失。