Matrix Net (xNet)，是一種用于目標(biāo)檢測(cè)的深度架構(gòu)。研究者利用 xNet 加強(qiáng)基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)，并且在 MS COCO 數(shù)據(jù)集上獲得了 47.8 的 mAP，這比其它任何一步（single-shot）檢測(cè)器效果都要好，而且參數(shù)量減半。重要的是，相比效果第二好的架構(gòu)，xNets 在訓(xùn)練上要快了 3 倍。
如下圖所示，很明顯 xNet 的參數(shù)效率要超過其它模型。其中 FSAF 在基于錨點(diǎn)的檢測(cè)器中效果是最好的，它超過了經(jīng)典的 RetinaNet。而在基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)器中，18 年提出的 CornerNet 是「開山之作」，今年又沿著它提出了 CenterNet。這些非常厲害的 single-shot 檢測(cè)器看起來效果都不如 xNet。
圖 1：一步檢測(cè)架構(gòu)在 MSCOCO 測(cè)試集上的模型大小（參數(shù)量）vs 準(zhǔn)確率（平均精度）。借助于 MatrixNet 主干，本文作者提出的模型在參數(shù)量類似的情況下性能超過了所有其他 single-shot 架構(gòu)。
在這篇論文中，xNet 用于基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)就構(gòu)成了 KP-xNet，后文會(huì)繼續(xù)介紹它的結(jié)構(gòu)，但這里主要關(guān)注它的性能。其實(shí)基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)近來也是一個(gè)熱點(diǎn)，通過幾個(gè)關(guān)鍵點(diǎn)確定邊界框，這確實(shí)非常簡(jiǎn)潔優(yōu)雅。
以前性能最好的是 CenterNet，它在 COCO 數(shù)據(jù)集上能獲得 47.0 的 mAP，但是 KP-xNet 只需要一半的參數(shù)量、1/3 的迭代數(shù)量、1/2 的 GPU 內(nèi)存，就能獲得額外 5.7% mAP 的效果提升。
表 1：本文提出的架構(gòu)與其他架構(gòu)在 MSCOCO 數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比結(jié)果。如圖所示，以 ResNext-101-X 為主干的最終模型 KP-xNet（MultiScale）mAP 值最高，比原始 CornerNet（MultiScale）架構(gòu)高 5.7%。
目標(biāo)檢測(cè)需要什么樣的架構(gòu)
目標(biāo)檢測(cè)架構(gòu)可以分為兩類：一步檢測(cè)架構(gòu)和兩步檢測(cè)架構(gòu)。兩步檢測(cè)利用候選區(qū)域網(wǎng)絡(luò)尋找固定數(shù)量的候選目標(biāo)，然后再用第二個(gè)網(wǎng)絡(luò)來預(yù)測(cè)每個(gè)候選目標(biāo)的得分并修改邊界框。
一步檢測(cè)架構(gòu)還可以分為兩類：基于錨點(diǎn)的檢測(cè)架構(gòu)和基于關(guān)鍵點(diǎn)的檢測(cè)架構(gòu)。
基于錨點(diǎn)的檢測(cè)架構(gòu)包含許多錨框，預(yù)測(cè)每個(gè)模板的偏移量和類別，其中最著名的就是 RetinaNet。
基于關(guān)鍵點(diǎn)的檢測(cè)架構(gòu)預(yù)測(cè)左上角和右下角的熱圖，并用特征嵌入將其合在一起，CornerNet 就是基于關(guān)鍵點(diǎn)檢測(cè)中非常經(jīng)典的架構(gòu)。
檢測(cè)不同尺度的目標(biāo)是目標(biāo)檢測(cè)任務(wù)的一大挑戰(zhàn)。特征金字塔網(wǎng)絡(luò)（FPN）是多尺度架構(gòu)領(lǐng)域取得的最大進(jìn)展之一。盡管 FPN 為處理不同大小的目標(biāo)提供了一種優(yōu)雅的方法，但它并沒有為不同寬高比的目標(biāo)提供任何解決方案。
為了解決這一問題。研究者引入了一種新的 CNN 架構(gòu)——Matrix Network，這一架構(gòu)能夠同時(shí)解決目標(biāo)尺度和寬高比不同的問題。如下圖 2 所示，xNet 擁有若干矩陣層，每一層負(fù)責(zé)處理一種特定大小和寬高比的目標(biāo)。xNet 將不同大小和寬高比的目標(biāo)分配到各個(gè)層，以確保在其分配的層中目標(biāo)大小接近一致。這使得方形的輸出卷積核可以從各種寬高比和大小的目標(biāo)中收集信息。和 FPN 類似，xNet 可以應(yīng)用到不同的主干上。
圖 2：（a）是原始的 FPN 架構(gòu)，這一架構(gòu)對(duì)每種尺度都分配了不同的輸出層。（b）是 MatrixNet 架構(gòu)，這一架構(gòu)將 5 個(gè) FPN 層視為矩陣中的對(duì)角層，通過下采樣這些層來填充矩陣的其余部分。
Matrix Nets 是什么
如圖 2 所示，Matrix nets（xNets）使用分層矩陣建模具有不同大小和寬高比的目標(biāo)，其中矩陣中的每個(gè)條目 i、j 表示一個(gè)層 l_i,j，矩陣左上角層 l_1,1 中寬度降采樣 2^(i-1)，高度降采樣 2^(j-1)。對(duì)角層是不同大小的方形層，相當(dāng)于一個(gè) FPN，而非對(duì)角層是矩形層（這是 xNets 所特有的）。
層 l_1,1 是最大的層，每向右一步，層寬度減半，而每向下一步高度減半。例如，層 l_3,4 是層 l_3,3 寬度的一半。對(duì)角層建模寬高比接近方形的目標(biāo)，而非對(duì)角層建模寬高比不接近方形的目標(biāo)。接近矩陣右上角或左下角的層建模寬高比極高或極低的目標(biāo)。這類目標(biāo)非常罕見，所以可以對(duì)它們進(jìn)行剪枝以提升效率。
1. 層生成
生成矩陣層是影響模型參數(shù)數(shù)量的關(guān)鍵步驟。參數(shù)越多，模型的表達(dá)能力越強(qiáng)，但優(yōu)化也越困難，所以研究者盡可能少地采用新參數(shù)。
2. 層范圍
矩陣中的每層都對(duì)一定寬度和高度的目標(biāo)進(jìn)行建模，所以研究者需要限定矩陣中每層寬度和高度的范圍，并且范圍需要反映矩陣層特征向量的感受野。
3.Matrix Nets 的優(yōu)點(diǎn)
Matrix Nets 的主要優(yōu)點(diǎn)是：它可以讓方形卷積核準(zhǔn)確地收集不同寬高比的信息。因此基于這個(gè)特點(diǎn)，MatrixNets 可作為任何目標(biāo)檢測(cè)的主架構(gòu)，包括基于錨點(diǎn)或關(guān)鍵點(diǎn)的一步或兩步檢測(cè)器。
Matrix Nets 怎樣用于基于關(guān)鍵點(diǎn)的檢測(cè)
CornerNet 提出來就是為了替代基于錨點(diǎn)的檢測(cè)器，它利用一對(duì)角——左上角和右下角——來預(yù)測(cè)邊界框。對(duì)于每個(gè)角來說，CornerNet 可預(yù)測(cè)熱圖、偏移量和嵌入。
圖 3 為研究者提出的基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)架構(gòu) KP-xNet，它包含 4 個(gè)步驟。(a-b) 步驟使用了 xNet 主干；(c) 步驟使用了共享輸出子網(wǎng)絡(luò)，而針對(duì)每個(gè)矩陣層，他們預(yù)測(cè)了左上角和右下角的熱圖和偏移量，并在目標(biāo)層內(nèi)對(duì)它們進(jìn)行中心點(diǎn)預(yù)測(cè)；(d) 步驟利用中心點(diǎn)預(yù)測(cè)匹配同一層中的角，然后將所有層的輸出與 soft 非極大值抑制結(jié)合，從而得到最終輸出。
文章來源： 機(jī)器之心
