基于單元的搜索空間（Cell-based Search Space）
在神經(jīng)架構(gòu)搜索（NAS）中，基于單元的搜索空間（Cell-based Search Space）?是一種模塊化設(shè)計(jì)范式，通過(guò)定義可重復(fù)堆疊的基礎(chǔ)單元（Cell）?來(lái)構(gòu)建完整神經(jīng)網(wǎng)絡(luò)架構(gòu)。其核心思想是將復(fù)雜網(wǎng)絡(luò)的搜索問(wèn)題分解為單元結(jié)構(gòu)搜索，大幅降低搜索復(fù)雜度和計(jì)算成本。以下從定義、設(shè)計(jì)方式、優(yōu)勢(shì)、經(jīng)典方法等方面詳細(xì)解析：
一、核心定義
基本概念
單元（Cell）：一種預(yù)定義的模塊化結(jié)構(gòu)，通常包含多個(gè)節(jié)點(diǎn)（Nodes）和連接邊（Edges），代表局部計(jì)算模式（如卷積、池化等）。
搜索目標(biāo)：在單元內(nèi)部搜索節(jié)點(diǎn)間的連接方式和每條邊上的操作類(lèi)型（如3×3卷積、5×5深度可分離卷積等）。
堆疊規(guī)則：將搜索出的單元按固定規(guī)則（如重復(fù)次數(shù)、通道數(shù)縮放）組合成完整網(wǎng)絡(luò)。
典型應(yīng)用場(chǎng)景
適用于圖像分類(lèi)、目標(biāo)檢測(cè)等任務(wù)，經(jīng)典工作包括NASNet、ENAS、DARTS等。
二、單元結(jié)構(gòu)的設(shè)計(jì)方式
1. 單元內(nèi)部結(jié)構(gòu)
節(jié)點(diǎn)（Nodes）
每個(gè)節(jié)點(diǎn)代表一個(gè)特征圖（Feature Map），通過(guò)操作（如卷積）對(duì)前驅(qū)節(jié)點(diǎn)的特征進(jìn)行變換。
節(jié)點(diǎn)通常按拓?fù)漤樞蚺帕校ㄈ鐝淖蟮接遥總€(gè)節(jié)點(diǎn)從所有前驅(qū)節(jié)點(diǎn)中選擇輸入來(lái)源。
邊（Edges）
每條邊連接兩個(gè)節(jié)點(diǎn)，并分配一個(gè)操作（如3×3卷積、最大池化）。
搜索變量：邊的連接是否存在（拓?fù)浣Y(jié)構(gòu)） + 邊上的操作類(lèi)型（操作選擇）。
2. 單元類(lèi)型
普通單元（Normal Cell）
保持特征圖的空間分辨率，專(zhuān)注于提取局部特征（如卷積操作）。
降采樣單元（Reduction Cell）
降低特征圖分辨率（如通過(guò)步長(zhǎng)為2的卷積），通常用于網(wǎng)絡(luò)深層。
3. 堆疊規(guī)則
將多個(gè)單元（如Normal Cell和Reduction Cell交替）按階段（Stage）堆疊，每個(gè)階段后可能調(diào)整通道數(shù)。
例如：NASNet使用“N個(gè)Normal Cell → 1個(gè)Reduction Cell → N個(gè)Normal Cell”的模式。
三、搜索空間的優(yōu)勢(shì)
降低搜索復(fù)雜度
全局搜索空間需設(shè)計(jì)整個(gè)網(wǎng)絡(luò)（可能數(shù)十層），而單元搜索僅需設(shè)計(jì)局部模塊（如10節(jié)點(diǎn)單元），搜索參數(shù)量級(jí)從?O(N2)O(N2)?降至?O(1)O(1)（N為層數(shù)）。
示例：NASNet通過(guò)搜索單元結(jié)構(gòu)，參數(shù)量比直接搜索全局網(wǎng)絡(luò)減少1000倍以上。
可遷移性
在小數(shù)據(jù)集（如CIFAR-10）上搜索出的單元，可遷移到大數(shù)據(jù)集（如ImageNet）上堆疊使用。
經(jīng)典案例：NASNet在CIFAR-10搜索的單元，遷移到ImageNet后達(dá)到人工設(shè)計(jì)模型的精度。
模塊化設(shè)計(jì)
單元結(jié)構(gòu)可復(fù)用，便于網(wǎng)絡(luò)擴(kuò)展（如增加單元重復(fù)次數(shù)）或調(diào)整（如替換單元類(lèi)型）。
硬件友好性
單元結(jié)構(gòu)規(guī)則（如固定通道數(shù)變化）易于部署到移動(dòng)端或邊緣設(shè)備。
四、經(jīng)典方法中的實(shí)現(xiàn)
1. NASNet（2017）
搜索空間：?jiǎn)卧?個(gè)中間節(jié)點(diǎn)，每條邊從8種候選操作中選擇（如3×3卷積、5×5深度可分離卷積）。
搜索策略：基于強(qiáng)化學(xué)習(xí)（RL），控制器生成單元結(jié)構(gòu)，訓(xùn)練后反饋獎(jiǎng)勵(lì)。
單元堆疊：通過(guò)重復(fù)單元構(gòu)建網(wǎng)絡(luò)，每階段后使用Reduction Cell降采樣。
2. ENAS（2018）
搜索空間：?jiǎn)卧獌?nèi)節(jié)點(diǎn)間為有向無(wú)環(huán)圖（DAG），邊上的操作可共享權(quán)重。
搜索策略：通過(guò)強(qiáng)化學(xué)習(xí)+權(quán)重共享，搜索效率比NASNet提升1000倍。
3. DARTS（2019）
搜索空間：?jiǎn)卧獌?nèi)節(jié)點(diǎn)間所有可能的邊均存在，每條邊分配混合操作（softmax加權(quán)多操作）。
搜索策略：可微分NAS，通過(guò)梯度下降優(yōu)化架構(gòu)參數(shù)（α）和網(wǎng)絡(luò)權(quán)重（w）。
