一、員工
(1)打開“XXXX.ipynb”
(2)補全? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
def __init__(self):? ? ? ? ? ? ? ? ?
super(MyNet, self).__init__()? ?
self.fc1=nn.Linear(14, 128)? ? ?
self.bn1=nn.BatchNorm1d(128)? ?
self.relu=nn.ReLU()? ? ? ? ? ? ?
#第二層? ? ? ? ? ? ? ? ? ? ? ? ?
self.fc2=nn.Linear(128, 256)? ?
self.bn2=nn.BatchNorm1d(256)? ?
self.relu=nn.ReLU()? ? ? ? ? ? ?
#第三層? ? ? ? ? ? ? ? ? ? ? ? ?
self.fc3=nn.Linear(256, 2)? ? ?
def forward(self, x):? ? ? ? ? ? ? ?
x= self.fc1(x)? ? ? ? ? ? ? ? ?
x= self.bn1(x)? ? ? ? ? ? ? ? ?
x= self.relu(x)? ? ? ? ? ? ? ? ?
x= self.fc2(x)? ? ? ? ? ? ? ? ?
x= self.bn2(x)? ? ? ? ? ? ? ? ?
x= self.relu(x)? ? ? ? ? ? ? ? ?
out = self.fc3(x)? ? ? ? ? ? ? ?
? ? return out? ? ? ? ? ? ? ? ? ? ?
二動物
1.數(shù)據(jù)集劃分? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? # 基于torchvision庫的ImageFolder提取圖片路徑? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? folder = datasets.ImageFolder(root='動物圖片', transform=trans_compose)? ?
? # 計算總樣本數(shù)n、訓(xùn)練集樣本數(shù)n1和測試集樣本數(shù)n2? ? ? ? ? ? ? ? ? ? ? ? ?
? n= len(folder)? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? n1 = int(n * 0.8)? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? n2 =n- n1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? train, test = random_split(folder, [n1, n2])? ?
2.模型生成?
? for i in range(1):?
running_loss - 0.0
for batchX, batchY in data_loader:
optimizer.zero_grad()
# 向前傳播
outputs = model(batchX)
loss = lossf(outputs, batchY)
# 反向傳播和優(yōu)化
loss.backward()
optimizer.step()
# 計算loss值
running_loss += loss.item()
# 計算正確率
metricsf(outputs, batchY)? ? ? ? ? ? ?
# 打印每個epoch損失和準確率
epoch_loss = running_loss/ len(data_loader)
epoch_accuracy = metricsf.compute()
print(f'Epoch {i + 1}/1, Loss: {epoch_loss:.4f},Accuracy: {epoch_accuracy:.4f}%')
? ? # 重置評估指標
metricsf.reset()
# 保存模型
torch.save(model.state_dict(),'2-2model_test.pth')
三、實操基礎(chǔ)理論數(shù)據(jù)增強? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
（1）圖像數(shù)據(jù)增強方法? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
幾何變換類：平移、旋轉(zhuǎn)、縮放。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
顏色變換類：亮度調(diào)整、對比度調(diào)整、色彩抖動。? ? ? ? ? ? ? ? ? ? ? ? ? ?
其它類：噪聲添加、模糊處理、裁剪。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
（2）流程圖基本概念（要背）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
①處：判斷文件是否為圖像文件。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
②處：判斷圖像文件是否為.jpg 類型。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
③處：判斷圖像文件是否為 RGB 模型。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
（3）容易出現(xiàn)的問題：嚴格篩選致數(shù)據(jù)丟失、誤篩。
改進：添加格式轉(zhuǎn)換，兼讀文件頭信息與色彩模式標識，精準判斷格式和模型。
四、實操理論2數(shù)據(jù)采集培訓(xùn)要求
1.基礎(chǔ)認知：明晰數(shù)據(jù)采集概念、重要性與應(yīng)用場景。
2.方法技巧：講授多種采集方式，涵蓋網(wǎng)絡(luò)、傳感器等，分享實操竅門。
3.工具運用：熟練掌握 Excel、Python 等工具用于數(shù)據(jù)獲取與整理。
1.目標不明確
問題：未清晰界定采集數(shù)據(jù)的用途與范圍，導(dǎo)致收集大量無關(guān)數(shù)據(jù)，遺漏關(guān)鍵信息。
解決方法：基于業(yè)務(wù)需求和分析目的，詳細梳理數(shù)據(jù)需求清單，明確數(shù)據(jù)用途、范圍、字段及預(yù)期成果。
2.樣本偏差
問題：選取樣本缺乏代表性。
解決方法：運用科學(xué)抽樣方法，必要時用統(tǒng)計方法評估樣本代表性。
3.數(shù)據(jù)來源不可靠
問題：采用劣質(zhì)數(shù)據(jù)源。
解決方法：優(yōu)先選用官方機構(gòu)、權(quán)威數(shù)據(jù)庫等可靠數(shù)據(jù)源。
4.采集方法不當
問題：不匹配數(shù)據(jù)特性與采集手段。
解決方法：依據(jù)數(shù)據(jù)類型和規(guī)模，合理選擇采集方法。
5.技術(shù)故障
問題：采集工具或系統(tǒng)出現(xiàn)故障。
解決方法：定期維護采集工具和系統(tǒng)，實時或定時備份采集數(shù)據(jù)。
6.數(shù)據(jù)重復(fù)采集
問題：缺乏統(tǒng)一規(guī)劃。
解決方法：建立企業(yè)級數(shù)據(jù)管理平臺，明確各數(shù)據(jù)歸屬與采集責(zé)任。
7.隱私與合規(guī)問題
問題：采集敏感個人信息未獲授權(quán)，或違反行業(yè)法規(guī)，面臨法律風(fēng)險。
解決方法：采集前向用戶明確告知數(shù)據(jù)用途、范圍、存儲方式，獲用戶同意。
五、實操3
1.判斷是否以png結(jié)尾? （根據(jù)實際情況調(diào)整）
if filename.endswith('.png'):
2.篩選 通道
基礎(chǔ)知識
● RGB 通道：這是最常見的色彩模式，用于表示彩色圖像。
● RGBA 通道：在 RGB 的基礎(chǔ)上增加了 A（透明度）通道，用于表示圖像的透明度信息。
● 灰度通道：也稱為 L 通道，圖像只有一個通道，存儲的是灰度值，表示圖像的亮度信息。
● CMYK 通道：C（青色）、M（洋紅色）、Y（黃色）、K（黑色）四個通道，常用于印刷領(lǐng)域。
篩選 通道的語句? if img.mode == 'XXXX':? ? （注意最后有封號,XXXX是通道的值）
