Hailo8 應用 – 人臉辨識
Introduction
人臉辨識屬於生物特徵識別，典型流程包含人臉偵測、深度網路特徵向量萃取(128~512維度)、相似度計算(cosine 或 L2)與 Threshold 判斷。為提升判別正確性，常用 ArcFace、CosFace 中的 Angular 與 Margin Loss 函數，並在系統中進行特徵庫管理及以 EER/DET/ROC 校準 Threshold。支援 1:1 驗證與 1:N 辨識兩種模式。應用場景包括手機與筆電解鎖、智慧門禁考勤、相簿分群、失蹤人口比對、出席率計算、工地安全帽身份聯動等。
技術挑戰包括：
- 光線陰影變化、姿態、表情、臉部遮擋(如口罩)、年齡與妝容變化 (Feature Drift)
- 裝置與地點的偏移
- 長尾分佈與少樣本問題
- 模型更新
- Liveness Detection 與預防 Deepfake Attacks
使用的模型
Object Detection: SCRFD
Object Detection 的目的是將物件依特徵或屬性進行分類與分組，並標註座標。在人臉辨識中，用來框選圖片中目標人臉的大小與位置，方便後續特徵提取與比對。SCRFD 是卷積神經網路，透過 Hailo8 推論可達 5299 frames/sec（不含前/後處理）。模型可於 Hailo Model Zoo 下載。
Recognition: ArcFace
ArcFace 將偵測到的人臉轉化成特徵向量，每個人臉都有獨特向量。使用 Hailo8 推論可達 5186 frames/sec。ArcFace 模型可於 Hailo Model Zoo 下載。
實作
開發平台
| Hardware | Dell XE4 / Intel 12th Alder Lake i7-12700 |
|---|---|
| OS | Ubuntu 22.04 Kernel 6.8 |
| Hailo AI Accelerator / HailoRT | SUNIX AIEH2000 / Single Hailo8 AI inference processors / HailoRT 4.20.0 |
| API | OpenCV 4.8.0 / XTensor Stack 0.24.7 / XTL 0.7.7 |
開發流程
Object Detection
- 對輸入影像進行 Resize 前處理，使影像與模型輸入大小一致
- 使用 HailoRT 執行 SCRFD 模型推論
- 讀取 HailoRT 輸出的 Raw Data，執行後處理(Post-processing)並輸出 std::vector
- FaceRecognitionObject 儲存人臉 BBox 資訊
Recognition
- 使用 BBox 將人臉從影像中裁切
- 將裁切後影像 Resize 至 ArcFace 模型輸入大小
- 使用 HailoRT 執行 ArcFace 模型推論
- 讀取 ArcFace Raw Data，並執行後處理返回結果
搜尋資料庫
從 ArcFace 特徵向量搜尋資料庫，取得姓名與其他人員資訊。
流程圖
- 影像輸入與 SCRFD 前處理：攝影機擷取影像，Resize 後輸入 SCRFD
- SCRFD 目標偵測：輸出 Raw Data 經 BBox 解碼，取得人臉座標
- 影像裁切與 ArcFace 前處理：裁切每張臉並 Resize 至 ArcFace 輸入大小
- 特徵提取與 ArcFace 後處理：取得特徵向量並正規化
- 搜尋資料庫：計算相似度以判斷身份是否匹配
- 最終輸出：系統輸出 BBox 與姓名，若配對成功可執行門禁開啟等應用
執行結果
系統可在不同攝影機視角及拍攝角度下正確識別同一人物。即使影像來自不同攝影機且人物姿態與視角不同，ReID 模組仍能匹配至同一身份，驗證 Detection + Recognition 系統在跨視角與跨攝影機條件下的有效性，具備智慧監控與跨場景身份追蹤應用的可行性。
Hailo8 應用 – 人臉辨識
Introduction
人臉辨識屬於生物特徵識別，典型流程包含人臉偵測、深度網路特徵向量萃取(128~512維度)、相似度計算(cosine 或 L2)與 Threshold 判斷。為提升判別正確性，常用 ArcFace、CosFace 中的 Angular 與 Margin Loss 函數，並在系統中進行特徵庫管理及以 EER/DET/ROC 校準 Threshold。支援 1:1 驗證與 1:N 辨識兩種模式。應用場景包括手機與筆電解鎖、智慧門禁考勤、相簿分群、失蹤人口比對、出席率計算、工地安全帽身份聯動等。
技術挑戰包括：
- 光線陰影變化、姿態、表情、臉部遮擋(如口罩)、年齡與妝容變化 (Feature Drift)
- 裝置與地點的偏移
- 長尾分佈與少樣本問題
- 模型更新
- Liveness Detection 與預防 Deepfake Attacks
使用的模型
Object Detection: SCRFD
Object Detection 的目的是將物件依特徵或屬性進行分類與分組，並標註座標。在人臉辨識中，用來框選圖片中目標人臉的大小與位置，方便後續特徵提取與比對。SCRFD 是卷積神經網路，透過 Hailo8 推論可達 5299 frames/sec（不含前/後處理）。模型可於 Hailo Model Zoo 下載。
Recognition: ArcFace
ArcFace 將偵測到的人臉轉化成特徵向量，每個人臉都有獨特向量。使用 Hailo8 推論可達 5186 frames/sec。ArcFace 模型可於 Hailo Model Zoo 下載。
實作
開發平台
| Hardware | Dell XE4 / Intel 12th Alder Lake i7-12700 |
|---|---|
| OS | Ubuntu 22.04 Kernel 6.8 |
| Hailo AI Accelerator / HailoRT | SUNIX AIEH2000 / Single Hailo8 AI inference processors / HailoRT 4.20.0 |
| API | OpenCV 4.8.0 / XTensor Stack 0.24.7 / XTL 0.7.7 |
開發流程
Object Detection
- 對輸入影像進行 Resize 前處理，使影像與模型輸入大小一致
- 使用 HailoRT 執行 SCRFD 模型推論
- 讀取 HailoRT 輸出的 Raw Data，執行後處理(Post-processing)並輸出 std::vector
- FaceRecognitionObject 儲存人臉 BBox 資訊
Recognition
- 使用 BBox 將人臉從影像中裁切
- 將裁切後影像 Resize 至 ArcFace 模型輸入大小
- 使用 HailoRT 執行 ArcFace 模型推論
- 讀取 ArcFace Raw Data，並執行後處理返回結果
搜尋資料庫
從 ArcFace 特徵向量搜尋資料庫，取得姓名與其他人員資訊。
流程圖
- 影像輸入與 SCRFD 前處理：攝影機擷取影像，Resize 後輸入 SCRFD
- SCRFD 目標偵測：輸出 Raw Data 經 BBox 解碼，取得人臉座標
- 影像裁切與 ArcFace 前處理：裁切每張臉並 Resize 至 ArcFace 輸入大小
- 特徵提取與 ArcFace 後處理：取得特徵向量並正規化
- 搜尋資料庫：計算相似度以判斷身份是否匹配
- 最終輸出：系統輸出 BBox 與姓名，若配對成功可執行門禁開啟等應用
執行結果
系統可在不同攝影機視角及拍攝角度下正確識別同一人物。即使影像來自不同攝影機且人物姿態與視角不同，ReID 模組仍能匹配至同一身份，驗證 Detection + Recognition 系統在跨視角與跨攝影機條件下的有效性，具備智慧監控與跨場景身份追蹤應用的可行性。
Hailo8 應用 – 人臉辨識
Introduction
人臉辨識屬於生物特徵識別，典型流程包含人臉偵測、深度網路特徵向量萃取(128~512維度)、相似度計算(cosine 或 L2)與 Threshold 判斷。為提升判別正確性，常用 ArcFace、CosFace 中的 Angular 與 Margin Loss 函數，並在系統中進行特徵庫管理及以 EER/DET/ROC 校準 Threshold。支援 1:1 驗證與 1:N 辨識兩種模式。應用場景包括手機與筆電解鎖、智慧門禁考勤、相簿分群、失蹤人口比對、出席率計算、工地安全帽身份聯動等。
技術挑戰包括：
- 光線陰影變化、姿態、表情、臉部遮擋(如口罩)、年齡與妝容變化 (Feature Drift)
- 裝置與地點的偏移
- 長尾分佈與少樣本問題
- 模型更新
- Liveness Detection 與預防 Deepfake Attacks
使用的模型
Object Detection: SCRFD
Object Detection 的目的是將物件依特徵或屬性進行分類與分組，並標註座標。在人臉辨識中，用來框選圖片中目標人臉的大小與位置，方便後續特徵提取與比對。SCRFD 是卷積神經網路，透過 Hailo8 推論可達 5299 frames/sec（不含前/後處理）。模型可於 Hailo Model Zoo 下載。
Recognition: ArcFace
ArcFace 將偵測到的人臉轉化成特徵向量，每個人臉都有獨特向量。使用 Hailo8 推論可達 5186 frames/sec。ArcFace 模型可於 Hailo Model Zoo 下載。
實作
開發平台
| Hardware | Dell XE4 / Intel 12th Alder Lake i7-12700 |
|---|---|
| OS | Ubuntu 22.04 Kernel 6.8 |
| Hailo AI Accelerator / HailoRT | SUNIX AIEH2000 / Single Hailo8 AI inference processors / HailoRT 4.20.0 |
| API | OpenCV 4.8.0 / XTensor Stack 0.24.7 / XTL 0.7.7 |
開發流程
Object Detection
- 對輸入影像進行 Resize 前處理，使影像與模型輸入大小一致
- 使用 HailoRT 執行 SCRFD 模型推論
- 讀取 HailoRT 輸出的 Raw Data，執行後處理(Post-processing)並輸出 std::vector
- FaceRecognitionObject 儲存人臉 BBox 資訊
Recognition
- 使用 BBox 將人臉從影像中裁切
- 將裁切後影像 Resize 至 ArcFace 模型輸入大小
- 使用 HailoRT 執行 ArcFace 模型推論
- 讀取 ArcFace Raw Data，並執行後處理返回結果
搜尋資料庫
從 ArcFace 特徵向量搜尋資料庫，取得姓名與其他人員資訊。
流程圖
- 影像輸入與 SCRFD 前處理：攝影機擷取影像，Resize 後輸入 SCRFD
- SCRFD 目標偵測：輸出 Raw Data 經 BBox 解碼，取得人臉座標
- 影像裁切與 ArcFace 前處理：裁切每張臉並 Resize 至 ArcFace 輸入大小
- 特徵提取與 ArcFace 後處理：取得特徵向量並正規化
- 搜尋資料庫：計算相似度以判斷身份是否匹配
- 最終輸出：系統輸出 BBox 與姓名，若配對成功可執行門禁開啟等應用
執行結果
系統可在不同攝影機視角及拍攝角度下正確識別同一人物。即使影像來自不同攝影機且人物姿態與視角不同，ReID 模組仍能匹配至同一身份，驗證 Detection + Recognition 系統在跨視角與跨攝影機條件下的有效性，具備智慧監控與跨場景身份追蹤應用的可行性。
Hailo8 應用 – 人臉辨識
Introduction
人臉辨識屬於生物特徵識別，典型流程包含人臉偵測、深度網路特徵向量萃取(128~512維度)、相似度計算(cosine 或 L2)與 Threshold 判斷。為提升判別正確性，常用 ArcFace、CosFace 中的 Angular 與 Margin Loss 函數，並在系統中進行特徵庫管理及以 EER/DET/ROC 校準 Threshold。支援 1:1 驗證與 1:N 辨識兩種模式。應用場景包括手機與筆電解鎖、智慧門禁考勤、相簿分群、失蹤人口比對、出席率計算、工地安全帽身份聯動等。
技術挑戰包括：
- 光線陰影變化、姿態、表情、臉部遮擋(如口罩)、年齡與妝容變化 (Feature Drift)
- 裝置與地點的偏移
- 長尾分佈與少樣本問題
- 模型更新
- Liveness Detection 與預防 Deepfake Attacks
使用的模型
Object Detection: SCRFD
Object Detection 的目的是將物件依特徵或屬性進行分類與分組，並標註座標。在人臉辨識中，用來框選圖片中目標人臉的大小與位置，方便後續特徵提取與比對。SCRFD 是卷積神經網路，透過 Hailo8 推論可達 5299 frames/sec（不含前/後處理）。模型可於 Hailo Model Zoo 下載。
Recognition: ArcFace
ArcFace 將偵測到的人臉轉化成特徵向量，每個人臉都有獨特向量。使用 Hailo8 推論可達 5186 frames/sec。ArcFace 模型可於 Hailo Model Zoo 下載。
實作
開發平台
| Hardware | Dell XE4 / Intel 12th Alder Lake i7-12700 |
|---|---|
| OS | Ubuntu 22.04 Kernel 6.8 |
| Hailo AI Accelerator / HailoRT | SUNIX AIEH2000 / Single Hailo8 AI inference processors / HailoRT 4.20.0 |
| API | OpenCV 4.8.0 / XTensor Stack 0.24.7 / XTL 0.7.7 |
開發流程
Object Detection
- 對輸入影像進行 Resize 前處理，使影像與模型輸入大小一致
- 使用 HailoRT 執行 SCRFD 模型推論
- 讀取 HailoRT 輸出的 Raw Data，執行後處理(Post-processing)並輸出 std::vector
- FaceRecognitionObject 儲存人臉 BBox 資訊
Recognition
- 使用 BBox 將人臉從影像中裁切
- 將裁切後影像 Resize 至 ArcFace 模型輸入大小
- 使用 HailoRT 執行 ArcFace 模型推論
- 讀取 ArcFace Raw Data，並執行後處理返回結果
搜尋資料庫
從 ArcFace 特徵向量搜尋資料庫，取得姓名與其他人員資訊。
流程圖
- 影像輸入與 SCRFD 前處理：攝影機擷取影像，Resize 後輸入 SCRFD
- SCRFD 目標偵測：輸出 Raw Data 經 BBox 解碼，取得人臉座標
- 影像裁切與 ArcFace 前處理：裁切每張臉並 Resize 至 ArcFace 輸入大小
- 特徵提取與 ArcFace 後處理：取得特徵向量並正規化
- 搜尋資料庫：計算相似度以判斷身份是否匹配
- 最終輸出：系統輸出 BBox 與姓名，若配對成功可執行門禁開啟等應用
執行結果
系統可在不同攝影機視角及拍攝角度下正確識別同一人物。即使影像來自不同攝影機且人物姿態與視角不同，ReID 模組仍能匹配至同一身份，驗證 Detection + Recognition 系統在跨視角與跨攝影機條件下的有效性，具備智慧監控與跨場景身份追蹤應用的可行性。
