EdgeAI 新手入門

April 6, 2026 · View on GitHub

課程封面圖片

請依照以下步驟開始使用這些資源：

Fork 儲存庫：點擊
Clone 儲存庫： git clone https://github.com/microsoft/edgeai-for-beginners.git
加入 Azure AI Foundry Discord，與專家及開發者交流

🌐 多語言支援

透過 GitHub Action 支援（自動且持續更新）

想要本機 Clone？

此儲存庫包含 50 多種語言翻譯，因此下載量大幅增加。若想下載不含翻譯內容，請使用 sparse checkout：

Bash / macOS / Linux:
git clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners
git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'
CMD (Windows):
git clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners
git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"
這樣你就能以更快的速度下載，包含完成課程所需的所有內容。

若您希望新增其他支援語言，請參考這裡

介紹

歡迎來到 EdgeAI 新手入門 —— 您通往邊緣人工智慧變革世界的完整旅程。此課程銜接強大 AI 能力與邊緣裝置上的實務部署，讓您能直接在資料產生與決策的現場發揮 AI 潛能。

您將掌握的技能

本課程帶您從基礎概念到生產就緒實作，內容涵蓋：

適合邊緣部署的小型語言模型（SLMs）
跨多平台的硬體感知優化
具有隱私保護能力的即時推論
企業應用的生產部署策略

為何 EdgeAI 如此重要

邊緣 AI 是一種範式轉移，解決當代重要挑戰：

隱私與安全：在本地處理敏感資料而非傳送至雲端
即時效能：消除網路延遲以支援關鍵時效應用
成本效益：降低頻寬與雲端運算費用
韌性運作：網路中斷期間仍能維持功能
法規遵循：符合資料主權和合規要求

邊緣 AI

邊緣 AI 指在資料產生附近的硬體上本地運行 AI 演算法與語言模型，無需依賴雲端資源進行推論。它降低延遲、提升隱私，並實現即時決策。

核心原則：

裝置端推論：AI 模型在邊緣裝置（手機、路由器、微控制器、工業電腦）上運行
離線能力：無需持續網際網路連線即可運行
低延遲：適合即時系統的快速回應
資料主權：將敏感資料保留於本地，提高安全與合規性

小型語言模型（SLMs）

SLM 如 Phi-4、Mistral-7B 與 Gemma 是大型 LLM 的優化版本，經過訓練或蒸餾，以達成：

減少記憶體佔用：有效運用有限的邊緣裝置記憶體
降低運算需求：針對 CPU 與邊緣 GPU 表現優化
更快啟動時間：快速初始化以提升應用回應速度

它們在保有強大 NLP 能力同時符合以下限制條件：

嵌入式系統：物聯網裝置與工業控制器
行動裝置：智慧型手機與具離線能力的平板
物聯網裝置：具有限資源的感測器與智慧裝置
邊緣伺服器：具有限 GPU 資源的本地處理單元
個人電腦：桌面及筆電部署場景

課程模組與導覽

模組	主題	專注領域	主要內容	等級	預估時長
📖 00	EdgeAI 介紹	基礎與背景	EdgeAI 概述 • 產業應用 • SLM 介紹 • 學習目標	新手	1-2 小時
📚 01	EdgeAI 基礎	雲端與邊緣 AI 比較	EdgeAI 基礎 • 實際案例 • 實作指南 • 邊緣部署	新手	3-4 小時
🧠 02	SLM 模型基礎	模型系列與架構	Phi 系列 • Qwen 系列 • Gemma 系列 • BitNET • μModel • Phi-Silica	新手	4-5 小時
🚀 03	SLM 部署實務	本地與雲端部署	進階學習 • 本地環境 • 雲端部署	中階	4-5 小時
⚙️ 04	模型優化工具組	跨平台優化	介紹 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流程整合	中階	5-6 小時
🔧 05	SLMOps 生產運維	生產運行管理	SLMOps 介紹 • 模型蒸餾 • 微調 • 生產部署	進階	5-6 小時
🤖 06	AI 代理人與函式呼叫	代理人框架與 MCP	代理人介紹 • 函式呼叫 • 模型上下文協定	進階	4-5 小時
💻 07	平台實作範例	跨平台示例	AI 工具包 • Foundry Local • Windows 開發	進階	3-4 小時
🏭 08	Foundry Local 工具組	生產就緒範例	範例應用（詳情見下方）	專家	8-10 小時

🏭 模組 08：範例應用

🎓 工作坊：實戰學習路徑

完整的手把手工作坊教材與生產就緒實作：

工作坊指南 - 學習目標、成果與資源導覽完整說明
Python 範例（6 堂課）- 符合最佳實踐，包含錯誤處理與完整文件
Jupyter 筆記本（8 個互動教學）- 逐步教學附帶基準測試與效能監控
課程指引 - 每堂課的詳細 Markdown 指南
驗證工具 - 驗證程式碼品質和執行基本測試的腳本

您將打造：

支援串流的本地 AI 聊天應用
含品質評估的 RAG 管道（RAGAS）
多模型基準測試與比較工具
多代理協同編排系統
具任務導向選擇的智慧模型路由器

🎙️ Agentic 工作坊：實戰體驗 - AI Podcast Studio

從零開始建立由 AI 驅動的 Podcast 製作流程！這個沉浸式工作坊教你如何創建一個完整的多代理系統，將想法轉化為專業的廣播節目。

🎬 開始 AI Podcast Studio 工作坊

你的任務：啟動「Future Bytes」— 一個完全由你自行構建的 AI 代理驅動的科技 Podcast。不依賴雲端，無 API 費用 — 所有運行皆在本機完成。

獨特之處：

🤖 真正的多代理協調 - 建構專門 AI 代理，負責研究、撰寫與音頻製作
🎯 完整的製作流程 - 從主題選擇到最終 Podcast 音頻輸出
💻 100% 本地部署 - 使用 Ollama 及本地模型（Qwen-3-8B）確保全隱私與控制權
🎤 文字轉語音整合 - 將腳本轉換為自然多講者對話
✋ 人機互動流程 - 審核關卡確保品質同時維持自動化

三幕式學習旅程：

幕別	聚焦	主要技能	時長
第一幕：認識你的 AI 助理	建立你的首個 AI 代理	工具整合 • 網路搜尋 • 問題解決 • 智能推理	2-3 小時
第二幕：組建你的製作團隊	協調多個代理	團隊協作 • 審核流程 • DevUI 介面 • 人工監督	3-4 小時
第三幕：讓你的 Podcast 有聲	產生 Podcast 音頻	語音合成 • 多講者合成 • 長音頻 • 完整自動化	2-3 小時

所用技術：

Microsoft Agent Framework - 多代理協調與協作架構
Ollama - 本地 AI 模型執行環境（無需雲端）
Qwen-3-8B - 優化代理任務的開源語言模型
文字轉語音 API - 自然語音合成製作 Podcast

硬體支援：

✅ CPU 模式 - 適合任何現代電腦（建議 8GB+ 記憶體）
🚀 GPU 加速 - 使用 NVIDIA/AMD GPU 提升推論速度
⚡ NPU 支援 - 次世代神經處理器加速

適合對象：

學習多代理 AI 系統的開發者
對 AI 自動化及流程感興趣者
探索 AI 輔助內容製作的創作者
學習實用 AI 協調模式的學生

開始構建: 🎙️ AI Podcast Studio 工作坊 →

📊 學習路徑摘要

總時長：36-45 小時
初學者路徑：模組 01-02（7-9 小時）
中階路徑：模組 03-04（9-11 小時）
進階路徑：模組 05-07（12-15 小時）
專家路徑：模組 08（8-10 小時）

你將構建的項目

🎯 核心能力

邊緣 AI 架構：設計本地優先並整合雲端的 AI 系統
模型優化：對模型量化與壓縮以適合邊緣部署（提速 85%，縮小 75%）
多平台部署：Windows、手機、嵌入式、及雲端邊緣混合系統
生產運維：邊緣 AI 的監控、擴展與維護

🏗️ 實戰專案

Foundry 本地聊天應用：Windows 11 原生應用含模型切換
多代理系統：協調複雜流程的專家代理
RAG 應用：本地文檔處理和向量搜尋
模型路由器：根據任務分析智能選擇模型
API 框架：具流式傳輸和運維健康監控的生產客戶端
跨平台工具：LangChain/Semantic Kernel 集成範例

🏢 行業應用

製造業 • 醫療保健 • 自動駕駛 • 智慧城市 • 移動應用

快速入門

推薦學習路徑（共 20-30 小時）：

📖 介紹 (Introduction.md)：EdgeAI 基礎 + 產業背景 + 學習框架
📚 基礎（模組 01-02）：EdgeAI 概念 + SLM 模型家族
⚙️ 優化（模組 03-04）：部署與量化框架
🚀 生產（模組 05-06）：SLMOps + AI 代理 + 函數調用
💻 實作（模組 07-08）：平台範例 + Foundry Local 工具包

每個模組包含理論、動手練習及生產級代碼範例。

職涯影響

技術職位：EdgeAI 解決方案架構師 • 機器學習工程師（Edge）• 物聯網 AI 開發者 • 移動 AI 開發者

產業領域：製造 4.0 • 醫療科技 • 自主系統 • 金融科技 • 消費電子

作品集專案：多代理系統 • 產業級 RAG 應用 • 跨平台部署 • 性能優化

版本庫結構

edgeai-for-beginners/
├── 📖 introduction.md  # Foundation: EdgeAI Overview & Learning Framework
├── 📚 Module01-04/     # Fundamentals → SLMs → Deployment → Optimization  
├── 🔧 Module05-06/     # SLMOps → AI Agents → Function Calling
├── 💻 Module07/        # Platform Samples (VS Code, Windows, Jetson, Mobile)
├── 🏭 Module08/        # Foundry Local Toolkit + 10 Comprehensive Samples
│   ├── samples/01-06/  # Foundation: REST, SDK, RAG, Agents, Routing
│   └── samples/07-10/  # Advanced: API Client, Windows App, Enterprise Agents, Tools
├── 🌐 translations/    # Multi-language support (8+ languages)
└── 📋 STUDY_GUIDE.md   # Structured learning paths & time allocation

課程亮點

✅ 漸進式學習：理論 → 實作 → 生產部署
✅ 真實案例：微軟、日本航空、企業級實作
✅ 實戰範例：超過 50 範例，10 個完整 Foundry Local 示範
✅ 性能焦點：提升 85% 速度，縮小 75% 體積
✅ 多平台支持：Windows、手機、嵌入式、雲端邊緣混合
✅ 生產就緒：監控、擴展、安全性、合規框架

📖 學習指南：結構化 20 小時學習路徑，含時間分配與自我評估工具。

EdgeAI 是 AI 部署的未來：本地優先、隱私保護與高效能。掌握這些技能，打造下一代智能應用。