अध्याय ०७ : EdgeAI नमूनाहरू

Edge AI कृत्रिम बुद्धिमत्ताको प्रयोगलाई किनार कम्प्युटिङसँग जोड्ने प्रविधि हो, जसले उपकरणहरूमा नै बुद्धिमान् प्रक्रिया गर्न सक्षम बनाउँछ, क्लाउड कनेक्टिभिटीमा निर्भर नगरी। यस अध्यायमा विभिन्न प्लेटफर्म र फ्रेमवर्कहरूमा आधारित पाँच फरक EdgeAI कार्यान्वयनहरूको अन्वेषण गरिन्छ, जसले किनारमा AI मोडेल चलाउने बहुमुखीता र शक्ति प्रदर्शन गर्दछ।

१. NVIDIA Jetson Orin Nano मा EdgeAI

NVIDIA Jetson Orin Nano किनार AI कम्प्युटिङमा एक क्रान्तिकारी कदम हो, जसले क्रेडिट कार्ड आकारको कम्प्याक्ट उपकरणमा ६७ TOPS सम्मको AI प्रदर्शन प्रदान गर्दछ। यो शक्तिशाली किनार AI प्लेटफर्मले शौखिनहरू, विद्यार्थीहरू, र व्यावसायिक विकासकर्ताहरूका लागि जनरेटिभ AI विकासलाई लोकतान्त्रिक बनाउँछ।

मुख्य विशेषताहरू

• ६७ TOPS सम्मको AI प्रदर्शन प्रदान गर्दछ—यसको पूर्ववर्तीको तुलनामा १.७X सुधार
• AI प्रक्रिया गर्न १०२४ CUDA कोरहरू र ३२ Tensor कोरहरू
• ६-कोर Arm Cortex-A78AE v8.2 ६४-बिट CPU, अधिकतम १.५ GHz फ्रिक्वेन्सीको साथ
• केवल $२४९ मा उपलब्ध, विकासकर्ताहरू, विद्यार्थीहरू, र निर्माताहरूका लागि सबैभन्दा किफायती र पहुँचयोग्य प्लेटफर्म

प्रयोगहरू

Jetson Orin Nano आधुनिक जनरेटिभ AI मोडेलहरू जस्तै Vision Transformers, Large Language Models, र Vision-Language Models चलाउन उत्कृष्ट छ। यो विशेष रूपमा GenAI प्रयोगका लागि डिजाइन गरिएको छ, र अब तपाईं धेरै LLMs पाम आकारको उपकरणमा चलाउन सक्नुहुन्छ। लोकप्रिय प्रयोगहरूमा AI-संचालित रोबोटिक्स, स्मार्ट ड्रोन, बुद्धिमान क्यामेरा, र स्वायत्त किनार उपकरणहरू समावेश छन्।

थप जान्नुहोस्: NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI

२. .NET MAUI र ONNX Runtime GenAI प्रयोग गरी मोबाइल एप्लिकेसनमा EdgeAI

यो समाधानले .NET MAUI (Multi-platform App UI) र ONNX Runtime GenAI प्रयोग गरी क्रस-प्लेटफर्म मोबाइल एप्लिकेसनहरूमा जनरेटिभ AI र Large Language Models (LLMs) एकीकृत गर्ने तरिका प्रदर्शन गर्दछ। यसले .NET विकासकर्ताहरूलाई Android र iOS उपकरणहरूमा स्वदेशी रूपमा चल्ने परिष्कृत AI-संचालित मोबाइल एप्लिकेसनहरू निर्माण गर्न सक्षम बनाउँछ।

मुख्य विशेषताहरू

• .NET MAUI फ्रेमवर्कमा आधारित, जसले Android र iOS एप्लिकेसनहरूको लागि एकल कोडबेस प्रदान गर्दछ
• ONNX Runtime GenAI एकीकरणले मोबाइल उपकरणहरूमा जनरेटिभ AI मोडेलहरू चलाउन सक्षम बनाउँछ
• CPU, GPU, र विशेष मोबाइल AI प्रोसेसरहरू सहित विभिन्न हार्डवेयर एक्सेलेरेटरहरूको समर्थन
• ONNX Runtime मार्फत iOS का लागि CoreML र Android का लागि NNAPI जस्ता प्लेटफर्म-विशिष्ट अनुकूलनहरू
• जनरेटिभ AI लूपको पूर्ण कार्यान्वयन, जसमा पूर्व र पोस्ट प्रोसेसिङ, इनफेरन्स, logits प्रोसेसिङ, खोज र स्याम्पलिङ, र KV क्यास व्यवस्थापन समावेश छ

विकासका फाइदाहरू

.NET MAUI दृष्टिकोणले विकासकर्ताहरूलाई उनीहरूको विद्यमान C# र .NET सीपहरू प्रयोग गर्दै क्रस-प्लेटफर्म AI एप्लिकेसनहरू निर्माण गर्न अनुमति दिन्छ। ONNX Runtime GenAI फ्रेमवर्कले Llama, Mistral, Phi, Gemma, र अन्य धेरै मोडेल आर्किटेक्चरहरूको समर्थन गर्दछ। अनुकूलित ARM64 कर्नेलहरूले INT4 क्वान्टाइज्ड म्याट्रिक्स मल्टिप्लिकेसनलाई गति दिन्छ, मोबाइल हार्डवेयरमा कुशल प्रदर्शन सुनिश्चित गर्दै .NET विकास अनुभवलाई परिचित राख्छ।

प्रयोगका क्षेत्रहरू

यो समाधान ती विकासकर्ताहरूका लागि आदर्श हो जो .NET प्रविधिहरू प्रयोग गरी AI-संचालित मोबाइल एप्लिकेसनहरू निर्माण गर्न चाहन्छन्, जस्तै बुद्धिमान च्याटबोटहरू, छवि पहिचान एपहरू, भाषा अनुवाद उपकरणहरू, र व्यक्तिगत सिफारिस प्रणालीहरू, जसले गोपनीयता र अफलाइन क्षमता बढाउन उपकरणमै चल्छ।

थप जान्नुहोस्: .NET MAUI ONNX Runtime GenAI Example

३. Azure मा साना भाषा मोडेल इन्जिनको साथ EdgeAI

Microsoft को Azure-आधारित EdgeAI समाधानले साना भाषा मोडेलहरू (SLMs) क्लाउड-किनार हाइब्रिड वातावरणमा कुशलतापूर्वक तैनात गर्न केन्द्रित छ। यो दृष्टिकोण क्लाउड-स्तरीय AI सेवाहरू र किनार तैनाती आवश्यकताहरू बीचको खाडललाई पूर्ति गर्दछ।

आर्किटेक्चरका फाइदाहरू

• Azure AI सेवाहरूसँग सहज एकीकरण
• ONNX Runtime प्रयोग गरी उपकरणमा र क्लाउडमा SLMs/LLMs र मल्टी-मोडल मोडेलहरू चलाउनुहोस्
• उद्यम-स्तरीय तैनातीको लागि अनुकूलित
• निरन्तर मोडेल अपडेट र व्यवस्थापनको समर्थन

प्रयोगका क्षेत्रहरू

Azure EdgeAI कार्यान्वयन ती परिदृश्यहरूमा उत्कृष्ट छ जसमा क्लाउड व्यवस्थापन क्षमताहरूको साथ उद्यम-ग्रेड AI तैनाती आवश्यक छ। यसमा बुद्धिमान दस्तावेज प्रक्रिया, वास्तविक-समय विश्लेषण, र क्लाउड र किनार कम्प्युटिङ स्रोतहरू दुवै प्रयोग गर्ने हाइब्रिड AI वर्कफ्लोहरू समावेश छन्।

थप जान्नुहोस्: Azure EdgeAI SLM Engine

४. Windows ML को साथ EdgeAI

Windows ML Microsoft को अत्याधुनिक रनटाइम हो, जसले उपकरणमा मोडेल इनफेरन्सलाई प्रदर्शनमा अनुकूलित गर्दछ र तैनातीलाई सरल बनाउँछ। यो Windows AI Foundry को आधार हो। यो प्लेटफर्मले विकासकर्ताहरूलाई Windows एप्लिकेसनहरू निर्माण गर्न सक्षम बनाउँछ, जसले PC हार्डवेयरको पूर्ण स्पेक्ट्रम प्रयोग गर्दछ।

प्लेटफर्म क्षमताहरू

• Windows 11 को संस्करण 24H2 (बिल्ड 26100) वा उच्च संस्करण चलाउने सबै PCs मा काम गर्दछ
• x64 र ARM64 PC हार्डवेयरमा काम गर्दछ, NPUs वा GPUs नभएका PCs मा पनि
• विकासकर्ताहरूलाई आफ्नै मोडेलहरू ल्याउन र AMD, Intel, NVIDIA, र Qualcomm सहित सिलिकन पार्टनर इकोसिस्टममा कुशलतापूर्वक तैनात गर्न सक्षम बनाउँछ
• पूर्वाधार APIs प्रयोग गरी, विकासकर्ताहरूले विभिन्न सिलिकनलाई लक्षित गर्न आफ्नो एपको धेरै निर्माणहरू सिर्जना गर्न आवश्यक छैन

विकासकर्ताका फाइदाहरू

Windows ML हार्डवेयर र कार्यान्वयन प्रदायकहरूलाई अमूर्त बनाउँछ, जसले तपाईंलाई आफ्नो कोड लेख्नमा ध्यान केन्द्रित गर्न अनुमति दिन्छ। साथै, Windows ML नयाँ NPUs, GPUs, र CPUs समर्थन गर्न स्वतः अपडेट हुन्छ। प्लेटफर्मले विविध Windows हार्डवेयर इकोसिस्टममा AI विकासको लागि एकीकृत फ्रेमवर्क प्रदान गर्दछ।

थप जान्नुहोस्:

• Windows ML Overview
• Windows EdgeAI Development Guide - Windows Edge AI विकासको लागि व्यापक मार्गदर्शन

५. Foundry Local एप्लिकेसनको साथ EdgeAI

Foundry Local Windows र Mac विकासकर्ताहरूलाई स्थानीय स्रोतहरू प्रयोग गरी Retrieval Augmented Generation (RAG) एप्लिकेसनहरू निर्माण गर्न अनुमति दिन्छ। यो .NET प्रयोग गरी स्थानीय भाषा मोडेलहरूलाई सेम्यान्टिक खोज क्षमतासँग संयोजन गर्दछ। यो दृष्टिकोण गोपनीयता-केंद्रित AI समाधानहरू प्रदान गर्दछ, जसले पूर्ण रूपमा स्थानीय पूर्वाधारमा काम गर्दछ।

प्राविधिक आर्किटेक्चर

• Phi भाषा मोडेल, Local Embeddings, र Semantic Kernel लाई संयोजन गरी RAG परिदृश्य सिर्जना गर्दछ
• सामग्री र यसको सेम्यान्टिक अर्थलाई प्रतिनिधित्व गर्ने फ्लोटिङ-प्वाइन्ट मानहरूको एरे (vectors) को रूपमा embeddings प्रयोग गर्दछ
• Semantic Kernel मुख्य संयोजकको रूपमा कार्य गर्दछ, Phi र Smart Components लाई एकीकृत गरी सहज RAG पाइपलाइन सिर्जना गर्दछ
• SQLite र Qdrant सहित स्थानीय भेक्टर डाटाबेसहरूको समर्थन

कार्यान्वयनका फाइदाहरू

RAG, वा Retrieval Augmented Generation, "केही सामग्री खोज्नुहोस् र यसलाई प्रम्प्टमा राख्नुहोस्" भन्ने सरल तरिकाको व्याख्या हो। यो स्थानीय कार्यान्वयनले डेटा गोपनीयता सुनिश्चित गर्दछ जबकि अनुकूल ज्ञान आधारहरूमा आधारित बुद्धिमान प्रतिक्रियाहरू प्रदान गर्दछ। यो दृष्टिकोण डेटा सार्वभौमिकता र अफलाइन सञ्चालन क्षमताहरू आवश्यक पर्ने उद्यम परिदृश्यहरूको लागि विशेष रूपमा मूल्यवान छ।

थप जान्नुहोस्:

• Foundry Local
• Foundry Local RAG Samples

Windows Foundry Local

Microsoft Foundry Local ले Windows मा मोडेलहरू स्थानीय रूपमा चलाउनको लागि ONNX Runtime द्वारा संचालित OpenAI-संगत REST सर्भर प्रदान गर्दछ। तल छिटो, मान्य सारांश छ; पूर्ण विवरणको लागि आधिकारिक दस्तावेज हेर्नुहोस्।

• सुरु गर्नुहोस्: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
• आर्किटेक्चर: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
• CLI सन्दर्भ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
• यस रिपोमा पूर्ण Windows मार्गदर्शन: foundrylocal.md

Windows मा स्थापना वा अपग्रेड गर्नुहोस् (cmd.exe):

winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version

CLI कोटिहरू अन्वेषण गर्नुहोस्:

foundry model --help
foundry service --help
foundry cache --help

मोडेल चलाउनुहोस् र गतिशील अन्त बिन्दु पत्ता लगाउनुहोस्:

foundry model run gpt-oss-20b
foundry service status

मोडेलहरूको सूची जाँच गर्न छिटो REST जाँच गर्नुहोस् (STATUS बाट PORT प्रतिस्थापन गर्नुहोस्):

curl -s http://localhost:PORT/v1/models

टिप्स:

• SDK एकीकरण: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
• आफ्नो मोडेल ल्याउनुहोस् (कम्पाइल गर्नुहोस्): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

Windows EdgeAI विकास स्रोतहरू

विशेष रूपमा Windows प्लेटफर्मलाई लक्षित गर्ने विकासकर्ताहरूका लागि, हामीले Windows EdgeAI इकोसिस्टमको पूर्ण मार्गदर्शन तयार गरेका छौं। यो स्रोतले Windows AI Foundry को विस्तृत जानकारी प्रदान गर्दछ, जसमा APIs, उपकरणहरू, र Windows मा EdgeAI विकासका लागि उत्कृष्ट अभ्यासहरू समावेश छन्।

Windows AI Foundry प्लेटफर्म

Windows AI Foundry प्लेटफर्मले Windows उपकरणहरूमा Edge AI विकासका लागि विशेष रूपमा डिजाइन गरिएको उपकरण र APIs को व्यापक सूट प्रदान गर्दछ। यसमा NPU-एक्सेलेरेटेड हार्डवेयरको लागि विशेष समर्थन, Windows ML एकीकरण, र प्लेटफर्म-विशिष्ट अनुकूलन प्रविधिहरू समावेश छन्।

विस्तृत मार्गदर्शन: Windows EdgeAI Development Guide

यो मार्गदर्शन समावेश गर्दछ:

• Windows AI Foundry प्लेटफर्मको अवलोकन र घटकहरू
• NPU हार्डवेयरमा कुशल इनफेरन्सको लागि Phi Silica API
• छवि प्रक्रिया र OCR का लागि कम्प्युटर भिजन APIs
• Windows ML रनटाइम एकीकरण र अनुकूलन
• स्थानीय विकास र परीक्षणका लागि Foundry Local CLI
• Windows उपकरणहरूको लागि हार्डवेयर अनुकूलन रणनीतिहरू
• व्यावहारिक कार्यान्वयन उदाहरणहरू र उत्कृष्ट अभ्यासहरू

Edge AI विकासका लागि AI Toolkit

Visual Studio Code प्रयोग गर्ने विकासकर्ताहरूका लागि, AI Toolkit विस्तारले Edge AI एप्लिकेसनहरू निर्माण, परीक्षण, र तैनात गर्न विशेष रूपमा डिजाइन गरिएको व्यापक विकास वातावरण प्रदान गर्दछ। यो टूलकिटले VS Code भित्र Edge AI विकास कार्यप्रवाहलाई सरल बनाउँछ।

विकास मार्गदर्शन: AI Toolkit for Edge AI Development

AI Toolkit मार्गदर्शन समावेश गर्दछ:

• किनार तैनातीका लागि मोडेल खोज र चयन
• स्थानीय परीक्षण र अनुकूलन कार्यप्रवाहहरू
• किनार मोडेलहरूको लागि ONNX र Ollama एकीकरण
• मोडेल रूपान्तरण र क्वान्टाइजेसन प्रविधिहरू
• किनार परिदृश्यहरूको लागि एजेन्ट विकास
• प्रदर्शन मूल्याङ्कन र अनुगमन
• तैनाती तयारी र उत्कृष्ट अभ्यासहरू

निष्कर्ष

यी पाँच EdgeAI कार्यान्वयनहरूले आज उपलब्ध किनार AI समाधानहरूको परिपक्वता र विविधता प्रदर्शन गर्दछ। Jetson Orin Nano जस्ता हार्डवेयर-एक्सेलेरेटेड किनार उपकरणहरूदेखि ONNX Runtime GenAI र Windows ML जस्ता सफ्टवेयर फ्रेमवर्कसम्म, विकासकर्ताहरूले किनारमा बुद्धिमान एप्लिकेसनहरू तैनात गर्न अभूतपूर्व विकल्पहरू पाएका छन्।

यी सबै प्लेटफर्महरूको साझा सूत्र AI क्षमताहरूको लोकतान्त्रिकरण हो, जसले विभिन्न सीप स्तर र प्रयोगका क्षेत्रहरूमा विकासकर्ताहरूलाई परिष्कृत मेसिन लर्निङ पहुँचयोग्य बनाउँछ। मोबाइल एप्लिकेसन, डेस्कटप सफ्टवेयर, वा एम्बेडेड प्रणाली निर्माण गर्दा, यी EdgeAI समाधानहरूले किनारमा कुशलतापूर्वक र गोपनीयताका साथ काम गर्ने अर्को पुस्ताका बुद्धिमान एप्लिकेसनहरूको आधार प्रदान गर्दछ।

प्रत्येक प्लेटफर्मले अनौठो फाइदाहरू प्रदान गर्दछ: हार्डवेयर-एक्सेलेरेटेड किनार कम्प्युटिङका लागि Jetson Orin Nano, क्रस-प्लेटफर्म मोबाइल विकासका लागि ONNX Runtime GenAI, उद्यम क्लाउड-किनार एकीकरणका लागि Azure EdgeAI, Windows-स्वदेशी एप्लिकेसनका लागि Windows ML, र गोपनीयता-केंद्रित RAG कार्यान्वयनका लागि Foundry Local। यी सबैले EdgeAI विकासका लागि व्यापक इकोसिस्टमको प्रतिनिधित्व गर्दछ।

Next AI Toolkit

---

अस्वीकरण:
यो दस्तावेज़ AI अनुवाद सेवा Co-op Translator प्रयोग गरेर अनुवाद गरिएको हो। हामी यथार्थताको लागि प्रयास गर्छौं, तर कृपया ध्यान दिनुहोस् कि स्वचालित अनुवादमा त्रुटिहरू वा अशुद्धताहरू हुन सक्छ। यसको मूल भाषा मा रहेको मूल दस्तावेज़लाई आधिकारिक स्रोत मानिनुपर्छ। महत्वपूर्ण जानकारीको लागि, व्यावसायिक मानव अनुवाद सिफारिस गरिन्छ। यस अनुवादको प्रयोगबाट उत्पन्न हुने कुनै पनि गलतफहमी वा गलत व्याख्याको लागि हामी जिम्मेवार हुने छैनौं।