06.NVIDIA.md

February 1, 2026 · View on GitHub

NVIDIA NIM-ൽ Phi കുടുംബം

NVIDIA NIM ക്ലൗഡ്, ഡാറ്റാ സെന്റർ, വർക്ക്‌സ്റ്റേഷനുകൾ എന്നിവയിൽ ജനറേറ്റിവ് AI മോഡലുകളുടെ വിന്യസനം വേഗത്തിൽ നടത്താൻ രൂപകൽപ്പന ചെയ്ത ഉപയോഗിക്കാൻ ലളിതമായ മൈക്രോസർവീസുകളുടെ ഒരു സെറ്റ് ആണ്. മോഡൽ കുടുംബം അനുസരിച്ച് ഓരോ മോഡലിനും NIMs നിനələri വർഗ്ഗീകരിക്കുന്നു. ഉദാഹരണത്തിന്, വലിയ ഭാഷാ മോഡലുകൾ (LLMs)ക്കുള്ള NVIDIA NIM ആധുനിക LLM-കളുടെ ശക്തി എന്റർപ്രൈസ് ആപ്ലിക്കേഷനുകളിലേക്ക് കൊണ്ടുവരുന്നു, അതുല്യമായ സ്വാഭാവിക ഭാഷാ പ്രോസസ്സിംഗ് এবং ബോധ്യ ശേഷി നൽകുന്നു.

NIM IT, DevOps ടീമുകൾക്ക് അവരുടെ സ്വന്തം മാനേജുചെയ്യപ്പെട്ട പരിസ്ഥിതികളിൽ വലിയ ഭാഷാ മോഡലുകൾ (LLMs) self-host ചെയ്യുന്നത് എളുപ്പമാക്കുകയും, ഡെവലപ്പർമാർക്ക് ശക്തിയേറിയ copilots, ചാറ്റ്ബോട്ടുകൾ, և ബിസിനസിനെ മാറ്റിമറിക്കാവുന്ന AI അസിസ്റ്റന്റുകൾ നിർമ്മിക്കാൻ സഹായിക്കുന്ന വ്യവസായ معيار API-കൾ നൽകുകയും ചെയ്യുന്നു. NVIDIAയുടെ cutting-edge GPU ആക്സിലറേഷൻയും സ്കേൽ ചെയ്യാവുന്ന വിന്യാസവും പ്രയോജിപ്പിച്ച്, NIM അതുല്യമായ പ്രകടനത്തോടെ inference-ലേക്കുള്ള ഏറ്റവും വേഗമാർഗം വാഗ്ദാനം ചെയ്യുന്നു.

You can use NIVIDIA NIM to inference Phi Family Models

nim

ഉദാഹരണങ്ങൾ - NVIDIA NIM-ൽ Phi-3-Vision

കുറിപ്പ്: നിങ്ങളുടെ കൈയിൽ ഒരു ചിത്രം (demo.png) ഉണ്ടെന്നും ആ ചിത്രം പ്രോസസ്സുചെയ്യുന്ന Python കോഡ് ജനറേറ്റ് ചെയ്ത് അത് ഒരു പുതിയ ഐറ്റമായി സേവ് ചെയ്യേണ്ടതുണ്ടെന്ന് (phi-3-vision.jpg) تصورചെയ്യുക.

മുകളിൽ കാണിച്ച കോഡ് ഈ പ്രക്രിയ സ്വയമേറ്റമാക്കുന്ന വിധത്തിൽ പ്രവർത്തിക്കുന്നു:

  1. പരിസ്ഥിതി സെറ്റപ്പ് ചെയ്യുന്നതിനും ആവശ്യമായ കോൺഫിഗറേഷനുകൾ ഒരുക്കുന്നതിനും.
  2. മോഡലിന് ആവശ്യമായ Python കോഡ് ജനറേറ്റ് ചെയ്യാൻ നിർദ്ദേശമ നൽകുന്ന ഒരു പ്രോംപ്റ്റ് സൃഷ്ടിക്കുന്നതു.
  3. പ്രോംപ്റ്റ് മോഡലിലേക്ക് അയച്ച് ജനറേറ്റായ കോഡ് ശേഖരിക്കലും.
  4. ജനറേറ്റായ കോഡിൽ നിന്നു Python കോഡ് എടുക്കുകയും അത് 실행 ചെയ്യുകയും ചെയ്യലും.
  5. ഒറിജിനൽ ചിത്രംക്കും പ്രോസസ്സുചെയ്‌ത ചിത്രത്തിനും പ്രദർശിപ്പിക്കൽ.

AI-യുടെ ശക്തി ഉപയോഗിച്ച് ചിത്രം പ്രോസസ്സിംഗ് ടാസ്കുകൾ ഓട്ടോമേറ്റ് ചെയ്യാനുള്ള ഈ സമീപനം നിങ്ങളുടെ ലക്ഷ്യങ്ങൾ നേട്ടമാക്കാൻ എളുപ്പവും ദ്രുതവുമാക്കുന്നു.

ഉദാഹരണ കോഡ് സൊല്യൂഷൻ

നമ്മൾ മുഴുവൻ കോഡ് ഏതിങ്ങനെയാണെന്ന് ഘട്ടങ്ങളായി വിശദീകരിക്കാം:

  1. Install Required Package:

    !pip install langchain_nvidia_ai_endpoints -U

    ഈ കമാൻഡ് langchain_nvidia_ai_endpoints പാക്കേജ് ഇൻസ്റ്റാൾ ചെയ്ത് അതിന്റെ ഏറ്റവും പുതിയ വേർഷൻ ഉറപ്പാക്കുന്നു.

  2. Import Necessary Modules:

    from langchain_nvidia_ai_endpoints import ChatNVIDIA
import getpass
import os
import base64

    ഈ ഇൻപോർട്ടുകൾ NVIDIA AI endpoints-ഉടെ ഇന്ററാക്ട് ചെയ്യാൻ, പാസ്‌വേഡുകൾ സുരക്ഷിതമായി കൈകാര്യം ചെയ്യാൻ, ഓപ്പറേറ്റിംഗ് സിസ്റ്റമുമായുള്ള ഇന്ററക്ഷനുകൾ നടത്താൻ, base64 ഫോർമാറ്റിൽ ഡാറ്റ എൻകോഡ്/ഡിക്കോഡ് ചെയ്യാൻ ആവശ്യമായ മോട്യൂളുകൾ കൊണ്ടുവരുന്നു.

  3. Set Up API Key:

    if not os.getenv("NVIDIA_API_KEY"):
    os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")

    ഈ കോഡ് NVIDIA_API_KEY എൻവയോൺമെന്റ് വ്യാരിബിൾ സജ്ജമാണോ എന്ന് പരിശോധിക്കും. ഇല്ലെങ്കിൽ, ഉപയോക്താവിനോട് അവരുടെ API കീ സുരക്ഷിതമായി നൽകാൻ പ്രാമ്പ്റ്റ് ചെയ്യും.

  4. Define Model and Image Path:

    model = 'microsoft/phi-3-vision-128k-instruct'
chat = ChatNVIDIA(model=model)
img_path = './imgs/demo.png'

    ഇത് ഉപയോഗിക്കാനുള്ള മോഡൽ നിർവ്വചിക്കുകയും, നിർദ്ദിഷ്ട മോഡലില്‍ ChatNVIDIA എന്ന ഇൻസ്റ്റൻസ് സൃഷ്ടിക്കുകയും, ചിത്രത്തിന്റെ പാത്ത് നിർവചിക്കുകയും ചെയ്യുന്നു.

  5. Create Text Prompt:

    text = "Please create Python code for image, and use plt to save the new picture under imgs/ and name it phi-3-vision.jpg."

    ഇതല്ലാതെയാണ് മോഡലിനെ ഒരു ചിത്രം പ്രോസസ്സ് ചെയ്യാൻ ആവശ്യമായ Python കോഡ് ജനറേറ്റ് ചെയ്യാൻ നിർദ്ദേശിക്കുന്ന ടെക്സ്റ്റ് പ്രോംപ്റ്റ് നിർവചിക്കുന്നത്.

  6. Encode Image in Base64:

    with open(img_path, "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()
image = f'<img src="data:image/png;base64,{image_b64}" />'

    ഈ കോഡ് ചിത്ര ഫയൽ വായിച്ച് അതിനെ base64-ൽ എൻകോഡ് ചെയ്ത് എൻകോഡ് ചെയ്ത ഡാറ്റയോടുകൂടിയ ഒരു HTML ഇമേജ് ടാഗ് സൃഷ്ടിക്കുന്നു.

  7. Combine Text and Image into Prompt:

    prompt = f"{text} {image}"

    ഇത് ടെക്സ്റ്റ് പ്രോംപ്റ്റും HTML ഇമേജ് ടാഗും ഒത്തുചേർത്ത് ഒരു സിംഗിൾ സ്‌ട്രിങ്ങാക്കി മാറ്റുന്നു.

  8. Generate Code Using ChatNVIDIA:

    code = ""
for chunk in chat.stream(prompt):
    print(chunk.content, end="")
    code += chunk.content

    ഈ കോഡ് പ്രോംപ്റ്റ് ChatNVIDIA മോഡലിലെക് അയക്കുകയും ജനറേറ്റ് ചെയ്ത കോഡ് ചങ്കുകളായി ശേഖരിക്കുകയും, ഓരോ ചങ്കും പ്രിന്റ് ചെയ്ത് code സ്ട്രിങ്ങിൽ ചേർക്കുകയും ചെയ്യുന്നു.

  9. Extract Python Code from Generated Content:

    begin = code.index('```python') + 9
code = code[begin:]
end = code.index('```')
code = code[:end]

    Markdown ഫോർമാറ്റിങ് നീക്കം ചെയ്ത് ജനറേറ്റ് ചെയ്ത ഉള്ളടക്കത്തിൽ നിന്നുള്ള യഥാർത്ഥ Python കോഡ് ഈ കോഡ് എടുക്കും.

  10. Run the Generated Code:

    import subprocess
result = subprocess.run(["python", "-c", code], capture_output=True)

    ഈ കോഡ് എടുത്ത Python കോഡ് ഒരു subprocess ആയി 실행 ചെയ്ത് അതിന്റെ output പിടിക്കും.

  11. Display Images:

    from IPython.display import Image, display
display(Image(filename='./imgs/phi-3-vision.jpg'))
display(Image(filename='./imgs/demo.png'))

    ഈ നിരകൾ IPython.display മോഡ്യൂൾ ഉപയോഗിച്ച് ചിത്രങ്ങൾ പ്രദർശിപ്പിക്കുന്നു.

ഡിസ്‌ക്ലെയിമർ: ഈ രേഖ എഐ വിവർത്തനസേവനമായ Co-op Translator ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്. ഞങ്ങൾ കൃത്യത ഉറപ്പാക്കാൻ ശ്രമിച്ചെങ്കിലും, ഓട്ടോമേറ്റഡ് വിവർത്തനങ്ങളിൽ തെറ്റുകൾ അല്ലെങ്കിൽ അകങ്ങളെച്ചേരായ അപൂർവ്വതകൾ ഉണ്ടായിരിക്കാവുന്നതാണ്. പ്രാഥമിക ഭാഷയിലെ മൂല രേഖയെ പ്രാമാണിക സ്രോതസ്സായി പരിഗണിക്കുക. നിർണ്ണായകമായ വിവരങ്ങൾക്ക് പ്രൊഫഷണൽ മാനവ വിവർത്തനം ശുപാർശിക്കുന്നു. ഈ വിവർത്തനം ഉപയോഗിച്ചതിൽനിന്നുള്ള quaisquer തെറ്റിദ്ധാരണകളിലോ തെറ്റായ വ്യാഖ്യാനങ്ങളിലോ നാം ഉത്തരവാദികളല്ല.