06.NVIDIA.md

February 1, 2026 · View on GitHub

Phi-perhe NVIDIA NIM:ssä

NVIDIA NIM on joukko helppokäyttöisiä mikropalveluita, jotka on suunniteltu nopeuttamaan generatiivisten tekoälymallien käyttöönottoa pilvessä, datakeskuksissa ja työasemilla. NIM:t on jaoteltu malliperheen ja mallikohtaisesti. Esimerkiksi NVIDIA NIM suurille kielimalleille (LLM) tuo huipputason LLM-mallien voiman yrityssovelluksiin tarjoten vertaansa vailla olevat luonnollisen kielen käsittelyn ja ymmärtämisen ominaisuudet.

NIM helpottaa IT- ja DevOps-tiimien mahdollisuutta isännöidä suuria kielimalleja (LLM) omissa hallinnoiduissa ympäristöissään samalla kun kehittäjille tarjotaan alan standardien mukaiset API:t, joiden avulla he voivat rakentaa tehokkaita avustajia, chatboteja ja tekoälyassistentteja, jotka voivat muuttaa liiketoimintaa. Hyödyntämällä NVIDIAn huippuluokan GPU-kiihdytystä ja skaalautuvaa käyttöönottoa, NIM tarjoaa nopeimman reitin päättelyyn vertaansa vailla olevalla suorituskyvyllä.

Voit käyttää NVIDIA NIM:iä Phi-perheen mallien päättelyyn

nim

Esimerkit - Phi-3-Vision NVIDIA NIM:ssä

Kuvittele, että sinulla on kuva (demo.png) ja haluat luoda Python-koodin, joka käsittelee tätä kuvaa ja tallentaa siitä uuden version (phi-3-vision.jpg).

Yllä oleva koodi automatisoi tämän prosessin seuraavasti:

Ympäristön ja tarvittavien asetusten määrittäminen.
Kehyksen luominen, joka ohjeistaa mallia generoimaan tarvittavan Python-koodin.
Kehyksen lähettäminen mallille ja generoitu koodin kerääminen.
Generoidun koodin eristäminen ja suorittaminen.
Alkuperäisen ja käsitellyn kuvan näyttäminen.

Tämä lähestymistapa hyödyntää tekoälyn voimaa automatisoimaan kuvankäsittelytehtäviä, mikä tekee tavoitteiden saavuttamisesta helpompaa ja nopeampaa.

Esimerkkikoodin ratkaisu

Käydään läpi, mitä koko koodi tekee vaihe vaiheelta:

Asenna tarvittava paketti:
```
!pip install langchain_nvidia_ai_endpoints -U
```
Tämä komento asentaa langchain_nvidia_ai_endpoints-paketin varmistaen, että se on uusin versio.
Tuo tarvittavat moduulit:
```
from langchain_nvidia_ai_endpoints import ChatNVIDIA
import getpass
import os
import base64
```
Nämä tuontikomennot tuovat tarvittavat moduulit NVIDIA AI -päätepisteiden kanssa työskentelyyn, salasanojen turvalliseen käsittelyyn, käyttöjärjestelmän kanssa vuorovaikutukseen sekä base64-koodauksen ja -dekoodauksen hallintaan.
Aseta API-avain:
```
if not os.getenv("NVIDIA_API_KEY"):
    os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")
```
Tämä koodi tarkistaa, onko NVIDIA_API_KEY-ympäristömuuttuja asetettu. Jos ei, se pyytää käyttäjää syöttämään API-avaimensa turvallisesti.
Määrittele malli ja kuvan polku:
```
model = 'microsoft/phi-3-vision-128k-instruct'
chat = ChatNVIDIA(model=model)
img_path = './imgs/demo.png'
```
Tässä asetetaan käytettävä malli, luodaan ChatNVIDIA-instanssi määritellyllä mallilla ja määritellään kuvatiedoston polku.

Luo tekstikehys:

text = "Please create Python code for image, and use plt to save the new picture under imgs/ and name it phi-3-vision.jpg."

Tämä määrittelee tekstikehyksen, joka ohjeistaa mallia generoimaan Python-koodin kuvan käsittelyä varten.

Koodaa kuva base64-muotoon:

with open(img_path, "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()
image = f'<img src="data:image/png;base64,{image_b64}" />'

Tämä koodi lukee kuvatiedoston, koodaa sen base64-muotoon ja luo HTML-kuvatagin koodatulla datalla.

Yhdistä teksti ja kuva kehyksessä:
```
prompt = f"{text} {image}"
```
Tämä yhdistää tekstikehyksen ja HTML-kuvatagin yhdeksi merkkijonoksi.
Generoi koodi ChatNVIDIA:lla:
```
code = ""
for chunk in chat.stream(prompt):
    print(chunk.content, end="")
    code += chunk.content
```
Tämä koodi lähettää kehyksen ChatNVIDIA-mallille ja kerää generoituja koodinpätkiä, tulostaen ja liittäen ne code-merkkijonoon.
Eristä Python-koodi generoidusta sisällöstä:
```
begin = code.index('```python') + 9
code = code[begin:]
end = code.index('```')
code = code[:end]
```
Tämä eristää varsinaisen Python-koodin generoidusta sisällöstä poistamalla markdown-muotoilun.
Suorita generoitu koodi:
```
import subprocess
result = subprocess.run(["python", "-c", code], capture_output=True)
```
Tämä suorittaa eristetyn Python-koodin aliprosessina ja tallentaa sen tulosteen.

Näytä kuvat:

from IPython.display import Image, display
display(Image(filename='./imgs/phi-3-vision.jpg'))
display(Image(filename='./imgs/demo.png'))

Nämä rivit näyttävät kuvat IPython.display-moduulin avulla.

Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä tiedoissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.