06.NVIDIA.md

February 1, 2026 · View on GitHub

Keluarga Phi di NVIDIA NIM

NVIDIA NIM adalah kumpulan microservices yang mudah digunakan, dirancang untuk mempercepat penerapan model AI generatif di cloud, pusat data, dan workstation. NIM dikategorikan berdasarkan keluarga model dan per model. Misalnya, NVIDIA NIM untuk large language models (LLM) menghadirkan kekuatan LLM terkini ke aplikasi perusahaan, memberikan kemampuan pemrosesan dan pemahaman bahasa alami yang tak tertandingi.

NIM memudahkan tim IT dan DevOps untuk meng-host sendiri large language models (LLM) di lingkungan yang mereka kelola, sambil tetap menyediakan API standar industri bagi pengembang untuk membangun copilots, chatbot, dan asisten AI yang kuat yang dapat mengubah bisnis mereka. Dengan memanfaatkan akselerasi GPU mutakhir dari NVIDIA dan penerapan yang skalabel, NIM menawarkan jalur tercepat menuju inferensi dengan performa yang luar biasa.

Anda dapat menggunakan NVIDIA NIM untuk melakukan inferensi pada Model Keluarga Phi

nim

Contoh - Phi-3-Vision di NVIDIA NIM

Bayangkan Anda memiliki sebuah gambar (demo.png) dan ingin menghasilkan kode Python yang memproses gambar ini dan menyimpan versi baru dari gambar tersebut (phi-3-vision.jpg).

Kode di atas mengotomatisasi proses ini dengan cara:

Menyiapkan lingkungan dan konfigurasi yang diperlukan.
Membuat prompt yang menginstruksikan model untuk menghasilkan kode Python yang dibutuhkan.
Mengirim prompt ke model dan mengumpulkan kode yang dihasilkan.
Mengekstrak dan menjalankan kode yang dihasilkan.
Menampilkan gambar asli dan gambar yang sudah diproses.

Pendekatan ini memanfaatkan kekuatan AI untuk mengotomatisasi tugas pemrosesan gambar, sehingga lebih mudah dan cepat mencapai tujuan Anda.

Solusi Kode Contoh

Mari kita uraikan apa yang dilakukan seluruh kode langkah demi langkah:

Pasang Paket yang Diperlukan:
```
!pip install langchain_nvidia_ai_endpoints -U
```
Perintah ini memasang paket langchain_nvidia_ai_endpoints, memastikan versinya yang terbaru.
Impor Modul yang Diperlukan:
```
from langchain_nvidia_ai_endpoints import ChatNVIDIA
import getpass
import os
import base64
```
Impor ini membawa modul-modul yang diperlukan untuk berinteraksi dengan endpoint AI NVIDIA, menangani password dengan aman, berinteraksi dengan sistem operasi, dan melakukan encoding/decoding data dalam format base64.
Atur API Key:
```
if not os.getenv("NVIDIA_API_KEY"):
    os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")
```
Kode ini memeriksa apakah variabel lingkungan NVIDIA_API_KEY sudah diatur. Jika belum, pengguna diminta memasukkan API key secara aman.
Tentukan Model dan Jalur Gambar:
```
model = 'microsoft/phi-3-vision-128k-instruct'
chat = ChatNVIDIA(model=model)
img_path = './imgs/demo.png'
```
Ini menetapkan model yang akan digunakan, membuat instance ChatNVIDIA dengan model tersebut, dan mendefinisikan jalur ke file gambar.

Buat Prompt Teks:

text = "Please create Python code for image, and use plt to save the new picture under imgs/ and name it phi-3-vision.jpg."

Mendefinisikan prompt teks yang menginstruksikan model untuk menghasilkan kode Python untuk memproses gambar.

Encode Gambar dalam Base64:

with open(img_path, "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()
image = f'<img src="data:image/png;base64,{image_b64}" />'

Kode ini membaca file gambar, meng-encode-nya dalam base64, dan membuat tag gambar HTML dengan data yang sudah di-encode.

Gabungkan Teks dan Gambar ke dalam Prompt:
```
prompt = f"{text} {image}"
```
Menggabungkan prompt teks dan tag gambar HTML menjadi satu string.
Hasilkan Kode Menggunakan ChatNVIDIA:
```
code = ""
for chunk in chat.stream(prompt):
    print(chunk.content, end="")
    code += chunk.content
```
Kode ini mengirim prompt ke model ChatNVIDIA dan mengumpulkan kode yang dihasilkan secara bertahap, mencetak dan menambahkan setiap bagian ke string code.
Ekstrak Kode Python dari Konten yang Dihasilkan:
```
begin = code.index('```python') + 9  
code = code[begin:]  
end = code.index('```')
code = code[:end]
```
Ini mengekstrak kode Python sebenarnya dari konten yang dihasilkan dengan menghapus format markdown.
Jalankan Kode yang Dihasilkan:
```
import subprocess
result = subprocess.run(["python", "-c", code], capture_output=True)
```
Menjalankan kode Python yang sudah diekstrak sebagai subprocess dan menangkap outputnya.

Tampilkan Gambar:

from IPython.display import Image, display
display(Image(filename='./imgs/phi-3-vision.jpg'))
display(Image(filename='./imgs/demo.png'))

Baris-baris ini menampilkan gambar menggunakan modul IPython.display.

Penafian:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI Co-op Translator. Meskipun kami berupaya untuk akurasi, harap diketahui bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sah. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini.