Использование Microsoft Phi-3.5 tflite для создания Android-приложения

Это пример для Android с использованием моделей Microsoft Phi-3.5 в формате tflite.

📚 Знания

Android LLM Inference API позволяет запускать большие языковые модели (LLM) полностью на устройстве для Android-приложений. Вы можете использовать это для выполнения различных задач, таких как генерация текста, поиск информации в естественной форме и создание кратких обзоров документов. Этот API поддерживает множество текстовых больших языковых моделей, что позволяет применять новейшие генеративные AI-модели прямо на Android.

Google AI Edge Torch — это библиотека на Python, которая поддерживает конвертацию моделей PyTorch в формат .tflite, который затем можно запускать с помощью TensorFlow Lite и MediaPipe. Это открывает возможности для приложений на Android, iOS и IoT, которые могут работать полностью на устройстве. AI Edge Torch обеспечивает широкую поддержку CPU, а также начальную поддержку GPU и NPU. AI Edge Torch стремится к тесной интеграции с PyTorch, основываясь на torch.export() и обеспечивая хорошую поддержку основных операторов Core ATen.

🪬 Руководство

🔥 Конвертация Microsoft Phi-3.5 в tflite

0. Этот пример предназначен для Android 14+

1. Установите Python 3.10.12

Рекомендация: используйте conda для создания Python-окружения

2. Ubuntu 20.04 / 22.04 (обратите внимание на google ai-edge-torch)

Рекомендация: используйте Azure Linux VM или облачный VM от сторонних провайдеров для создания окружения

3. Откройте терминал Linux и установите необходимые Python-библиотеки

git clone https://github.com/google-ai-edge/ai-edge-torch.git

cd ai-edge-torch

pip install -r requirements.txt -U 

pip install tensorflow-cpu -U

pip install -e .

4. Скачайте Microsoft-3.5-Instruct с Hugging Face

git lfs install

git clone  https://huggingface.co/microsoft/Phi-3.5-mini-instruct

5. Конвертируйте Microsoft Phi-3.5 в tflite

python ai-edge-torch/ai_edge_torch/generative/examples/phi/convert_phi3_to_tflite.py --checkpoint_path  Your Microsoft Phi-3.5-mini-instruct path --tflite_path Your Microsoft Phi-3.5-mini-instruct tflite path  --prefill_seq_len 1024 --kv_cache_max_len 1280 --quantize True

🔥 Конвертация Microsoft Phi-3.5 в Android Mediapipe Bundle

Сначала установите mediapipe

pip install mediapipe

Запустите этот код в вашем ноутбуке

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model='Your Phi-3.5 tflite model path',
    tokenizer_model='Your Phi-3.5 tokenizer model path',
    start_token='start_token',
    stop_tokens=[STOP_TOKENS],
    output_filename='Your Phi-3.5 task model path',
    enable_bytes_to_unicode_mapping=True or Flase,
)
bundler.create_bundle(config)

🔥 Отправка модели на Android-устройство с помощью adb push

adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models

adb shell mkdir -p /data/local/tmp/llm/

adb push 'Your Phi-3.5 task model path' /data/local/tmp/llm/phi3.task

🔥 Запуск вашего Android-кода

Отказ от ответственности:
Этот документ был переведен с помощью сервиса автоматического перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, просим учитывать, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обращаться к профессиональному человеческому переводу. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования данного перевода.