MiniMax H3
August 10, 2026 · View on GitHub
MiniMax H3
プロンプト作成スキル
このリポジトリに同梱されている 9 つのスキルの 1 つである H3 プロンプト作成スキルをインストールします:
npx skills add https://github.com/MiniMax-AI/MiniMax-H3 --skill h3-prompt-writing
このスキルには skills/h3-prompt-writing/references/ 配下に 2 つのプロンプトガイドが含まれています。base-en.txt はテキスト/キーフレームモード用、ref-en.txt はフルリファレンス(Ref2VA)モード用です。
エージェント互換性: h3-prompt-writing は外部 API 呼び出しを行わない、純粋な Markdown + リファレンスファイルのスキルです。そのため、Claude Code、Claude Agent SDK、Cursor、Windsurf、OpenAI ベースのエージェント/Codex、LangChain など、SKILL.md とローカルファイルを読み取れるあらゆる環境で動作します。同梱されている skills/h3-prompt-writing/agents/openai.yaml は、OpenAI のスキル仕様 に基づき、ChatGPT/Codex のスキル UI 向けに任意の UI メタデータ(表示名、説明、デフォルトプロンプト)を追加するだけであり、このスキルを OpenAI エージェント専用に制限するものではありません。
残りの 8 つは、MiniMax Hub のキャンバスワークフロー(hub_generate_video、hub_generate_image、キャンバスノード、選択カードなど)向けに構築されたスタイル別の動画生成スキルであり、汎用のエージェント実行環境には移植できません:
オンライン API
API 経由で MiniMax-H3 を直接利用できます。
- Global: platform.minimax.io | CN: platform.minimaxi.com
オンラインアプリ
アプリ経由で MiniMax-H3 を直接利用できます。
- WebApp Global: hailuoai.video | CN: hailuoai.com
- Desktop Global: hub.minimax.io | CN: hub.minimaxi.com
システム概要
MiniMax H3 は汎用のオムニモーダル生成システムです。テキスト、画像、動画、音声で構成されるマルチモーダルなコンテキストを統合的に理解し、最大 2K 解像度、最大 15 秒、ネイティブステレオ音声付きの動画を生成できます。タスク汎化を重視したシステム設計により、H3 は事前学習段階ですでに幅広いマルチモーダルコンテキストの理解と生成能力を備えており、複雑なマルチモーダル指示への追従に優れた性能を発揮します。
H3 は以下の入出力仕様をサポートします:
| カテゴリ | 仕様 |
|---|---|
| 出力時間 | 4-15 秒 |
| 出力アスペクト比 | 21:9、16:9、4:3、1:1、3:4、9:16 など、幅広いアスペクト比をサポート |
| 出力解像度 | さまざまな解像度をサポートします。デフォルトでは短辺が 768 ピクセルに設定されます。H3-Regenerate-2K により 2K 生成が可能です |
| 出力フレームレート | 24 FPS |
| 出力音声 | 32 kHz ステレオ |
| 対応対話言語 | アラビア語、中国語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語の 11 言語を安定してサポートします。その他の言語も一定程度サポートされています |
モデルバリアントと入力仕様
| モデルバリアント | 入力モード | 仕様 |
|---|---|---|
| H3-Base-FL2VA | First-and-last-frame mode | Supports zero, one, or two input images. - No image input: Text-to-video mode - One image input: First-frame-to-video or last-frame-to-video generation - Two image inputs: First-and-last-frame-to-video generation |
| H3-Base-Ref2VA | Omni-reference mode | Supports multi-modal reference inputs: - Images: ≤ 9 images - Videos: ≤ 3 clips; each clip must be 2–15 seconds long; total duration ≤ 15 seconds - Audio: ≤ 3 clips; audio must be accompanied by image or video input and cannot be used as the sole input; each clip must be 2–15 seconds long; total duration ≤ 15 seconds - Mixed inputs: Maximum number of files across all input types is 12 |

完全な H3 システムは以下の 3 つのモジュールで構成されます:
- H3-Context-IR: As inputs become increasingly complex, we build a dedicated system to deeply understand and refine the input multimodal instructions, then convert them into a form that H3 can readily understand—the Context Intermediate Representation—for generation. H3-Context-IR is critical to the quality of the final output, so we strongly recommend incorporating it into your generation pipeline or following the “Prompting Guidance” to build your own context-processing system.
- H3-Base: Generates audio and video based on the H3-Context-IR output, producing results at 768p resolution.
- H3-Regenerate-2K: Feeds the 768p result together with the original context back into H3 to regenerate the output at 2K resolution. This process leverages both H3’s powerful generative capabilities and the rich information contained in the original context, enabling it to produce high-resolution outputs with more accurate details and greater visual fidelity.
モデルアーキテクチャ
H3-Context-IR
H3-Context-IR は、自由形式のマルチモーダル入力向けに設計されたホスト型の前処理およびオーケストレーションシステムです。
テキスト、画像、音声、参照動画の関係、およびそれらの素材が目的の生成出力とどのように関係するかを解釈します。内部ワークフローには、指示解析、クロスモーダル関連付け、時間理解、複雑な論理推論が含まれます。
H3-Context-IR は、コンテキストの理解を H3-Base が受け取れる構造化表現にシリアライズします。ユーザーの元の意図から逸脱しない範囲で、不足している、または指定が不十分な意味情報を適宜補完することもあります。
H3-Context-IR は多段階ワークフローと複数のホスト型モデルおよびサービスに依存するため、今回のオープンソースリリースには含まれていません。公式ワークフローの挙動を再現できる API を提供しています。また、開発者が プロンプトガイド に従って独自の前処理システムを構築できるよう、詳細なチュートリアルも提供しています。
詳しい使用方法は 推奨ワークフロー - 完全な 2K ワークフロー を参照してください。
安全ガードレール
ユーザーが送信したテキスト、画像、動画、および拡張プロンプトは自動モデレーションの対象です。違法、ポルノ、または第三者の権利侵害が疑われるコンテンツはブロックされる場合があります。業界標準のフィルタリング手段を使用していますが、誤検知や見逃しを完全に排除することはできません。これらのガードレールは、MiniMax H3 Community License に基づくライセンシーの義務、特に合法的使用および使用制限に関する義務に影響しません。
H3-Base

アーキテクチャ概要
-
H3-Base encodes different modalities using their corresponding encoders or VAEs and organizes the encoded representations into a unified packed multimodal sequence. RoPE is used to capture the necessary spatial and temporal relationships among tokens before the entire sequence is passed to the H3-Omni-Transformer.
-
Specifically, text is encoded by the H3-Encoder; visual inputs are encoded by both the H3-Encoder and the H3-VisualVAE; and audio is encoded solely by the H3-AudioVAE.
-
The H3-Omni-Transformer jointly predicts video and audio latents, which are then decoded into video and stereo audio, respectively.
-
To reduce the computational cost of long multimodal sequences, H3 natively supports sparse-attention training and inference. The initial open-source release provides inference with full attention only. Our sparse-attention implementation will be released in a future update.
H3-Encoder
-
The H3-Encoder uses the full pretrained weights of Qwen3-VL-32B and provides the hidden states from its 50th layer to the H3-Omni-Transformer.
-
We add several special tokens, such as
<d>, to the tokenizer configuration. When using H3, the tokenizer and associated configuration files provided in the H3 repository are required.
H3-VAE
H3 は、それぞれのモダリティを表現するために、視覚 latent と音声 latent を分離して使用します。
H3-VisualVAE
-
H3-VisualVAE is a temporally causal video autoencoder with a spatial compression factor of 16×, a temporal compression factor of 4×, and 24 latent channels, denoted as f16t4d24. We apply several latent-space optimization techniques to jointly improve reconstruction quality and latent learnability.
-
Before being passed to the H3-Omni-Transformer, the visual latents are further patchified with a patch size of
1 × 2 × 2along the(time, height, width)dimensions. As a result, the visual tokens entering the Transformer have an effective spatial downsampling factor of 32×, while the temporal downsampling factor remains 4×. -
The latent space of H3-VisualVAE is optimized for both reconstruction quality and ease of learning by the generative model. After training its encoder, we additionally train a ViT-based decoder to reduce decoding costs and further improve reconstruction quality.
H3-AudioVAE
- H3-AudioVAE uses the same encoder and decoder for both the left and right audio channels while processing each channel independently. The decoded channels are then recombined, enabling stereo audio input and output.
- For each channel, H3-AudioVAE compresses 32 kHz audio into a sequence of latent tokens with a temporal rate of 40 Hz.
- Inspired by VA-VAE, we optimize the latent space to preserve audio reconstruction quality while making it easier for the generative model to learn.
H3-Omni-Transformer
-
For scalability and generalization, we adopt a relatively simple Transformer block design. H3-Omni-Transformer is a 33B-parameter dense, single-stream Transformer, with approximately 13B parameters residing in AdaLN-related branches. Because the AdaLN modulation outputs can be precomputed and cached, these parameters do not need to be loaded for inference-only deployment. We release the complete model weights to support further development, including fine-tuning.
-
Neither the attention layers nor the FFN layers contain modality-specific structures. Modality-specific parameters are confined to the input/output layers and the AdaLN branches. In particular, modality-specific AdaLN improves generation quality with relatively low additional training and inference costs.
-
The model uses three-dimensional Multimodal Rotary Position Embeddings (MM-RoPE) to represent positional relationships across the temporal and two spatial dimensions,
(t, h, w). -
During the final stage of training, we introduce native sparse attention to reduce the computational cost of long sequences. The sparse-attention implementation is not included in the initial open-source release and will be published separately in a future update.
H3-Regenerate-2K
-
For H3's 2K-resolution output, instead of using a conventional dedicated super-resolution module, we use the H3 base model to regenerate its own low-resolution result through an in-context manner.
-
This approach provides two advantages: (1) the regeneration process can reuse the generative capabilities of H3 base model to the greatest extent possible; and (2) the in-context format can reuse the original multimodal context when producing high-resolution output, allowing it to recover information that conventional super-resolution methods would otherwise have to “guess,” such as small text and fine details.
-
In-context regeneration is also an example of task generalization.
-
Due to the complexity of the system, this module is not yet open-sourced. We will release it once it is ready. We provide an API for validating the official results; see "Full 2K Workflow" below.
推奨ワークフロー
コミュニティが MiniMax H3 を正しくデプロイできるよう、2 つの検証方法を提供しています。
完全な H3 システムは H3-Context-IR、H3-Base、H3-Regenerate-2K の 3 つのモジュールで構成されるため、「完全な 2K ワークフロー」では Open Platform API とローカルにデプロイした H3-Base を組み合わせ、2K 出力を検証するエンドツーエンドのパイプラインを提供します。「H3-Base のローカルデプロイ」セクションでは、ローカルにデプロイした H3-Base のみを使用して 768p 出力を検証する方法を提供します。
さらに、「プロンプトガイド」セクションでは、コミュニティが独自のプロンプトシステムを開発するための詳細なチュートリアルを提供します。
H3-Base のローカルデプロイ
MiniMax H3 は 2 つのタスク別 checkpoint として公開されています。各 checkpoint には、専用の Omni Transformer Model と、必要な processor、tokenizer、text encoder、Visual VAE、スタンドアロン Audio VAE コンポーネントが含まれます。
| Checkpoint | Supported Tasks | Input Conditions | Output | Precision |
|---|---|---|---|---|
| MiniMax-H3 Base FL2VA | Text-to-Audio-Video (t2va), First/Last-Frame-to-Audio-Video (fl2va) | Text; optional first frame, last frame, or both | Video and audio | BF16 |
| MiniMax-H3 Base Ref2VA | Reference-to-Audio-Video (ref2va) | Text with reference images, videos, and/or audio | Video and audio | BF16 |
公開されている checkpoint は、CFG 蒸留された Omni Transformer モデル重みです。
各 checkpoint は、以下のコンポーネントを含む自己完結型の Hugging Face 形式リポジトリとして配布されます:
<TASK>/
├── model_index.json
├── processor/
├── tokenizer/
├── text_encoder/
├── transformer/
├── visual_vae/
└── audio_vae/
モデルをダウンロードします。このリポジトリでは元の checkpoint(FL2VA/、Ref2VA/)と diffusers 形式を並行して提供しているため、使用するフレームワークに必要な範囲だけをダウンロードしてください:
model_index.json はリポジトリレベルの公開エントリです。タスクファミリー別の diffusers インデックスは FL2VA/model_index.json および Ref2VA/model_index.json 配下にあります。
# Original checkpoint, both task families (SGLang, vLLM):
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" "Ref2VA/*" --local-dir MiniMax-H3
# Or a single task family:
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" --local-dir MiniMax-H3
diffusers ユーザーは手動でダウンロードする必要はありません。ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3") が必要なコンポーネントだけを取得します。読み込み方法は diffusers documentation を参照してください。
モデルのサービングには以下の推論フレームワークを推奨します:
-
vLLM - see vllm recipes
-
diffusers - see diffusers docs
-
ComfyUI - see Comfy tutorial; use R2V template / T2V template
Sglang デプロイ
ここでは sglang をデプロイ例として使用します。追加のデプロイ設定については MiniMax-H3 deployment guide を参照してください。
FL2VA:
sglang serve \
--model-path MiniMaxAI/MiniMax-H3 \
--num-gpus 4 \
--ulysses-degree 4 \
--performance-mode speed \
--host 0.0.0.0 \
--port 30010 \
--model-variant fl2va
Ref2VA:
sglang serve \
--model-path MiniMaxAI/MiniMax-H3 \
--num-gpus 4 \
--ulysses-degree 4 \
--performance-mode speed \
--host 0.0.0.0 \
--port 30011 \
--model-variant ref2va
再現可能な 768p ケース
以下の 3 つのユースケース T2VA、FL2VA、Ref2VA は、MiniMax-H3 の動画・音声生成を再現する方法を示しています。
| ユースケース | リクエスト | 結果 |
|---|---|---|
| T2VA | スクリプトを見る | t2va.mp4 |
| FL2VA | スクリプトを見る | fl2va.mp4 |
| Ref2VA | スクリプトを見る | ref2va.mp4 |
完全な 2K ワークフロー
このセクションでは、ローカルにデプロイした SGLang サービスと公式の H3-Context-IR および H3-Regenerate-2K API を組み合わせ、MiniMax API で直接生成した 2K 動画の品質を再現する方法を説明します。 開始前に、SGLang エンドポイントと MiniMax API 認証情報を設定してください:
# URL of your SGLang deployment
SGLANG_DEPLOYMENT_URL="<sglang-deployment-url>"
# MiniMax API endpoint (choose one)
# CN
MINIMAX_API_BASE="https://api.minimaxi.com"
# Global
# MINIMAX_API_BASE="https://api.minimax.io"
# API token obtained from the MiniMax platform
TOKEN="<token>"
MiniMax プラットフォーム:
API ドキュメント:
- Create H3-2K: use /video-generation-v2-create EN-docs, CN-docs
- H3-Context-IR:use /video-generation-v2-h3-context-ir EN-docs, CN-docs
- H3-Regenerate-2K:use /video-generation-v2-regeneration EN-docs, CN-docs
以下の例では、ローカルの H3-Base 出力ファイルを Base64 Data URL としてエンコードします。本番環境では、動画を公開アクセス可能な URL にアップロードし、その URL を base_video として渡すことを推奨します。
以下の各ケースでは、Open Platform API から直接生成した 2K および 768p の参照出力を提供しており、結果を検証しやすくしています。
case-T2VA
- 種類: テキストから動画
- 長さ: 10 秒
- アスペクト比: 16:9
| 段階 | リクエスト | 結果 |
|---|---|---|
| H3-Context-IR | スクリプトを見る | |
| H3-Base | スクリプトを見る | t2va.mp4 |
| H3-Regenerate-2K | スクリプトを見る | t2va_2k.mp4 |
| Open Platform API を直接呼び出した 2K 参照結果 | スクリプトを見る | h3_direct_2k.mp4 |
| Open Platform API を直接呼び出した 768P 参照結果 | スクリプトを見る | h3_direct_768p.mp4 |
case-I2VA
- 種類: 先頭フレーム画像から動画
- 長さ: 8 秒
- アスペクト比: 自動
| 段階 | リクエスト | 結果 |
|---|---|---|
| H3-Context-IR | スクリプトを見る | |
| H3-Base | スクリプトを見る | i2va.mp4 |
| H3-Regenerate-2K | スクリプトを見る | i2va_2k.mp4 |
| Open Platform API を直接呼び出した 2K 参照結果 | スクリプトを見る | i2va_direct_2k.mp4 |
| Open Platform API を直接呼び出した 768P 参照結果 | スクリプトを見る | i2va_direct_768p.mp4 |
case-Ref2VA
- 種類: マルチモーダル参照から動画(動画 + 音声)
- 長さ: 5 秒
- アスペクト比: 自動
| 段階 | リクエスト | 結果 |
|---|---|---|
| H3-Context-IR | スクリプトを見る | |
| H3-Base | スクリプトを見る | r2va.mp4 |
| Open Platform API を直接呼び出した 2K 参照結果 | スクリプトを見る | r2va_2k.mp4 |
| 参考用 Open Platform の H3 API 2K 結果 | スクリプトを見る | r2va_direct_2k.mp4 |
| Open Platform API を直接呼び出した 768P 参照結果 | スクリプトを見る | r2va_direct_768p.mp4 |
プロンプトガイド
Markdown の構成を簡潔に保つため、Hugging Face リリースのプロンプトガイド文書はこのリポジトリにはコピーしていません。
ライセンス
MiniMax H3 は MiniMax H3 Community License Agreement の下で公開されています。
お問い合わせ
お問い合わせは model@minimax.io までお願いします。







