モデルとハードウェア要件
- プラン: Premium、Ultimate
- 提供形態: GitLab Self-Managed
Mistral、Meta、Anthropic、OpenAIなどの業界をリードするモデルと、お好みのサービスプラットフォームを通じて統合できます。
使用できるモデルは次のとおりです:
- 特定のパフォーマンスニーズとユースケースに適合するサポート対象のモデル。
- GitLab 18.3以降では、独自の互換性のあるモデル。公式にサポートされているオプション以外のモデルを試すことができます。
- 独自のインフラストラクチャをホストすることなくAIモデルに接続できる、GitLabマネージドモデル。これらのモデルは、GitLabによって完全に管理されます。
サポートされているモデル
GitLabでサポートされているモデルは、特定のモデルと機能の組み合わせに応じて、GitLab Duo機能に対してさまざまなレベルの機能性を提供します。
- 完全な機能性: モデルは、品質を損なうことなく機能を処理できる可能性が高い。
- 部分的な機能性: モデルは機能をサポートするが、妥協や制限がある可能性がある。
- 限定的な機能性: モデルは機能に適しておらず、品質の大幅な低下やパフォーマンスの問題が発生する可能性が高い。限定的な機能性を持つモデルは、その特定の機能についてGitLabのサポート対象外となる。
| モデルファミリー | モデル | コード補完 | コード生成 | GitLab Duo非エージェンティックチャット | GitLab Duo Agent Platform |
|---|---|---|---|---|---|
| Claude 4 | Claude 4 Sonnet | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| Claude 4 | Claude 4.5 Sonnet | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| Claude 4 | Claude 4.5 Haiku | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| Claude 4 | Claude 4.5 Opus | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| GPT | GPT-4 Turbo | 完全な機能性 | 完全な機能性 | 部分的な機能性 | 限定的な機能性 |
| GPT | GPT-4o | 完全な機能性 | 完全な機能性 | 完全な機能性 | 限定的な機能性 |
| GPT | GPT-4o-mini | 完全な機能性 | 完全な機能性 | 部分的な機能性 | 限定的な機能性 |
| GPT | GPT-5 | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| GPT | GPT-5 Mini | 完全な機能性 | 完全な機能性 | 完全な機能性 | 部分的な機能性 |
| GPT | GPT-5 Codex | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| GPT | GPT-5.1 | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| GPT | GPT-5.2 | 完全な機能性 | 完全な機能性 | 完全な機能性 | 完全な機能性 |
| GPT | GPT-oss-120B | 完全な機能性 | 完全な機能性 | 完全な機能性 | 限定的な機能性 |
| GPT | GPT-oss-20B | 部分的な機能性 | 部分的な機能性 | 部分的な機能性 | 限定的な機能性 |
| Mistral Codestral | Codestral 22B v0.1 | 完全な機能性 | 完全な機能性 | 部分的な機能性 | 限定的な機能性 |
| Mistral | Mistral Small 24B Instruct 2506 | 完全な機能性 | 完全な機能性 | 完全な機能性 | 限定的な機能性 |
| Llama | Llama 3 8B | 部分的な機能性 | 完全な機能性 | 限定的な機能性 | 限定的な機能性 |
| Llama | Llama 3.1 8B | 部分的な機能性 | 完全な機能性 | 部分的な機能性 | 限定的な機能性 |
| Llama | Llama 3 70B | 部分的な機能性 | 完全な機能性 | 限定的な機能性 | 限定的な機能性 |
| Llama | Llama 3.1 70B | 完全な機能性 | 完全な機能性 | 完全な機能性 | 限定的な機能性 |
| Llama | Llama 3.3 70B | 完全な機能性 | 完全な機能性 | 完全な機能性 | 限定的な機能性 |
互換性のあるモデル
- ステータス: ベータ版
独自の互換性のあるモデルとプラットフォームをGitLab Duo機能で使用できます。サポートされているモデルファミリーに含まれていない互換性のあるモデルについては、一般的なモデルファミリーを使用してください。これには、OpenAI API互換の/v1エンドポイントを介して公開されているという要件で、自身でホストするモデル（たとえば、vLLMまたはLiteLLMを介して提供されるモデル）が含まれます。
互換性のあるモデルは、AI機能利用規約の顧客インテグレーションモデルの定義から除外されています。互換性のあるモデルとプラットフォームは、OpenAI API仕様に準拠する必要があります。以前に実験的またはベータ版としてマークされていたモデルとプラットフォームは、現在互換性のあるモデルと見なされています。
この機能はベータ版であるため、フィードバックを収集してインテグレーションを改善する過程で変更される可能性があります:
- GitLabは、選択したモデルまたはプラットフォームに固有の問題に対するテクニカルサポートを提供しません。
- すべてのGitLab Duo機能が、すべての互換性のあるモデルで最適に動作することが保証されているわけではありません。
- 応答の品質、速度、および全体的なパフォーマンスは、モデルの選択によって大きく異なる場合があります。
| モデルファミリー | モデル |
|---|---|
| 一般 | OpenAI API仕様と互換性のある任意のモデル |
| CodeGemma | CodeGemma 2b |
| CodeGemma | CodeGemma 7b-it |
| CodeGemma | CodeGemma 7b-code |
| Code Llama | Code-Llama 13b |
| DeepSeek Coder | DeepSeek Coder 33b Instruct |
| DeepSeek Coder | DeepSeek Coder 33b Base |
GitLabマネージドモデル
GitLabマネージドモデルは、GitLabホスト型AIゲートウェイインフラストラクチャと統合され、GitLabによってキュレーションされ利用可能になったAIモデルへのアクセスを提供します。独自のセルフホストモデルを使用する代わりに、特定のGitLab Duo機能に対してGitLabマネージドモデルを使用することを選択できます。
どの機能でGitLabマネージドモデルを使用するかを選択するには、機能のGitLabマネージドモデルを選択を参照してください。
特定の機能で有効になっている場合:
- GitLabマネージドモデルで設定されたそれらの機能へのすべての呼び出しは、セルフホストAIゲートウェイではなく、GitLabホスト型AIゲートウェイを使用します。
- AIログが有効になっている場合でも、GitLabホストのAIゲートウェイに詳細なログは生成されません。これにより、機密情報の意図しない漏洩を防ぎます。
ハードウェア要件
次のハードウェア仕様は、オンプレミスでGitLab Duo Self-Hostedを実行するための最小要件です。要件は、モデルサイズと使用目的によって大きく異なります:
基本システム要件
- CPU:
- 最小: 8コア（16スレッド）
- 推奨: 本番環境では16コア以上
- RAM:
- 最小: 32 GB
- 推奨: ほとんどのモデルで64GB
- ストレージ:
- モデルウェイトとデータに十分な容量を持つSSD
モデルサイズ別GPU要件
| モデルサイズ | 最小GPU設定 | 必要な最小VRAM |
|---|---|---|
| 7Bモデル （例: Mistral 7B） | 1x NVIDIA A100 (40 GB) | 35 GB |
| 22Bモデル （例: Codestral 22B） | 2x NVIDIA A100 (80 GB) | 110 GB |
| Mixtral 8x7B | 2x NVIDIA A100 (80 GB) | 220 GB |
| Mixtral 8x22B | 8x NVIDIA A100 (80 GB) | 526 GB |
Hugging Faceのメモリユーティリティを使用して、メモリ要件を確認します。
モデルサイズとGPU別の応答時間
小規模マシン
a2-highgpu-2g（2x NVIDIA A100 40 GB - 150 GB vRAM）または同等の環境の場合:
| モデル名 | リクエスト数 | リクエストあたりの平均時間（秒） | レスポンスの平均トークン | リクエストあたりの秒間平均トークン | リクエストの合計時間 | 合計TPS |
|---|---|---|---|---|---|---|
| Mistral-7B-Instruct-v0.3 | 1 | 7.09 | 717.0 | 101.19 | 7.09 | 101.17 |
| Mistral-7B-Instruct-v0.3 | 10 | 8.41 | 764.2 | 90.35 | 13.70 | 557.80 |
| Mistral-7B-Instruct-v0.3 | 100 | 13.97 | 693.23 | 49.17 | 20.81 | 3331.59 |
中規模マシン
GCPのa2-ultragpu-4g（4x NVIDIA A100 40 GB - 340 GB vRAM）または同等の環境:
| モデル名 | リクエスト数 | リクエストあたりの平均時間（秒） | レスポンスの平均トークン | リクエストあたりの秒間平均トークン | リクエストの合計時間 | 合計TPS |
|---|---|---|---|---|---|---|
| Mistral-7B-Instruct-v0.3 | 1 | 3.80 | 499.0 | 131.25 | 3.80 | 131.23 |
| Mistral-7B-Instruct-v0.3 | 10 | 6.00 | 740.6 | 122.85 | 8.19 | 904.22 |
| Mistral-7B-Instruct-v0.3 | 100 | 11.71 | 695.71 | 59.06 | 15.54 | 4477.34 |
| Mixtral-8x7B-Instruct-v0.1 | 1 | 6.50 | 400.0 | 61.55 | 6.50 | 61.53 |
| Mixtral-8x7B-Instruct-v0.1 | 10 | 16.58 | 768.9 | 40.33 | 32.56 | 236.13 |
| Mixtral-8x7B-Instruct-v0.1 | 100 | 25.90 | 767.38 | 26.87 | 55.57 | 1380.68 |
大規模マシン
GCPのa2-ultragpu-8g（8 x NVIDIA A100 80 GB - 1360 GB vRAM）または同等の環境:
| モデル名 | リクエスト数 | リクエストあたりの平均時間（秒） | レスポンスの平均トークン | リクエストあたりの秒間平均トークン | リクエストの合計時間（秒） | 合計TPS |
|---|---|---|---|---|---|---|
| Mistral-7B-Instruct-v0.3 | 1 | 3.23 | 479.0 | 148.41 | 3.22 | 148.36 |
| Mistral-7B-Instruct-v0.3 | 10 | 4.95 | 678.3 | 135.98 | 6.85 | 989.11 |
| Mistral-7B-Instruct-v0.3 | 100 | 10.14 | 713.27 | 69.63 | 13.96 | 5108.75 |
| Mixtral-8x7B-Instruct-v0.1 | 1 | 6.08 | 709.0 | 116.69 | 6.07 | 116.64 |
| Mixtral-8x7B-Instruct-v0.1 | 10 | 9.95 | 645.0 | 63.68 | 13.40 | 481.06 |
| Mixtral-8x7B-Instruct-v0.1 | 100 | 13.83 | 585.01 | 41.80 | 20.38 | 2869.12 |
| Mixtral-8x22B-Instruct-v0.1 | 1 | 14.39 | 828.0 | 57.56 | 14.38 | 57.55 |
| Mixtral-8x22B-Instruct-v0.1 | 10 | 20.57 | 629.7 | 30.24 | 28.02 | 224.71 |
| Mixtral-8x22B-Instruct-v0.1 | 100 | 27.58 | 592.49 | 21.34 | 36.80 | 1609.85 |
AIゲートウェイのハードウェア要件
AIゲートウェイのハードウェアに関する推奨事項については、AIゲートウェイのスケールに関する推奨事項を参照してください。