セルフホストモデルを使用するようにGitLabを設定する
- プラン: Premium、Ultimate
- 提供形態: GitLab Self-Managed
前提条件:
- GitLabをバージョン17.9以降にアップグレードしてください。
- 管理者である必要があります。
インフラストラクチャ内のセルフホストモデルにアクセスするようにGitLabインスタンスを設定するには:
- AIゲートウェイにアクセスするようにGitLabインスタンスを設定します。
- GitLab 18.4以降では、GitLab Duo Agent PlatformサービスにアクセスするようにGitLabインスタンスを設定します。
- GitLabインスタンスにセルフホストモデルを追加します。
- 機能用のセルフホストモデルを選択します。
ローカルAIゲートウェイへのアクセスを設定する
GitLabインスタンスとローカルAIゲートウェイ間のアクセスを設定するには:
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- 設定の変更を選択します。
- ローカルAIゲートウェイURLに、AIゲートウェイURLを入力します。
- 変更を保存を選択します。
AIゲートウェイURLがローカルネットワークまたはプライベートIPアドレス(例 172.31.x.xやip-172-xx-xx-xx.region.compute.internalのような内部ホスト名)を指している場合、GitLabはセキュリティ上の理由からリクエストをブロックする可能性があります。このアドレスへのリクエストを許可するには、アドレスをIP許可リストに追加します。
AIゲートウェイのタイムアウトを設定する
リソースを節約し、長時間実行されるクエリを防ぐために、モデルのレスポンスを待機する際にGitLabからAIゲートウェイへのリクエストのタイムアウトを設定します。コンテキストウィンドウが大きいセルフホストモデルや、複雑なクエリを使用する場合は、より長いタイムアウトを使用します。
タイムアウトは60秒から600秒(10分)の範囲で設定できます。タイムアウトを設定しない場合、GitLabはデフォルトのタイムアウトである60秒を使用します。
AIゲートウェイのタイムアウトを設定するには:
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- 設定の変更を選択します。
- AIゲートウェイリクエストのタイムアウトで、タイムアウトの値を秒単位(60~600秒)で入力します。
- 変更を保存を選択します。
タイムアウト値を決定する
タイムアウト値は、特定のデプロイおよびユースケースによって異なります。
タイムアウト値を決定するには、次のようにします:
- デフォルトのタイムアウトである60秒から始めて、タイムアウトエラーが発生しないかを監視します。
- ログで
A1000タイムアウトエラーが記録されていないかを監視します。これらのエラーが頻繁に発生する場合は、タイムアウトの延長を検討してください。 - ユースケースを考慮します。大きなプロンプト、複雑なコード生成タスク、大規模な設計ドキュメントの処理などには、より長いタイムアウトが必要になる場合があります。
- インフラストラクチャを考慮します。モデルのパフォーマンスは、利用可能なGPUリソース、AIゲートウェイとモデルエンドポイント間のネットワークレイテンシー、モデルの処理能力によって異なります。
- 段階的に増やします。タイムアウトが発生した場合は、値を徐々に(たとえば、30〜60秒ずつ)増やし、結果を監視します。
タイムアウトエラーのトラブルシューティングの詳細については、エラーA1000を参照してください。
GitLab Duo Agent Platformへのアクセスを設定する
前提条件:
- インスタンスにオフラインライセンスがある場合は、GitLab Duo Agent Platform Self-Hostedアドオンが必要です。
GitLabインスタンスからAgent Platformサービスにアクセスするには:
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- 設定の変更を選択します。
- GitLab Duo Agent PlatformサービスのローカルURLに、ローカルAgent PlatformサービスのURLを入力します。
- 通常、このURLはローカルAIゲートウェイURLと同じですが、gRPCポート:50052にあります。
http://やhttps://などのURLプレフィックスを含めないでください。- SSLを設定していて、推奨されるNGINXリバースプロキシを使用している場合、またはIngressが有効なHelmチャートを使用している場合は、ポートを指定しないでください。NGINX Ingressはポートフォワーディングを処理します。
- オプション。ローカルのGitLab Duo Agent PlatformのエンドポイントがTLSを使用している場合、セキュリティの下にあるUse secure connection (TLS) for GitLab Duo Agent Platform serviceチェックボックスを選択します。
- 変更を保存を選択します。
セルフホストモデルを追加する
GitLab Duo機能でセルフホストモデルを使用するには、GitLabインスタンスにセルフホストモデルを追加する必要があります。
セルフホストモデルを追加するには:
右上隅で、管理者を選択します。
左側のサイドバーで、GitLab Duoを選択します。
GitLab Duoのモデルを設定するを選択します。
- GitLab Duoのモデルを設定するが利用できない場合は、購入後にサブスクリプションを同期してください:
- 左側のサイドバーで、サブスクリプションを選択します。
- サブスクリプションの詳細の最終同期の右側で、サブスクリプションの同期( )を選択します。
- GitLab Duoのモデルを設定するが利用できない場合は、購入後にサブスクリプションを同期してください:
セルフホストモデルの追加を選択します。
フィールドに入力します:
- デプロイ名: モデルデプロイを一意に識別する名前を入力します。例
Mixtral-8x7B-it-v0.1 on GCP。 - モデルファミリー: デプロイが属するモデルファミリーを選択します。サポート対象のモデルまたは互換性のあるモデルを選択できます。
- エンドポイント: モデルがホストされているURLを入力します。
- APIキー: オプション。モデルにアクセスするために必要な場合は、APIキーを追加します。
- モデル識別子: デプロイ方法に基づいてモデル識別子を入力します。モデル識別子は、次の形式と一致している必要があります:
デプロイ方法 形式 例 vLLM custom_openai/<name of the model served through vLLM>custom_openai/Mixtral-8x7B-Instruct-v0.1Amazon Bedrock bedrock/<model ID of the model>bedrock/mistral.mixtral-8x7b-instruct-v0:1Google Vertex AI vertex_ai/<model ID of the model>vertex_ai/claude-sonnet-4-6@defaultAnthropic anthropic/<model ID of the model>anthropic/claude-opus-4-6OpenAI openai/<model ID of the model>openai/gpt-5Azure OpenAI azure/<model ID of the model>azure/gpt-35-turbo
- デプロイ名: モデルデプロイを一意に識別する名前を入力します。例
セルフホストモデルの追加を選択します。
Amazon Bedrockモデルのモデル識別子を設定する
Amazon Bedrockモデルのモデル識別子を設定するには:
AWS_REGIONを設定します。AIゲートウェイDocker構成で、そのリージョンのモデルにアクセスできることを確認してください。クロスリージョン推論のために、モデルの推論プロファイルIDにリージョンプレフィックスを追加します。
モデル識別子のプレフィックスとして、
bedrock/に続けてリージョンを指定します。たとえば、東京リージョンのAnthropic Claude 4.0モデルの場合:
AWS_REGIONはap-northeast-1です。- クロスリージョン推論プレフィックスは
apac.です。 - モデル識別子は
bedrock/apac.anthropic.claude-sonnet-4-20250514-v1:0です。
一部のリージョンは、クロスリージョン推論ではサポートされていません。これらのリージョンでは、モデル識別子にリージョンプレフィックスを指定しないでください。例:
AWS_REGIONはeu-west-2です。- モデル識別子は
anthropic.claude-sonnet-4-5-20250929-v1:0です。
セルフホストベータモデルと機能をオンにする
ベータ版のセルフホストモデルと機能をオンにすると、GitLabテスト規約にも同意したことになります。
セルフホストベータモデルと機能を有効にするには:
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- 設定の変更を選択します。
- ベータ版のセルフホストモデルと機能で、GitLab Duo Self-Hostedでベータ版のモデルおよび機能を使用するチェックボックスをオンにします。
- 変更を保存を選択します。
セルフホストモデルを使用するようにGitLab Duo機能を設定する
設定された機能を表示する
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- GitLab Duoのモデルを設定するを選択します。
- GitLab Duoのモデルを設定するが利用できない場合は、購入後にサブスクリプションを同期してください:
- 左側のサイドバーで、サブスクリプションを選択します。
- サブスクリプションの詳細の最終同期の右側で、サブスクリプションの同期( )を選択します。
- GitLab Duoのモデルを設定するが利用できない場合は、購入後にサブスクリプションを同期してください:
- AIネイティブ機能タブを選択します。
機能のセルフホストモデルを選択する
セルフホストモデルを選択するには:
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- GitLab Duoのモデルを設定するを選択します。
- AIネイティブ機能タブを選択します。
- セルフホストモデルを選択したい機能について、ドロップダウンリストからモデルを選択します。
GitLab Duo Chatのサブ機能にモデルを指定しない場合、General Chatに設定されているモデルが自動的に使用されます。これにより、サブ機能ごとに個別のモデルを選択する必要なく、すべてのチャット機能が動作します。
機能のGitLabマネージドモデルを選択する
セルフホストのAIゲートウェイやセルフホストモデルを使用している場合でも、機能に対してGitLabマネージドモデルを選択できます。
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- GitLab Duoのモデルを設定するを選択します。
- AIネイティブ機能タブを選択します。
- 設定したい機能とサブ機能について、ドロップダウンリストからGitLab-managed modelを選択します。
GitLab Duo機能をオフにする
機能にモデルを選択していない場合でも、GitLab Duo機能はオンのままです。
GitLab Duo機能をオフにするには:
- 右上隅で、管理者を選択します。
- 左側のサイドバーで、GitLab Duoを選択します。
- GitLab Duoのモデルを設定するを選択します。
- AIネイティブ機能タブを選択します。
- オフにしたい機能について、ドロップダウンリストから無効を選択します。
GitLabドキュメントをセルフホストする
セットアップでdocs.gitlab.comにあるGitLabドキュメントにアクセスできない場合は、ドキュメントをセルフホストできます。詳細については、GitLab製品ドキュメントをホストするを参照してください。