セルフホストモデル

独自のAIインフラストラクチャをホストすることで、GitLab Duoの各種機能を任意のLLMで動作させることができます。セルフホストAIゲートウェイを使用すると、すべてのリクエストおよびレスポンスデータを自組織環境内に保持し、外部APIに対するコールを実行することなく、LLMバックエンドへのリクエストのライフサイクル全体を管理できます。

デプロイオプション

セルフホストモデルは、複数のデプロイオプションに対応しています。

GitLab Duo Agent Platform

オンプレミス型モデル、またはGitLab Duo Agent Platform内のプライベートクラウドでホストされるモデルには、GitLab Duo Agent Platform Self-Hostedを使用します。

オフラインライセンスをお持ちのお客様の場合、価格設定はシートベースで、GitLab Duo Agent Platform Self-Hostedアドオンが必要です。

オンラインライセンスをお持ちのお客様の場合、請求は使用量課金です。ハイブリッドデプロイメントでは、GitLabが管理するモデルも使用できます。

データ送信

次の請求メタデータがGitLabに使用量課金のために送信されます:

• 匿名化されたインスタンスID
• 呼び出し回数
• ユーザーID

推論データ（codeコード入力、モデルプロンプト、モデル応答を含む）は、顧客ネットワークから外に出ることはありません。

GitLabは、顧客がどのモデルまたはモデルプロバイダーを使用しているかを捕捉しません。

GitLab Duo

GitLab Duo Self-Hostedは、GitLab Duo Enterpriseを利用し、GitLab Duo機能を使用している顧客向けです。使用できるモデルは次のとおりです:

• オンプレミスモデルまたはプライベートクラウドでホストされるモデル
• ハイブリッドデプロイメントのGitLab管理モデル

このオプションはシートベースの価格設定となっています。

機能のバージョンとステータス

下記の表に次の一覧を示します:

• 機能を使用するために必要なGitLabのバージョン。
• 機能のステータス。デプロイメントの機能ステータスは、機能にリストされているステータスと異なる場合があります。

GitLab Duo Self-HostedでGitLab Duo機能を使用するには、GitLab Duo Enterpriseアドオンが必要です。これは、GitLabがクラウドベースのAIゲートウェイを介してこれらのモデルをホストおよび接続し、GitLab Duo CoreまたはGitLab Duo Proでこれらの機能を使用できる場合でも適用されます。

AIゲートウェイ構成

デプロイオプションを選択したら、次にAIゲートウェイのLLM接続を構成します:

• セルフホストAIゲートウェイとLLM: AIインフラストラクチャを完全に制御するために、独自のAIゲートウェイとモデルを使用します。
• ハイブリッドAIゲートウェイとモデル構成: 機能ごとに、独自のAIゲートウェイとセルフホストモデルを使用するか、GitLab.comのAIゲートウェイとGitLab管理のモデルを使用します。
• デフォルトのGitLab外部ベンダーLLMを使用したGitLab.com AIゲートウェイ: GitLabが管理するAIインフラストラクチャを使用します。

セルフホストAIゲートウェイとLLM

完全なセルフホスト設定では、独自のAIゲートウェイをデプロイし、GitLabインフラストラクチャやAIベンダーモデルを使用せずに、自社のインフラストラクチャでサポートされているLLMのみを使用します。これにより、データとセキュリティを完全に制御できます。

独自のAIゲートウェイをデプロイしている間も、AWS BedrockやAzure OpenAIのようなクラウドベースのLLMサービスをモデルバックエンドとして使用でき、セルフホストAIゲートウェイを介して接続し続けることができます。

インターネットアクセスを防止または制限する物理的な障壁やセキュリティポリシーがあるオフライン環境で、包括的なLLM制御が必要な場合は、この完全なセルフホスト設定を使用する必要があります。

詳細については、以下を参照してください:

• セルフホストAIゲートウェイ構成図。

ハイブリッドAIゲートウェイとモデル構成

このハイブリッド設定では、ほとんどの機能に独自のAIゲートウェイとセルフホストモデルをデプロイしますが、特定の機能ではGitLab管理モデルを使用するように設定します。ある機能がGitLab管理モデルを使用するように設定されている場合、その機能へのリクエストは、セルフホストAIゲートウェイではなく、GitLabホストのAIゲートウェイに送信されます。

このオプションは、以下を可能にすることで柔軟性を提供します:

• 完全な制御が必要な機能には独自のセルフホスティング型モデルを使用する。
• GitLabがキュレーションしたモデルを優先する特定の機能には、GitLab管理のベンダーモデルを使用する。

GitLab管理モデル

GitLab管理モデルを使用すると、インフラストラクチャをセルフホストすることなくAIモデルに接続できます。これらのモデルは、GitLabによって完全に管理されます。

AIネイティブ機能で使用するデフォルトのGitLabモデルを選択できます。デフォルトモデルの場合、GitLabは可用性、品質、信頼性に基づいて最適なモデルを使用します。機能に使用されるモデルは、予告なく変更される場合があります。

特定のGitLab管理モデルを選択すると、その機能のすべてのリクエストはそのモデルのみを使用します。モデルが利用できなくなった場合、AIゲートウェイへのリクエストは失敗し、別のモデルが選択されるまで、ユーザーはその機能を使用できません。

デフォルトのGitLab外部ベンダーLLMを使用したGitLab.com AIゲートウェイ

GitLab Duo Self-Hostedのユースケース基準を満たしていない場合は、デフォルトのGitLab外部ベンダーLLMを備えたGitLab.com AIゲートウェイを使用できます。

GitLab.com AIゲートウェイはデフォルトのEnterprise提供であり、セルフホストではありません。この設定では、インスタンスをGitLabがホストするAIゲートウェイに接続し、以下を含む外部ベンダーLLMプロバイダーと統合します:

• Anthropic
• Fireworks AI
• Google Vertex

これらのLLMはGitLab Cloud Connectorを介して通信し、オンプレミスインフラストラクチャを必要とせずに、すぐに使用できるAIソリューションを提供します。

詳細については、GitLab.com AIゲートウェイ構成図を参照してください。

このインフラストラクチャをセットアップするには、GitLab Self-ManagedインスタンスでGitLab Duoを設定する方法を参照してください。

プライベートインフラストラクチャをセットアップする

オフラインライセンスをお持ちの場合は、完全にプライベートなインフラストラクチャをセットアップできます:

1. 大規模言語モデル（LLM）サービスインフラストラクチャをインストールします。

   • GitLabは、vLLM、AWS Bedrock、およびAzure OpenAIなど、LLMの提供とホスティングのためのさまざまなプラットフォームをサポートしています。各プラットフォームの詳細については、サポートされているLLMプラットフォームのドキュメントを参照してください。

   • GitLabは、特定の機能とハードウェア要件を備えたサポート対象モデルのマトリックスを提供しています。詳細については、サポートされているモデルとハードウェア要件を参照してください。

2. AIゲートウェイをインストールしてGitLab Duo機能にアクセスします。

3. セルフホストモデルを使用する機能についてGitLabインスタンスを設定します。

4. システムのパフォーマンスを追跡および管理するには、ロギングを有効にします。

関連トピック

• トラブルシューティング
• GitLab AIゲートウェイをインストールする
• サポート対象モデル
• サポートされているプラットフォーム
• チュートリアル: AWS Bedrock BYOMデプロイガイド