GitLab Duo Self-Hosted

GitLab Duo Self-Hostedを使用すると、独自の大規模言語モデル（LLM）をGitLab Duo機能と統合し、データのプライバシーとセキュリティを管理できます。

GitLab Duo Self-Hostedでできること:

• GitLabでサポートされている任意のLLM、または互換性のある独自モデルを選択する。
• ユーザー向けに特定のGitLab Duo機能を選択する。
• 外部APIコールなしで、すべてのリクエスト/レスポンスログをドメインに保持する。
• 独自の環境でGitLabインスタンス、AIゲートウェイ、モデルを分離します。
• 共有AIゲートウェイへの依存をなくします。
• GitLab Duo機能のLLMバックエンドへのリクエストのライフサイクルを管理し、外部依存関係を回避して、リクエストを企業ネットワーク内にとどめる。

クリックスルーデモについては、GitLab Duo Self-Hosted製品ツアーを参照してください。

概要については、GitLab Duo Self-Hosted: AI in your private environmentをご覧ください。

前提条件

• クラウドベースまたはオンプレミスでサポートされているモデルを用意します。
• クラウドベースまたはオンプレミスでサポートされているサービスプラットフォームを用意します。
• ローカルでホストされているAIゲートウェイを用意します。

サポート対象のGitLab Duo機能

次の表に一覧を示します:

• GitLab Duo Self-HostedでサポートされているGitLab Duoの機能。
• GitLab Duo Self-Hostedで機能を使用するために必要なGitLabバージョン。
• 機能のステータス。GitLab Duo Self-Hostedの機能のステータスは、機能の概要に記載されているステータスと異なる場合があります。

構成タイプ

AI機能を実装するには、以下のオプションのいずれかを使用します:

• Self-hosted AI Gateway and LLMs: 独自のAIインフラストラクチャを完全に制御するために、独自のAIゲートウェイとモデルを使用します。
• Hybrid AI Gateway and model configuration: 機能ごとに、セルフホストAIゲートウェイとセルフホストモデル、またはGitLab.com AIゲートウェイとGitLab AIベンダーモデルのいずれかを使用します。
• GitLab.com AI Gateway with default GitLab external vendor LLMs: GitLabが管理するAIインフラストラクチャを使用します。

セルフホストAIゲートウェイとLLM

完全にセルフホストされた構成では、独自のAIゲートウェイをデプロイし、GitLabインフラストラクチャまたはAIベンダーモデルを使用せずに、インフラストラクチャでサポートされているLLMのみを使用します。これにより、データとセキュリティを完全に制御できます。

独自のAIゲートウェイをデプロイする一方で、モデルバックエンドとして、AWS BedrockやAzure OpenAIのようなクラウドベースのLLMサービスを引き続き使用でき、セルフホストAIゲートウェイ経由で接続し続けることができます。

インターネットアクセスを防止または制限する物理的な障壁やセキュリティポリシーがあるオフライン環境で、包括的なLLM制御が必要な場合は、この完全なセルフホスト設定を使用する必要があります。

詳細については、以下を参照してください:

• GitLab Duo Self-Hostedインフラストラクチャをセットアップする
• セルフホストAIゲートウェイ構成図。

ハイブリッドAIゲートウェイとモデル設定

このハイブリッド構成では、ほとんどの機能について独自のAIゲートウェイとセルフホストモデルをデプロイしますが、特定の機能でGitLab AIベンダーモデルを使用するように構成します。機能がGitLab AIベンダーモデルを使用するように構成されている場合、その機能のリクエストは、セルフホストAIゲートウェイではなく、GitLabでホストされているAIゲートウェイに送信されます。

このオプションは、以下を可能にすることで柔軟性を提供します:

• 完全な制御が必要な機能には独自のセルフホスティング型モデルを使用する。
• GitLabがキュレーションしたモデルを優先する特定の機能には、GitLab管理のベンダーモデルを使用する。

詳細については、以下を参照してください:

• GitLab AIベンダーモデルを設定する

GitLab管理モデル

GitLab管理モデルを使用すると、インフラストラクチャをセルフホストすることなくAIモデルに接続できます。これらのモデルは、GitLabによって完全に管理されます。

AIネイティブ機能で使用するデフォルトのGitLabモデルを選択できます。デフォルトモデルの場合、GitLabは可用性、品質、信頼性に基づいて最適なモデルを使用します。機能に使用されるモデルは、予告なく変更される場合があります。

特定のGitLab管理モデルを選択すると、その機能のすべてのリクエストはそのモデルのみを使用します。モデルが利用できなくなった場合、AIゲートウェイへのリクエストは失敗し、別のモデルが選択されるまで、ユーザーはその機能を使用できません。

GitLab.com AIゲートウェイとデフォルトのGitLab外部ベンダーLLM

GitLab Duo Self-Hostedのユースケースの基準を満たしていない場合は、デフォルトのGitLab外部ベンダーLLMでGitLab.com AIゲートウェイを使用できます。

GitLab.com AIゲートウェイは、デフォルトのエンタープライズ製品であり、セルフホストされていません。この構成では、インスタンスをGitLabでホストされているAIゲートウェイに接続します。このゲートウェイは、次の外部ベンダーLLMプロバイダーと統合されています:

• Anthropic
• Fireworks AI
• Google Vertex

これらのLLMはGitLab Cloud Connectorを介して通信し、オンプレミスインフラストラクチャを必要とせずに、すぐに使用できるAIソリューションを提供します。

詳細については、GitLab.com AIゲートウェイ構成図を参照してください。

このインフラストラクチャをセットアップするには、Self-ManagedインスタンスでGitLab Duoを設定する方法を参照してください。

GitLab Duo Self-Hostedインフラストラクチャをセットアップする

完全に隔離されたGitLab Duo Self-Hostedインフラストラクチャをセットアップするには:

1. 大規模言語モデル（LLM）サービスインフラストラクチャをインストールします。

   • GitLabは、vLLM、AWS Bedrock、およびAzure OpenAIなど、LLMの提供とホスティングのためのさまざまなプラットフォームをサポートしています。各プラットフォームの詳細については、サポートされているLLMプラットフォームのドキュメントを参照してください。

   • GitLabは、特定の機能とハードウェア要件を備えたサポート対象モデルのマトリックスを提供しています。詳細については、サポートされているモデルとハードウェア要件を参照してください。

2. AIゲートウェイをインストールして、AIネイティブなGitLab Duoの機能にアクセスします。

3. 機能がセルフホストモデルにアクセスできるように、GitLabインスタンスを設定します。

4. システムのパフォーマンスを追跡および管理するには、ロギングを有効にします。

関連トピック

• トラブルシューティング
• GitLab AIゲートウェイをインストール
• サポート対象モデル
• GitLab Duo Self-Hostedのサポート対象プラットフォーム