GitLab Duo Self-Hosted

GitLab Duo Self-Hostedを使用して、独自の大規模言語モデル（LLM）をGitLab Duoの機能と統合し、データのプライバシーとセキュリティを管理します。

GitLab Duo Self-Hostedを使用すると、次のことができます:

• GitLabでサポートされているLLM、または独自の互換性のあるモデルを選択します。
• ユーザーに特定のGitLab Duo機能を選択します。
• 外部APIコールなしで、すべてのリクエスト/レスポンスログをドメインに保持します。
• GitLabインスタンス、AIゲートウェイ、およびモデルを独自の環境に隔離します。
• 共有GitLab AIゲートウェイへの依存をなくします。
• GitLab Duo機能のLLMバックエンドへのリクエストのライフサイクルを管理し、外部の依存関係を回避して、リクエストがエンタープライズネットワーク内にとどまるようにします。

クリック操作のデモについては、GitLab Duo Self-Hosted product tourを参照してください。

概要については、GitLab Duo Self-Hosted: プライベート環境でのAIを参照してください。

前提要件

GitLab Duo Self-Hostedを使用するには、以下が必要です:

• クラウドベースまたはオンプレミスでサポートされているモデル
• クラウドベースまたはオンプレミスでサポートされているサービスプラットフォーム
• ローカルでホストされているAIゲートウェイ

サポートされているGitLab Duo機能

次の表に記載されています:

• GitLab Duoの機能と、それらの機能がGitLab Duo Self-Hostedで使用できるかどうか。
• GitLab Duo Self-Hostedでこれらの機能を使用するために必要なバージョンのGitLab。
• これらの機能のステータス。GitLab Duo Self-Hostedでの機能のステータスは、that same feature’s status when it is hosted on GitLabとは異なる場合があります。

コード提案

チャット

質問の例については、Ask about GitLabを参照してください。

マージリクエストにおけるGitLab Duo

イシューにおけるGitLab Duo

その他の機能

設定の種類

次のいずれかのオプションを使用して、AIネイティブな機能を実装します:

• Self-hosted AI gateway and LLMs: 独自のAIインフラストラクチャを完全に制御するために、独自のAIゲートウェイとモデルを使用します。
• Hybrid AI gateway and model configuration: 機能ごとに、セルフホストモデルを使用した独自のセルフホストモデルのAIゲートウェイ、またはGitLab.com AIゲートウェイとGitLab AI AIベンダーモデルを使用します。
• GitLab.com AI gateway with default GitLab external vendor LLMs: GitLabが管理するAIインフラストラクチャを使用します。

セルフホストモデルのAIゲートウェイとLLM

完全にセルフホストモデルの設定では、独自のAIゲートウェイをデプロイし、GitLabインフラストラクチャまたはAI AIベンダーモデルを使用せずに、インフラストラクチャでsupported LLMsのみを使用します。これにより、データとセキュリティを完全に制御できます。

独自のAIゲートウェイをデプロイしている間も、AWS BedrockやAzure OpenAIのようなクラウドベースのLLMサービスをモデルバックエンドとして使用でき、セルフホストモデルのAIゲートウェイを介して接続し続けることができます。

インターネットアクセスを防止または制限する物理的な障壁またはセキュリティポリシーがあり、包括的なLLM制御があるオフライン環境がある場合は、この完全にセルフホストモデルの設定を使用する必要があります。

ライセンスの場合、GitLab PremiumまたはUltimateプランのサブスクリプション、およびGitLab Duo Enterpriseが必要です。完全に隔離されたオフライン環境を持つお客様には、オフラインエンタープライズライセンスをご利用いただけます。購入したサブスクリプションにアクセスするには、GitLabカスタマーポータルからライセンスをリクエストしてください。

詳細については、以下を参照してください:

• GitLab Duo Self-Hostedインフラストラクチャをセットアップする
• セルフホストモデルのAIゲートウェイ設定図。

ハイブリッドAIゲートウェイとモデル設定

このハイブリッド設定では、ほとんどの機能で独自のAIゲートウェイとセルフホストモデルをデプロイしますが、特定の機能を使用するように設定して、GitLab AI AIベンダーモデルを使用します。機能がGitLab AI AIベンダーモデルを使用するように設定されている場合、その機能へのリクエストは、セルフホストモデルのAIゲートウェイではなく、GitLabでホストされているAIゲートウェイに送信されます。

このオプションは、次のことを可能にすることで柔軟性を提供します:

• 完全に制御したい機能には、独自のセルフホストモデルを使用します。
• GitLabがキュレーションしたモデルを優先する場合は、特定の機能にGitLabが管理するベンダーモデルを使用します。

ライセンスの場合、GitLab PremiumまたはUltimateプランのサブスクリプション、およびGitLab Duo Enterpriseが必要です。この設定を使用するためのオフラインライセンスはサポートされていません。購入したサブスクリプションにアクセスするには、GitLabカスタマーポータルからライセンスをリクエストしてください。

詳細については、以下を参照してください:

• GitLab AI AIベンダーモデルを設定する

GitLabが管理するモデル

GitLabが管理するモデルを使用して、インフラストラクチャをセルフホストモデルにする必要なく、AIモデルに接続します。これらのモデルは、GitLabによって完全に管理されます。

AIネイティブな機能で使用するデフォルトのGitLabモデルを選択できます。デフォルトのモデルの場合、GitLabは可用性、品質、信頼性に基づいて最適なモデルを使用します。機能に使用されるモデルは、予告なしに変更される場合があります。

特定のGitLab管理モデルを選択すると、その機能へのすべてのリクエストでそのモデルが排他的に使用されます。モデルが利用できなくなった場合、AIゲートウェイへのリクエストは失敗し、別のモデルが選択されるまで、ユーザーはその機能を使用できません。

デフォルトのGitLab外部ベンダーLLMを備えたGitLab.com AIゲートウェイ

GitLab Duo Self-Hostedのユースケース基準を満たしていない場合は、デフォルトのGitLab外部ベンダーLLMでGitLab.com AIゲートウェイを使用できます。

GitLab.com AIゲートウェイはデフォルトのエンタープライズ製品であり、セルフホストモデルではありません。この設定では、インスタンスをGitLabがホストするAIゲートウェイに接続します。これは、次のものを含む外部ベンダーLLMプロバイダーと統合されます:

• Anthropic
• Fireworks AI
• Google Vertex

これらのLLMはGitLab Cloud Connectorを介して通信し、オンプレミスインフラストラクチャを必要とせずに、すぐに使用できるAIソリューションを提供します。

詳細については、GitLab.com AIゲートウェイ設定図を参照してください。

このインフラストラクチャをセットアップするには、Self-ManagedインスタンスでGitLab Duoを設定する方法を参照してください。

GitLab Duo Self-Hostedインフラストラクチャをセットアップする

完全に隔離されたGitLab Duo Self-Hostedインフラストラクチャをセットアップするには:

1. 大規模言語モデル（LLM）サービスインフラストラクチャをインストールします。

   • GitLabは、vLLM、AWS Bedrock、およびAzure OpenAIなど、LLMのサービスとホスティングのためのさまざまなプラットフォームをサポートしています。各プラットフォームの詳細については、supported LLM platforms documentationを参照してください。

   • GitLabは、特定の機能とハードウェア要件を備えた、サポートされているモデルのマトリックスを提供します。詳細については、supported models and hardware requirements documentationを参照してください。

2. AIネイティブなGitLab Duo機能にアクセスするには、AIゲートウェイをインストールします。

3. 機能がセルフホストモデルにアクセスできるように、GitLabインスタンスを設定する。

4. システムのパフォーマンスを追跡および管理するには、ロギングを有効にする。

関連トピック

• トラブルシューティング
• GitLab AIゲートウェイをインストールする
• Supported models
• GitLab Duo Self-Hosted supported platforms