セマンティック検索の管理

セマンティック検索を使用すると、AIネイティブなGitLab Duo機能は、リポジトリ内の関連するコードスニペットを見つけることができます。

前提条件

• GitLab AIゲートウェイまたはGitLab Duo Self-Hostedへのアクセス。
• ベータ版および実験的機能がインスタンスで有効になっている。
• ベクターストアが設定されている:
  • Elasticsearch 8.0以降。
  • OpenSearch 2.0以降。
  • pgvector拡張機能付きのPostgreSQL。
• GitLab Duo Self-Hostedの場合、埋め込みモデルが設定されている。

ベクターストレージ

大規模なリポジトリにはElasticsearchまたはOpenSearchを使用してください。pgvector付きのPostgreSQLは、少数の小さなリポジトリがあるセットアップのみに使用してください。インデックス作成およびクエリのパフォーマンスは、pgvectorで制限される可能性があります。

詳細検索のクラスターに接続する

Your GitLabインスタンスがElasticsearchまたはOpenSearchを詳細検索に使用している場合、同じクラスターに接続することでセマンティック検索を有効にできます:

1. 右上隅で、管理者を選択します。
2. 左サイドバーで、設定 > 検索を選択します。
3. セマンティック検索を展開します。
4. ベクターストレージで、設定するを選択します。
5. ベクターストレージページで、Advanced search clusterの下にある接続を選択します。

カスタムベクターストアを設定する

カスタムベクターストア接続を設定するには:

1. 右上隅で、管理者を選択します。
2. 左サイドバーで、設定 > 検索を選択します。
3. セマンティック検索を展開します。
4. ベクターストレージで、設定するを選択します。
5. Search adapterドロップダウンリストから、Elasticsearch、OpenSearch、またはPostgreSQLを選択します。
6. アダプターのフィールドを完了します。
7. 変更を保存を選択します。

Elasticsearch

OpenSearch

AWS OpenSearch Serviceを使用するには、IAM認証情報でAWS OpenSearchを使用しますを選択し、フィールドに入力します:

PostgreSQL with pgvector

前提条件:

• PostgreSQLデータベースでpgvector拡張機能を有効にします:

  CREATE EXTENSION vector;

埋め込みモデルを設定する

埋め込みモデルを設定するには:

1. 右上隅で、管理者を選択します。
2. 左サイドバーで、設定 > 検索を選択します。
3. セマンティック検索を展開します。
4. Code embeddingsについては、モデルを設定を選択します。すでに埋め込みモデルを設定している場合は、代わりにモデルの変更が表示されます。
5. Semantic search code embeddingsページで、埋め込みモデル、埋め込みディメンション、およびチャンキング戦略を選択します。
6. 埋め込みを設定するを選択します。すでに埋め込みモデルを設定している場合は、代わりに埋め込みを更新し、バックフィル処理を開始しますが表示されます。

埋め込みモデル

GitLab管理モデル

前提条件:

• GitLab AIゲートウェイとGitLab Duo Self-Hostedの両方へのアクセス。

GitLab管理モデルは、GitLab AIゲートウェイで提供されます。Gemini Enterprise Agent Platformによって提供されるtext-embedding-005モデルを選択します。

GitLab Duo Self-HostedセットアップでのGitLab管理モデルの詳細については、ハイブリッドAIゲートウェイおよびモデルの設定を参照してください。

セルフホストモデル

前提条件:

• GitLab Duo Self-Hostedへのアクセス。
• 自己ホスト型のベータモデルと機能が有効になっています。

セルフホストモデルは、独自のインフラストラクチャでホストされる AIモデルです。

セルフホストモデルを選択するには:

1. GitLab Duo Self-Hostedをセットアップします。
2. モデルファミリーにEMBEDDINGを指定して、セルフホストモデルを追加します。

チャンク戦略

チャンク戦略は、コードファイルを埋め込み用のより小さなスニペットに分割するために使用されるアルゴリズムです。次のいずれかの戦略を選択します:

• コードバイト: コードの構造やセマンティクスを考慮せずに、コードを固定サイズのバイトチャンクに分割します。チャンクサイズは、チャンクあたりの最大バイト数を指します。次の場合にこの戦略を使用します:
  • より高速なインデックス作成と、より予測可能なチャンクサイズ。
  • 多様なファイルタイプと言語を持つリポジトリ。
• コードpre-BERT: BERTベースの埋め込みモデル用に最適化されたセマンティック境界を使用してコードを分割します。チャンクサイズは、チャンクあたりの最大トークン数を指します。次の場合にこの戦略を使用します:
  • 検索品質の向上と、コード構造を尊重したより意味のあるチャンク。
  • 整然としたコードを持つリポジトリ。

セマンティック検索ステータスの確認

セマンティック検索のステータス（インデックス作成ステータス、ベクターストア接続の詳細、リポジトリ統計、埋め込みキューサイズなど）を確認するには、このRakeタスクを実行します:

sudo gitlab-rake gitlab:semantic_search:code:info

ステータスを継続的に監視するには、監視間隔を秒単位で指定します:

sudo gitlab-rake "gitlab:semantic_search:code:info[5]"

このタスクは、指定された間隔で出力を更新します。タスクを停止するには、Control+Cを押します。

デッドキューの管理

前提条件:

• admin_mode、ai_features、apiのスコープを持つパーソナルアクセストークン。

埋め込み生成が繰り返し失敗すると、手動介入のためにアイテムがデッドキューに移動されます。デッドキューのサイズは、ステータスRakeタスク出力のEmbedding Queuesセクションで確認できます。

デッドキューのクリア

デッドキューからすべてのアイテムを削除するには、このコマンドを実行します:

curl --request DELETE \
  --header "PRIVATE-TOKEN: <your_token>" \
  "https://gitlab.example.com/api/v4/admin/active_context/dead_queue"

デッドキューの再実行

デッドキューアイテムを別の試行のために処理キューに戻すには、queueパラメータを使用してターゲットを指定します。有効な値はretry_queue、code、code_backfillです。

デッドキューに再度失敗する前に、もう一度処理を試行するには、retry_queueを使用します:

curl --request POST \
  --header "PRIVATE-TOKEN: <your_token>" \
  --data "queue=retry_queue" \
  "https://gitlab.example.com/api/v4/admin/active_context/dead_queue/replay"

メインのコードキューにアイテムを追加するには、codeを使用します:

curl --request POST \
  --header "PRIVATE-TOKEN: <your_token>" \
  --data "queue=code" \
  "https://gitlab.example.com/api/v4/admin/active_context/dead_queue/replay"