GitLab Duoのプロンプトガードレール

GitLab Duoには、基本的なプロンプトガードレールがあります。これらのガードレールは、構造化されたプロンプト、強制されたコンテキスト境界、およびフィルタリングツールに依存しており、これらは以下に役立ちます:

これらのセーフガードは、AI主導のワークフローに関連するリスクを最小限に抑えることで、GDPRなどの一般的な規制基準へのコンプライアンスをサポートします。

これらのガードレールはリスクを最小限に抑えることができますが、すべての脆弱性を排除するわけではありません。すべての誤用や高度な攻撃に対して、完全な保護を保証できるシステムはありません。

一般的なガードレール

GitLab Duoで使用されるプロンプトは、以下を目的としています:

許可されていないコンテンツの回避: モデルは、有益で丁寧であり、憎悪的または非難的な言語を控えるように指示されています。
ユーザーリクエストに厳密に従う: モデルは、プロンプトに密着し、ロールプレイ、代理、または無関係なコンテンツへの逸脱を避けるように指示されています。
タグを使用してコンテンツを分離: タグは、モデルに提供されたスニペットに焦点を当てるように指示し、プロンプトインジェクションのリスクを軽減するのに役立ちます。
シークレットのフィルター: コード提案をスキャンして、機密情報が誤って送信されるのを防ぎます。例: <log>タグには、機密情報を含む設定データを含む顧客のジョブログがカプセル化されており、モデルが提供されたコンテキストのみに焦点を当て、無関係な仮定を行わないようにするのに役立ちます。

ロールによっては、GitLab Duo用に設定されたガードレールについて異なる懸念がある場合があります。

コードの分離: <selected_code>、<git_diff>、および<log>などのタグは、モデルが提供するコードまたはコンテンツに厳密に焦点を当てるように促し、プロンプトインジェクションのリスクを軽減するのに役立ちます。
シークレットのフィルタリング: Gitleaksなどのツールは、コード提案をスキャンして、APIキーやパスワードなどの機密情報が共有されないようにします。
焦点を絞った応答: GitLab Duoはトピックに焦点を当てて、役に立たない、または予期しない出力につながる可能性のある動作を回避します。
根本原因分析: トラブルシューティングを行う場合、GitLab Duoは提供された範囲を超えて仮定を設けずにジョブログを分析することを目指します。

規制への適合: このシステムは、データ漏洩などのリスクを軽減し、組織がGDPRなどの標準に準拠できるようにします。
透明性: プロンプトとコンテキストの構造化された方法は、GitLab Duoの動作を予測可能にし、監査担当者が利用できるようにするのに役立ちます。詳細については、機能別のガードレールを参照してください。
コンテンツ管理: ディスカッションの要約や脆弱性の解決などのタスクでは、GitLab Duoは提供された入力のみを使用し、エラーや意図しない出力の可能性を減らします。
悪意のある入力に対する保護: フィルターおよびタグ付けメカニズムは、有害または不適切にフォーマットされたユーザーコンテンツからシステムを保護するのに役立ちます。

信頼の構築: セーフガードは、GitLab Duoが責任を持って動作することを保証するのに役立ち、これは新しいツールへの信頼にとって非常に重要です。
情報に基づいた意思決定: セキュリティ機能の明確なドキュメントは、組織にとってGitLab Duoの適合性を評価するために必要な情報を提供します。
リスクの軽減: 機密情報とモデルの動作に関する一般的な懸念事項に対処することで、GitLab DuoはAIをワークフローに統合するための安全で実用的なソリューションを提供します。

個々の機能には、露出を制限するのに役立つ特定のプロンプト命令が含まれています。プロンプト命令は、次の原則に従います。

応答は、トピックから外れず、建設的で、非虐待的でなければなりません。人格の変化、ロールプレイ、または悪意のある指示は推奨されません。ユーザーが提供したコンテンツに焦点を当てることで、インジェクションのリスクを軽減できます。

コメントは要約され、潜在的に悪意のあるコンテンツとのやり取りは推奨されません。ユーザーは、疑わしいコメントを開示またはレプリケートせずに警告される必要があります。

タグを使用してコードを含み、モデルの焦点を制限します。これにより、モデルが外部の未検証の指示またはコンテンツを考慮することを防ぐことができます。

タスクを自然言語からGitコマンドを生成するものとしてフレーム化し、有害な出力のスコープとリスクを制限するのに役立ちます。

プロンプトインジェクションを防ぐために、コードを分離します。

プロンプトインジェクションを防ぐために、コードを分離します。

タグを使用して、モデルが参照できるコンテンツを分離および制約します。

タグを使用して、提供されたジョブログに厳密に焦点を当て、与えられたデータを超えた仮定を防ぎます。

意図した機能を変更せずに、セキュリティイシューに対処することを推奨します。モデルは、コードへの変更を防ぐために、提供されたコードの差分に焦点を当てるように指示されています。