アセンテック、企業の生成AI活用におけるガバナンス強化を支援する「NetScaler AI Gateway」を提供開始

　アセンテック株式会社（本社：東京都千代田区、代表取締役社長：松浦 崇）は、企業における生成AI/大規模言語モデル（LLM）の業務活用が進む中、AI利用時のコスト管理、可視化、ガバナンス強化を支援するソリューションとして、Citrixのアプリケーション配信・セキュリティ基盤であるNetScalerの「NetScaler AI Gateway」を提供開始します。

　生成AIや大規模言語モデル、LLMの業務利用が広がる一方で、企業ではAI利用に伴う新たな課題が顕在化しています。特に、トークン消費量に応じた利用コストの増加、AIサービス利用状況の把握、利用ルールの統制、プロンプトやレスポンスに含まれる情報の取り扱いなど、企業が生成AIを本格的に活用するためには、AIトラフィックを適切に管理する仕組みが求められています。

　NetScaler AI Gatewayは、AIアプリケーションとLLMサービスの間に配置されるAI Gateway（制御レイヤー）です。AIリクエストのルーティング、トークンベースの利用制御、可観測性の提供、プロンプト管理、およびAIセキュリティソリューションとの連携を通じて、生成AI活用におけるガバナンス、コスト管理、運用性の向上を支援します。

AIアプリケーションからのリクエストを、適切なLLMバックエンドへ振り分けます。NetScaler AI Gatewayでは、AI Gatewayプロファイルを利用したLLM向けのトラフィック管理が整理されています。
リクエスト内容や条件に応じて、利用するAIモデルを切り替えやすくします。これにより、用途や要件に応じたモデル選択を行いやすくします。
トークン消費量に基づいて利用を管理し、AI利用コストの把握と過剰利用の抑制を支援します。トークンレベルで消費を測定し、利用を管理する機能として整理されています。
プライマリLLMの利用上限到達時などに、バックアップLLMへリクエストを振り分ける構成を支援します。これにより、AIアプリケーションの可用性向上に貢献します。
トークン消費量、トークンレイテンシ、レート制限状況などを可視化し、AI利用状況の把握を支援します。NetScaler AI Gatewayでは、LB vServerやCS vServerなどエンティティレベルで、入力・出力トークン消費量、トークン消費率、トークンレイテンシ、レート制限などのメトリクスを把握できる内容が整理されています。
利用者やアプリケーションごとのトークン消費量の可視化を支援します。
管理者がポリシーに基づいてプロンプトの検査や書き換えを行うことで、企業のガバナンス要件に沿ったAI利用を支援します。
AIセキュリティソリューションとの連携により、機密情報の検出・マスキングやLLM特有の脅威への対策を支援します。

NetScalerが持つアプリケーション配信、セキュリティ、可観測性、ガバナンスの考え方を、AI/LLMトラフィックの管理にも活用できます。
トークン消費量を可視化し、利用制御を行うことで、AI利用コストの把握と抑制を支援します。
モデルルーティング、負荷分散、スピルオーバーにより、AIアプリケーションの応答性や可用性の向上に貢献します。
トークン消費量、トークンレイテンシ、レート制限状況などを把握することで、AI利用状況の分析や運用改善に活用できます。
プロンプト管理や使用状況トラッキングにより、企業のルールに沿ったAI利用の管理を支援します。
AIセキュリティソリューションとの連携により、個人情報や機密情報の取り扱いに関するリスク低減を支援します。

アセンテックは、これまで培ってきた仮想化、DaaS、セキュリティ、クラウドインフラ領域の知見を活かし、企業のAI活用における安全性、運用性、コスト管理を支援してまいります。

アセンテック株式会社
https://www.ascentech.co.jp/
TEL：03-5296-9331　E-mail：eigyo@ascentech.co.jp
お問い合わせフォーム