大規模言語モデルの一つの応用先として、ウェブサービスの監視が考えられます。ウェブサービスの監視とは、例えば口コミサイトでの口コミをチェックし、ユーザーの悪質な口コミを検知したり、ユーザー同士のメッセージのやり取りをチェックし、ガイドラインに反する発言や危険な発言を検知することです。本稿では、従来は人手で行われていた作業を、大規模言語モデルの自動監視システムによって置き換える方法を考察します。
従来の人手による検知方法
従来の検知方法の例は、ユーザー自身に不適切なコンテンツを報告してもらう仕組みの導入です。ウェブサービス上に、投稿やコメントなどの各コンテンツに「報告」ボタンを設置し、ユーザーは、不適切だと感じたコンテンツを簡単に報告できるようにします。報告が送信されると、管理者に通知が届きます。管理者は報告されたコンテンツを確認し、ガイドラインに照らして適切な対応を行います。対応策には、コンテンツの削除や非表示、ユーザーへの警告やアカウント停止などが含まれ、悪質度合いによって対処が異なります。この方法では、ユーザーが積極的にコミュニティの健全性を維持する役割を担います。
また、運営チームによる定期的な監視も一つの方法です。運営チームが定期的に投稿されたコンテンツをチェックし、不適切なものがあれば対応します。この方法では、人間が直接監視を行うため人件費等のコストが発生しますが、一方運営チームのメンバーは、ウェブサービスの方針やガイドラインに精通しており、ニュアンスやコンテキストを理解できるため、より適切な判断が可能です。
ルールに基づく自動検知
しかし、投稿量が膨大になると、ウェブサービスが成長し、投稿量が増加すると、運営チームによる監視が難しくなります。大量のコンテンツを効率的にチェックするためには、追加の人員が必要になることがあり、コストがさらに増加する可能性があります。また、運営チームが定期的に監視を行う場合でも、全てのコンテンツを完全にチェックすることは困難です。そのため、一部の不適切なコンテンツが検出されずに残る可能性があります。
そのため、管理者の定期的な監視はある程度自動化が必要となります。従来の方法では、自動化はルールベースによる判定が主流です。ルールに基づくフィルタリングにはいくつかアプローチがあります。一つは、あらかじめ不適切なキーワードやフレーズのリストを作成し、投稿されたテキストにそれらが含まれているかどうかをチェックする方法です。キーワードが見つかった場合、該当するコンテンツを削除や非表示にするか、管理者に通知するように設定します。他には、より汎用性を持たせるため、不適切なコンテンツを特定するルールやパターンを定義し、それらに基づいてテキストをチェックする方法があります。例えば、特定の単語の組み合わせや、繰り返し投稿されるテキストなどが対象になる場合があります。このルールやパターンの定義は、正規表現などを用いて実現します。
機械学習を用いた自動検知
判定精度をさらに向上させたい場合、機械学習モデルを用いることが考えられます。ガイドラインに違反する書き込みと通常の書き込みのデータセットを用意し、それらを用いてモデルを学習させ、精度を向上させます。また、新たな悪質なコンテンツが検出されるたびにモデルを更新して、効果的に監視できるようにします。
ルールに基づく検知であっても、機械学習を用いた検知であっても、機械による監視だけでは十分でない場合や、誤検出がある場合が、残念ながら一定割合存在してしまいます。その場合に備えて、それらの出力結果に対して、後段で人間がレビューをする体制を構築しておくことが有効です。この方法では、疑わしいコンテンツを運営チームが確認し、最終的な判断を行います。その結果をもとにルールを見直したり、あるいはデータセットを拡充して機械学習モデルの精度をさらに向上させることも期待できます。
機械学習の導入がコストに見合わない可能性
機械学習の仕組みが精度向上に一定度合い寄与することは事実です。しかし、機械学習システムを実運用するためには、開発と運用に専門性の高いエンジニアを用意する必要があり、またシステム内部のロジックが複雑になったり、必要な計算資源が単純なシステムに比べて増加するため、それらのコストがのし掛かるという問題があります。そのため、精度向上によって得られるメリットが十分になければ、機械学習を用いた検知システムを開発運用するのに要するコストに見合わないということが起こり得ます。実際の現場では、そのメリットが見込めず、導入をあきらめるケースがよく見られます。また、それを超えて導入したとしても、結局人手によるチェックが必要であり、コスト削減のために機械化を試みたにも関わらず、かえってコストが増加してしまったというケースも見られます。
大規模言語モデル(LLM)による自動検知とそのコストメリット
自動検知に大規模言語モデルを用いることで、この機械学習部分を置き換えることが可能になると考えられます。例えばGPT-4などの高い汎化性能を備えたLLMは、プロンプトを調整することで悪質な書き込みの判定器としても活用でき、その上非常に高い判定精度を期待することができます。特に、GPT-4などは言語処理の性能が極めて高く、汎用モデルであるにも関わらず、自前で個別に作成した専用の判定モデルよりも見逃しや誤検出の割合が低いということも多々あります。そのため、従来必要だった後段の運用チームによるレビュー部分を大幅に削減することが望めます。また、OpenAIの提供するGPTのAPIを活用し、判定を行うプロンプトを設計し、それらを管理する仕組みさえ用意しておけば、機械学習の専門知識がなくとも、十分に利用可能な自動検知システムを構築することができます。
GPTなどのLLMを利用することは、単に精度を上げることで人間が行なっていたレビュー作業を削減するだけでなく、機械学習の開発運用にかかるコストの問題も解決するため、一石二鳥の効果があると考えられます。以下に、テキストコンテンツ監視全体にかかるコストの比較表を示します。比較はあくまでもイメージですが、LLMのAPIを利用することで人手によるコストと機械学習の開発運用にかかるコストをそれぞれ削減する様子が示されています。
図１：業務全体にかかるコストの比較で見るLLM導入の効果
LLMを用いたテキストコンテンツ監視システム
テキストコンテンツ監視におけるLLMの活用は、監視にかかるコストの削減という意味で非常に有効だと考えられます。一方、NGワードの検出などの簡単な処理に関しては、計算量の少なさや管理のしやすさの観点からルールベースが有効で、また、自動フィルタリングの結果は最終的には人手でレビューされる必要があります。そのため、システム全体としては、ルールベースフィルタリング、LLMによるフィルタリング、人手によるレビューの３層構造が望ましいでしょう。
ルールベースのフィルタリング: NGワードリストや正規表現を用いて、簡単に判別できる不適切なコンテンツや違法行為に対するフィルタリングを実施。これにより、効率的に簡単なケースを処理することが可能
LLMによるフィルタリング: ルールベースで検出できない不適切なコンテンツや危険な発言に対して、LLMを用いた自動フィルタリングを実施します。文章のコンテキストやニュアンスを理解し、より複雑なケースを処理可能
人手によるレビュー: 言語モデルとルールベースのフィルタリングで疑わしいメッセージが検出され、その判断が際どいような場合は人間が確認し、最終的に適切なアクションを実行する
このように、LLMの特性を活かしながらも、簡単な処理に関してはよりシンプルな機構が担い、さらにより高度な、もしくは責任が生じるような判断を求められる場合は、人間がそれを行うというような役割分担がなされ、それらを統合した仕組みを構築することが、LLMを導入していく上で現実的な方法になるでしょう。同様の構造は、テキストコンテンツ監視システムだけにとどまらず、様々な分野で適用可能です。LLMを導入する際には、このような仕組みを検討してみることを推奨します。