ネットやソーシャルメディア上の投稿をモニタリングする監視業務は、英語では一般的に「コンテンツモデレーション（content moderation）」と表現される。コンテンツモデレーター（モデレーションに従事している人）は、全世界で10万人を超えています。ところが、コンテンツモデレーションに関する記事のタイトルを眺めても、悲観的展望しか見えてきません。IT大手は数千人ものコンテンツモデレーターを雇用していますが、大半が人材派遣会社を通して雇ったスタッフであり、この仕事は難しい上にストレスフルになりがちなので、離職率が高くなっている。一方で、この業界に台頭してきたAIが、人間に取って代わろうとしている。

フェイスブックの例を見てみましょう。フェイスブックには7,500人のコンテンツモデレーターがいて、フェイスブック上全てのコンテンツに同社の規則を適用しています。『ガーディアン』紙が次のように報じている通り、これは極めて難しい仕事です。

「『この仕事は』ネット上の、度を超した非常に露骨なコンテンツを見て、ある記号がテロ組織に関連しているかどうか、ある裸体画が風刺なのか、教育的なのか、それとも単に猥褻なだけなのかを素早く判断しなければならない」

同記事は、フェイスブックがAIに依存していることに対する米国自由人権協会のディレクターの懸念も報じています。彼女は、「人工知能は『お粗末なコンテンツモデレーションという』問題を解決しないだろう… むしろ悪化させる可能性が高い」と述べている。

しかし、この主張は正しいとは言い切れません。コンテンツモデレーションは台頭し始めたばかりであり、コンテンツモデレーターとAI機能は今後、より良好な関係を構築していくことが予想されます。

コンテンツモデレーションは、根本的にはデータのラベル付けです。許容ガイドラインに沿わないデータをラベル付け、すなわち「フラグ」を付けます。記事、音声、画像、動画、など、あらゆるデータが対象です。

コンテンツモデレーターは、コンテンツを企業のガイドラインに従って絶え間なく調べ、監視し、承認します。ユーザーが投稿するすべての情報とデータが、知的財産権を侵害したり、不適切なコンテンツを含んだりしないようにするのです。Webサイトへの投稿やフィードバックに対応することもあります。コンテンツモデレーターが、好ましくないコンテンツからユーザーを「保護する」ことは、ユーザーエンゲージメントを高めることにつながります。また、インターネットにおける企業の評判を「保護する」一助にもなっています。

モデレーションには以下の五つのタイプがあります。

• プレ・モデレーション: Webサイトで公開される前にコンテンツを確認
• ポスト・モデレーション: Webサイトに公開されてからコンテンツを確認
• 反応モデレーション: 現れたコンテンツにWebサイトのメンバーがフラグ付けを行う
• 分散モデレーション: メンバーがWebサイトのコンテンツを評価
• 自動モデレーション: テクノロジーを使用してWebサイトへの提出を拒否または許可

以上の中で、AIがコンテンツモデレーションで人間に取って代わるのは、自動モデレーションのみです。