センシティブな内容のコンテンツには様々な形態があり、モデレーションサービスが対処すべきコンテンツも多種多様です。モデレーターやアルゴリズムは通常、次のうち少なくとも1つのコンテンツタイプに対処します。

サイトにおいてモデレーションを必要とするテキストの種類は驚くほど多様です。コメントやフォーラムスレッドから自社サイトでホストしている記事全文に至るまで、ほぼあらゆる種類のテキストがモデレーションを必要とする可能性があります。そのため、モデレーターやモデレーションアルゴリズムは様々な長さやスタイルのテキストを調べて、不適切なコンテンツを検出することに長けていなければなりません。

さらに、言語には複雑な機能があるため、テキスト・モデレーションが極めて困難な作業になることがあります。例えば、ネットいじめやヘイトスピーチを検出するためには、明らかなキーワードを探すだけでなく、フレーズや文章、あるいは段落全体がコミュニティの行動規範に違反していないかどうかを調べる必要があります。センシティブなコンテンツであることを明確に示すものがテキストに含まれていなくても、サイトにとって非常に有害な行動が含まれている場合もあります。

不適切な画像を検出するのは簡単な作業のように思われるかもしれませんが、モデレーションを行う際に考慮すべき課題はたくさんあります。まず、ユーザーの投稿からヌード画像や露骨な画像を検出する際、コンテキストに基づいて判断しなければならない場合があります。また、わいせつな画像の概念も米国とサウジアラビアでは非常に異なります。企業が取り扱う製品によってもどこで線引きするかが異なり、例えば、ランジェリーブランドの場合、製品の販売や説明にはある程度のヌード画像が必要です。そのため、画像モデレーションサービスの提供者はサイトを監視する際、ターゲットオーディエンスや市場、さらにはサイトを運営している企業について考慮する必要があります。

露骨な動画あるいは暴力的な動画コンテンツはしばしば、モデレーションをめぐる論争の根本的な原因となっています。これは、動画がモデレーションを行う上で最も困難なタイプのコンテンツの一つであるためかもしれません。画像やテキストは迅速に評価できるのに対して、動画の場合、最後まで見る必要があるので非常に時間がかかります。そして、露骨な画像がわずかに含まれているだけでも、その動画をホストしたサイトに対する視聴者の認識が大きく変わる可能性があります。プラットフォームで動画の投稿を許可している場合、コミュニティガイドラインに対するこのような隠れた違反を検出することは、モデレーションの重要な役割です。

さらに、動画のモデレーターは、いくつかのタスクを同時に実行しなければなりません。動画コンテンツ自体だけでなく、添付されている音声や字幕に露骨な表現やヘイトスピーチが含まれていないことを確認する必要があります。動画コンテンツそのものとは別に、音声や字幕が動画に正確に一致していなかったり、必要な品質基準を満たしていないかもしれません。上記のような市場やオーディエンス、品質に関する多くの懸念に加え、このようなことが動画のモデレーションを非常に困難な作業にしています。

自社にとって最も有効なモデレーション手法は、ウェブサイトが何を目指しているのかによって決まります。オーディエンスが迅速かつ簡単にコミュニケーションを取れることを重視するのか、それともセンシティブなコンテンツが完全に存在しない状態を常に維持することに重点を置くのかを考えることが大切です。これら二つの目標の間のバランスをどのように取るかによって、利用すべきモデレーションのタイプは様々です。最もよく利用されているモデレーションのタイプには以下のようなものがあります。

その名前の通り、サイトで公開する前にユーザーの投稿全てをモデレートします。プレ・モデレーションでは、全てのコメントや画像、動画をチェックするので、センシティブなコンテンツを完全にサイトから排除しておくことができます。しかし、障壁を取り除いたコミュニケーションや迅速性を重視するオンラインコミュニティでは、この手法が大きな問題となる可能性もあります。子供が頻繁に訪れるサイトなど、高レベルの保護が必要なサイトに最も適していると言えるでしょう。

ユーザーエンゲージメントが重要であるが、包括的なモデレーションプログラムも必要な場合、ポスト・モデレーションを選択するとよいでしょう。ユーザーの投稿はすぐに公開されますが、公開された後でモデレーションが行われます。これによって、投稿を迅速に公開できるだけでなく、モデレーターが行動を監視できます。しかし、全てのコメントがモデレーターによって承認されなければならないので、スケーラビリティに問題があります。また、全てのコンテンツに承認が必要とされているため、不適切なコンテンツを見落とした場合、サイトが責任を負う可能性があります。

コミュニティメンバーに依存するスケーラブルなプログラムの場合、リアクティブ・モデレーションの適用が考えられます。このタイプのモデレーションでは、不快なコンテンツやコミュニティガイドラインに違反するコンテンツに対してユーザーがフラグ付けを行います。ユーザーをプロセスに関与させることで、モデレーターは最も注意が必要なコンテンツに集中できます。しかし、不適切なコンテンツがサイトに長期間残ってしまって、サイトの評判が損なわれることもあります。

リアクティブ・モデレーションと同様、ユーザーを活用したモデレーションですが、このタイプではオンラインコミュニティから何人かモデレーターを指名します。ユニラテラル・モデレーションとも呼ばれるこのシステムは、サイトを使用する際、特定のユーザーに他者の投稿の編集や削除を行う特別の権限を与えます。スーパーバイザーの選択が注意深く行われれば、センシティブなコンテンツを迅速に削除でき、コミュニティの成長に従って拡張するのも容易です。しかし、モデレーターが不適切なテキストや画像、動画を見逃した場合、上記のモデレーションタイプと同様、サイトの評判に悪影響を及ぼす傾向があります。

CCMは主にソーシャルメディアプラットフォームのコンテンツの監視に利用されます。専門家に委託されることが多く、プラットフォームのコンテンツがコミュニティガイドラインや利用規約、さらには特定のサイトや市場に適用される法的枠組みに準拠していることを確認します。作業が専門家によって行われるため、モデレーターの労働条件は過酷で物議を醸す場合があるにも関わらず、通常、モデレーションの水準の高さは保証されています。

最も手のかからないモデレーションシステムの一つであり、コミュニティを信頼して監視作業の多くを任せます。通常行われている方法では、ユーザーが他者の投稿に対して評価したり投票したりできるようにしておき、定められたガイドラインに違反しているコンテンツに対してフラグ付けをさせます。経験豊富なモデレーターの指導の下で行われることが多く、大規模で活発なコミュニティがサイトに存在する場合、よく機能する可能性があります。それにも関わらず、分散型モデレーションは依然として、あまり活用されていません。コミュニティにほぼ完全に自己管理させるのは、自社のブランドや評判に悪影響を及ぼすリスクを伴うので、多くの企業は積極的にこのタイプのモデレーションを採用したがらないのです。

最後に、自動モデレーションはますます人気が高まっているモデレーション手法です。その名前の通り、様々なツールを利用してユーザー投稿のフィルタリング、フラッグ付け、拒否を行います。これらのツールには、禁止単語を検索したり特定のIPアドレスをブロックしたりする単純なフィルターから、不適切な画像・動画コンテンツを検出する機械学習アルゴリズムに至るまで様々です。現時点では、これらのツールの多くは人間による何らかのモデレーションに追加する形で利用されています。しかし、会話分析機能が向上するにつれ、近い将来、人間を必要としない独立した選択肢になる可能性もあります。

人間のコンテンツモデレーターが置かれている過酷な労働条件は国際的なメディアでよく取り上げられています。常にインターネットの最も過激なコンテンツの数々に晒されるというストレスフルな仕事の性質上、離職率も非常に高くなっています。コンテンツ・モデレーションがモデレーターの精神的および肉体的健康に与える影響の大きさが明らかになるにしたがって、機械学習にこの作業の一部を肩代わりさせることは、ますます望ましい選択肢のように思えます。

機械学習アルゴリズムは既に、人間の作業者が過激なコンテンツに晒される負担を取り除くため、様々な方法で実装されています。これらのアルゴリズムは、これまで人間が行ってきた作業を基盤として構築され、タグ付けされたコンテンツの大規模なデータセットを利用してトレーニングを行います。アルゴリズムは、このような膨大な関連データから安全なコンテンツとセンシティブなコンテンツを判別するためのルールを導き出します。アルゴリズムがこれらの複雑なルールを理解するにつれ、過激なコンテンツに対するフラグ付けの精度が増していきます。

これらモデルの開発における次のステップは、ネットいじめなど、上記の不適切なコンテンツの中でもより複雑なケースのいくつかを取り扱える機能を構築することです。将来のコンテンツ・モデレーションツールは、あるコンテンツをレビューすべきかどうかや、いつレビューすべきかを決定する前に、コンテンツの相対的「リスク」スコアを計算できるようになるでしょう。

コンテンツ・モデレーションは非常に複雑な作業なので、自動モデレーションは今のところ、遠い将来の夢にとどまるでしょう。しかし、業界が労働者の保護を図ろうとするにつれて、人間参加型のモデレーションがますます一般的になるでしょう。人間と機械の両方の強みを利用して構築したシステムでは、難しい主観的なコンテンツは人間の監督者に照会しながら、アルゴリズムが不適切なコンテンツの大部分を処理することが可能です。このようにAIの活用を継続的に拡大していくことで、インターネットのユーザーだけでなくモデレーターをも世界最悪のコンテンツから保護することができます。

顧客との確固たるつながりを持続的に維持することは非常に重要です。オンラインプレゼンスを構築して顧客と自社との交流の場を提供することによって、顧客基盤を拡大できるだけでなく、製品の改良方法に関する貴重なインサイトを得ることができます。

しかし、この戦略には必ずリスクが伴います。企業を開放してコミュニティを作ることによって、インターネットの暗黒面から不適切なコンテンツが入り込む余地を与えてしまうのです。影響を受けるのは特定の製品を販売する企業だけだと論じるのは簡単ですが、実際のところ、これはどのようなビジネスにも影響を及ぼします。たった一つ不適切なコンテンツがあるだけでも潜在顧客との関係が壊れてしまうことがあります。そして、そうなってしまうと、一度失った顧客を取り戻すのは困難です。

モデレーションを活用し、サイトで高い基準を維持することによって、様々な法的課題から自社を守り、成長するコミュニティを保護し、最終的には、自らが作り出しているコミュニティはもとより、自社と世界との関わり方を大切にしていることを示すことができます。