AppleがTelegramを一時削除 「違法AIコンテンツ通報」が突きつけたリスク

AppleがTelegramを一時削除 「違法AIコンテンツ通報」が突きつけたリスク

Appleが、米国時間8月3日、メッセージアプリ「Telegram」をiOS向けのApp Storeから一時的に削除したようで、その理由というのが、児童性的虐待コンテンツ(CSAM)を禁じるガイドラインに違反するコンテンツを審査で検出したことなのだとか。

問題のコンテンツ削除と投稿ユーザーの利用停止が行われた後、数時間以内にアプリは再公開され、既にiPhoneへダウンロードしていたユーザーの利用にも影響はなかったと説明しています。

表向きには、CSAMを排除するための厳格なガイドライン運用が貫かれた対応のようなのですが、Telegram側の説明によれば、今回の削除は単なる「危険コンテンツの発見」ではなく、グループチャットを狙った恐喝行為から始まっていたのだそうです。

Pavel Durov CEOは、ある公開グループのメンバーが過去の投稿を編集し、「AIで改変された違法コンテンツ」を追加したうえで、通報しない見返りとして管理者に金銭を要求していたようで、要求が拒まれると、そのグループが通報の標的になったようです。

この、一つの公開グループで行われた行為に対し、Appleはグループ単位の対処ではなく、Telegram自体をiOS向けApp Storeから一時的に削除する決断を取ったようで、Mac App Store版は継続して提供されており、モバイル版とデスクトップ版で扱いが分かれた点も含め、どこまでを停止対象とするかという線引きの難しさが生じているようで、CSAM対策を徹底する姿勢と、アプリ全体の提供停止という重い措置との関係は、単純な「安全性優先」の一言では片付けにくいものとなっています。

Durov氏は、10億人以上のユーザーを抱えるアプリでさえ事前の警告なくストアから削除されたと強調し、「同じことが他のアプリにも起こり得る」と指摘しています。

今回のケースでは、問題コンテンツの削除と投稿ユーザーの利用停止が確認されると、Telegramは数時間で再公開されたようで、その短い時間の中で起きたのは、一人のユーザーによる投稿編集と通報が、巨大なプラットフォームにおけるアプリ全体の扱いを左右したという事実。

ここで浮かび上がるのは、CSAMのような重大な違法コンテンツへの即応が求められる一方、「通報」がアプリ全体の存続リスクと直結し得るというもので、Telegramのようにユーザー投稿を扱うアプリでは、サービス側がガイドライン違反の投稿を監視・削除し、違反ユーザーをBANする体制を整えることが前提となりそうで、そのうえで、通報を受け取ったプラットフォームが、どの段階でアプリ削除という最終手段に踏み切るのかは、開発者にとって事業継続性を左右する条件になりつつあります。

Telegramはこれまでも、テロや子どもの安全に関わるコンテンツをめぐり、オーストラリア当局から罰金を科されるなど、各国の規制や要請にさらされてきた経緯があり、Durov氏自身も、Telegram上での犯罪行為への対応をめぐる捜査に関連してフランスで逮捕されるなど、同社を取り巻く環境は厳しさを増してきています。

そうした中で起きた今回の一時削除は、「安全対策に協力しないプラットフォームへの圧力」という構図とは別に、「通報と審査フローの設計次第で、ガイドライン違反を口実にした揺さぶりが可能になる」という側面も示されました。

実際、TelegramのX公式アカウントは「私の死亡説はかなり誇張されている」とユーモアを交えつつ、Durov氏の投稿へのリンクとともにAppleの対応を皮肉っており、ここには、自社の安全対策が十分であると主張したい意図と同時に、「ストア側の判断一つでサービス全体の信頼やビジネスが損なわれ得る」という不安も透けて見えてきています。

アプリ提供事業者にとって、ガイドライン準拠はもちろん、通報がどのように評価され、どの範囲に影響を及ぼすのかまでを含めて把握することが、リスク管理の一部になりつつあります。

Apple側から見れば、CSAM排除は譲れない原則であり、違反の疑いがあれば強い措置を取る姿勢は変わらないでしょうし、その一方で、Telegramのようにユーザー投稿を前提とするアプリは数多く存在し、そのどれもが「一件の通報をきっかけにアプリ全体がストアから外される」可能性を考慮しなければならなくなり、今回の一時削除は、CSAM対策の厳格さだけでなく、通報・審査・削除の連鎖が巨大プラットフォームのインフラ性とどう折り合うのかを、改めて突きつけた出来事として位置づけられそう。

Tags: