アメリカのサンフランシスコに住むエンジニアのハーピル・マーク氏は息子の性器に発疹が出たため、リモート受診のために医師に送付した。
新型コロナウイルスのために病院は閉鎖しており、リモートで診断を行っており、息子の局部の写真を送ってほしいと言われたという。

親は息子の局部の写真を撮影しメッセージアプリで送付し、そのあと抗生剤も無事に処方された。しかしその2日後、Googleアカウントがロックされたという通知が届いてGoogleアカウント全てが使えなくなってしまったのだ。これはGoogleの人工知能によるものだった。

マーク氏が撮影した写真はGoogleフォトに自動的にバックアップされ、それをGoogleは児童ポルノだと判定してしまったのだ。

マーク氏は異議申し立てを行ったがGoogleは「グーグルのポリシーに違反しており違法な可能性のある有害コンテンツ」として異議申立は却下された。

それだけでなく、人工知能は警察にも通報し、マーク氏は警察から事情聴取も受けたという。警察が持っていた通知書はグーグルと彼が利用するインターネットサービス会社に提供された捜索令状のコピーも一緒だった。しかし事件担当者は犯罪ではないと判断し、捜査を終結したと伝えた。
捜査が終わると今度はマーク氏が警察にGoogleアカウントを取り戻すのを手伝って欲しいと悲願。警察に文書を送付しGoogleを訴えたが、Googleは異議申し立てを再び却下した。

マーク氏はGoogleアカウントが永久に削除されるという通知を受け、会社を訴えようともしたが、コストと時間の関係上諦めたという。

GoogleドライブやGoogleフォトは自動で同期する機能があるが、ポルノ画像（特に自動ポルノ）を入れるとAIが検知し、Googleアカウント全てが凍結されてしまうので、クラウドサービスは他社のサービスを使うのをおすすめする。クラウドに卑猥な画像を入れろというわけでなく、こういった時のためにGoogleだけに依存するのではなく、サービスの切り分けも必要だということだ。

ソース