Googleの人工知能が幼児の性器写真を誤解し警察に通報するという事件が起きた。
アメリカのサンフランシスコに住むエンジニアのハーピル・マーク氏は息子の性器に発疹が出たため、リモート受診のために医師に送付した。
新型コロナウイルスのために病院は閉鎖しており、リモートで診断を行っており、息子の局部の写真を送ってほしいと言われたという。
親は息子の局部の写真を撮影しメッセージアプリで送付し、そのあと抗生剤も無事に処方された。しかしその2日後、Googleアカウントがロックされたという通知が届いてGoogleアカウント全てが使えなくなってしまったのだ。これはGoogleの人工知能によるものだった。
マーク氏が撮影した写真はGoogleフォトに自動的にバックアップされ、それをGoogleは児童ポルノだと判定してしまったのだ。
マーク氏は異議申し立てを行ったがGoogleは「グーグルのポリシーに違反しており違法な可能性のある有害コンテンツ」として異議申立は却下された。
それだけでなく、人工知能は警察にも通報し、マーク氏は警察から事情聴取も受けたという。警察が持っていた通知書はグーグルと彼が利用するインターネットサービス会社に提供された捜索令状のコピーも一緒だった。しかし事件担当者は犯罪ではないと判断し、捜査を終結したと伝えた。
捜査が終わると今度はマーク氏が警察にGoogleアカウントを取り戻すのを手伝って欲しいと悲願。警察に文書を送付しGoogleを訴えたが、Googleは異議申し立てを再び却下した。
マーク氏はGoogleアカウントが永久に削除されるという通知を受け、会社を訴えようともしたが、コストと時間の関係上諦めたという。
GoogleドライブやGoogleフォトは自動で同期する機能があるが、ポルノ画像（特に自動ポルノ）を入れるとAIが検知し、Googleアカウント全てが凍結されてしまうので、クラウドサービスは他社のサービスを使うのをおすすめする。クラウドに卑猥な画像を入れろというわけでなく、こういった時のためにGoogleだけに依存するのではなく、サービスの切り分けも必要だということだ。