Character.AI、悲劇の後にティーンチャットを停止: '正しいことをする'

簡潔に言うと

  • Character.AIは、18歳未満のユーザーに対して11月25日までにオープンエンドのチャット機能を削除し、未成年者を動画やストーリー生成などのクリエイティブツールに移行させます。
  • この動きは、プラットフォーム上のチャットボットに執着するようになった14歳のセウェル・セッツァーIIIの自殺を受けてのものです。 *この発表は、超党派の上院法案が、未成年者をグルーミングしたり、子供向けの性的なコンテンツを生成したりするAI製品を犯罪化しようとしているときに行われました。

デクリプトのアート、ファッション、エンターテイメントハブ。


SCENEを見る

Character.AIは、11月25日までに10代の若者がAIコンパニオンとチャットすることを禁止し、プラットフォームのコア機能を終了します。これは、同社がチャットボットに関連する10代の死亡に対する訴訟、規制の圧力、批判が高まる中での措置です。

会社は水曜日のブログ投稿によると、「規制当局、安全専門家、親からの報告やフィードバック」を受けて変更を発表し、「18歳未満のユーザーがAIとオープンエンドのチャットを行う能力を取り除く」とともに、未成年者を動画やストーリー生成などのクリエイティブツールに移行すると発表しました。

“私たちはオープンエンドのキャラクターチャットを削除するというこのステップを軽視していません—しかし、私たちはこれが正しいことだと考えています,” とその会社は18歳未満のコミュニティに伝えました。

締切まで、ティーンユーザーは徐々に減少する2時間の毎日のチャット制限に直面します。

このプラットフォームは、2024年に自殺した14歳の息子スウェル・セッツァー3世の母親からの訴訟を含む訴訟に直面しています。彼は「ゲーム・オブ・スローンズ」のキャラクター、ダエネルス・ターガリエンをモデルにしたチャットボットとの強迫的な関係を築いた後に亡くなりました。また、家族からの苦情を受けて、殺害された犠牲者ジェニファー・アン・クレセンテを偽装するボットを削除しなければなりませんでした。

AIコンパニオンアプリが「子供の手に押し寄せてきている—無制限で、規制もなく、しばしば意図的に回避的であり、監視を避けるためにブランドを変更したり名前を変えたりしている」と、家族のオンライン安全会社Auraの最高医療責任者であるスコット・コリンズ博士がDecryptへのメモで共有しました。

OpenAIは火曜日に、800万人の週次ChatGPTユーザーのうち約120万人が自殺について話し合っており、そのうち50万人近くが自殺の意図を示し、560,000人が精神病または躁病の兆候を示し、100万人以上がチャットボットに強い感情的な愛着を形成していると発表しました。

コリンズは、研究者にとっては「非常に衝撃的」であり、親にとっては「恐ろしい」と述べ、ボットが安全性よりもエンゲージメントを優先し、しばしば子供たちを有害または露骨な会話に導くことを指摘しました。

Character.AIは、社内モデルとPersonaを含むサードパーティツールを組み合わせた新しい年齢確認を実装すると述べています。

その会社はまた、AIエンターテインメント機能の安全性の整合性を革新することに専念する非営利の独立したAI安全ラボを設立し、資金を提供しています。

AIのガードレール

連邦取引委員会は先月、Character.AIと他の6つのテクノロジー企業に対して、AI関連の危害から未成年者をどのように保護しているかについての詳細な情報を要求する強制命令を発行しました。

「私たちは、スタートアップとして、特に信頼と安全に多くのリソースを投資してきました」とCharacter.AIの広報担当者はDecryptに語り、「昨年、私たちは、18歳未満のためのまったく新しい体験や親向けのインサイト機能を含む、多くの実質的な安全機能を導入しました」と付け加えました。

"そのシフトは法的に賢明であり、倫理的にも責任があります。"とFathom Legalのマネージングパートナーであるイシタ・シャルマはDecryptに語った。“AIツールは非常に強力ですが、未成年者に対しては、感情的および心理的な危害のリスクは軽視できません。”

"それまでの間、業界の積極的な行動が、被害と訴訟の両方に対する最も効果的な防御策である可能性がある"とシャルマは付け加えた。

米国の上院議員から成る超党派のグループが、AIコンパニオンを未成年者に対して禁止し、チャットボットが非人間であることを明確に示すことを要求し、未成年者を対象とした製品が性的コンテンツを勧誘または生成する場合の企業に対する新しい刑事罰を設ける「GUARD法」と呼ばれる法案を火曜日に発表しました。

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
0/400
コメントなし
  • ピン
いつでもどこでも暗号資産取引
qrCode
スキャンしてGateアプリをダウンロード
コミュニティ
日本語
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)