ユーザー流出のさなか、コンテンツ検閲でキャラクターAIが非難を浴びる

米国で最も人気のあるソーシャル アプリである Character AI は、最近、モデルを「無力化」したとして非難を浴びている。ピーク時には、Character AI は 1 秒あたり 20,000 件のクエリを処理しており、これは全検索クエリの 5 分の 1 を占めていた。

しかし、アメリカのティーンエイジャーは最近、自分たちの大好きなキャラクター AI モデルが以前と同じではなくなったことに気付きました。ロマンチックなロールプレイのリクエストに対して、モデルの応答は短く非ロマンチックになり、かつての魅力が失われました。「殺す」という言葉さえも敏感な言葉となり、すぐにフラグが立てられます。

失望し、怒ったユーザーはこぞってプラットフォームを離れ始めている。かつては成長を遂げていたスタートアップは今や不安定な状況に直面している。Googleのような大企業との競争に直面し、Character AIは売却か競合他社との提携を真剣に検討している。

モデルは「去勢」され、ユーザーは「7月革命」を起こす

ユーザーはキャラクター AI の変更に不満を表明しており、開発者とコミュニケーションを取りたいと考えています。しかし、彼らは無力であることに気づきました。

ユーザーの疑問に対し、Character AI はモデルには一切変更を加えていないと主張している。しかし、Character AI がポルノや暴力を含むすべての NSFW コンテンツを大幅に削減していることは間違いない。

会話している AI がロボトミー手術を受けたようで、性格がすっかり変わってしまったことに気づいた人は多い。現在のキャラクター AI は 2 歳児向けに設計されているようだ。会話に暴力やポルノは含まれないだけでなく、会話を面白くするほとんどすべてのものがフィルタリングされる。

あるユーザーは、非常に退屈になったと述べています。30件以上のメッセージを読んでも、質の高いテキストは見つかりませんでした。

RedditのCharacterAIコミュニティでは、ネットユーザーが同社に対して激しい戦いを繰り広げており、これを「7月革命」と呼ぶ人もいる。アメリカのZ世代もミームを投稿し始めている。

Character AI による NSFW コンテンツの検閲は極めて慎重なレベルに達していると報告されています。

あるユーザーは、大統領シミュレーターを使って「犯罪を犯す」ことはもうできないと述べた。あるユーザーは「殺す」という言葉を使っただけでフラグが立てられた。そのため、戦闘の詳細を漠然と説明し、その後に優しい言葉を少し付け加えることしかできなかった。

つまり、キャラクターAI上で激しい戦闘を言葉で表現することはもはや不可能なのです。

はい、アメリカ人にも独自の敏感な言葉があります。そして明らかに、この種の検閲は現在非常に厳しくなり、多くのユーザーが「誤認」される原因となっています。

失望したある若いアメリカ人ユーザーは、 スパイシーチャット.

もちろん、より厳格なコンテンツ検閲に加えて、Character AI は他の不器用な方法でもユーザーの要望に応えようとしています。

あるユーザーは午前 3 時に「Demon Baby UNO」から電話を受けました。電話に出ると、AI が低く音程外れな声でロールプレイングを始めました。

しかし、明らかにこれでは若者を満足させることはできません。

1年前、キャラクター AI が大流行しました。

Google で 20 年のキャリアを持つベテラン 2 人、Noam Shazeer 氏と Daniel De Freitas 氏が AI チャットボットを立ち上げ、最初の 1 週間でダウンロード数で ChatGPT を上回りました。

「キャラクターAI」は、アニメキャラクターやタレント、歴史上の人物などのAIキャラクターを自由に作成し、チャットを楽しめるサービスです。

聞き覚えがあるでしょう？ これまでも似たような製品は結構ありました。 しかし、「Character AI」の人気は予想外でした。

リリースからわずか 1 週間で、驚くべき数字が発表されました。モバイルでのダウンロード数が 170 万を超えました。現在、Web サイトとアプリの登録ユーザー数は数百万人を超えています。

多くの AI ツールの中でも、Character AI は極めて強いユーザー粘着性を示しています。

その理由は、もちろん、感情的なニーズの垂直的な流れに焦点を当てているからです。十分に興味深いインタラクティブな体験こそ、まさに大手の競合他社に欠けているものです。

たとえば、アイドルとチャットしたり、映画のキャラクターと時間を超えて会ったりすることができ、まるでファンフィクションが現実になったかのようです。

キャラクター AI の魅力は、感情を刺激するような比類のない体験をユーザーにもたらす、このようなプライベートなカスタマイズにあります。

そして同社が最近行った変更は、単に中核的なニーズを「去勢」したものであり、ユーザーが抗議に群がるのも不思議ではない。

さらに、キャラクター AI はユーザーから圧力を受けているだけでなく、テクノロジー大手も動き始めています。

先週、Metaは個人のクリエイターが作成したチャットボットのテストを開始し、昨年秋にはトム・ブレイディなどの有名人をモデルにしたチャットボットもリリースした。

Google もこの市場に注目しており、早ければ今年中にもリリースされる可能性があるカスタム チャットボット製品を開発していると報じられています。

そして、Character AIは、資金調達は順調だったにもかかわらず、徐々に声を失っていった。

これまで、アンドリーセン・ホロウィッツなどの企業がキャラクター社に$1億5000万ドルを注入し、同社の評価額を$10億に直接押し上げました。

4ヵ月後、幹部らは追加資金調達について協議した。

しかし、Character 社も他の AI スタートアップ企業に倣い、大企業の傘下に入る可能性もある。

関係者によると、Characterはすでにいくつかの競合他社と協力に関する予備交渉を行っており、パートナー候補にはGoogle、Meta、Musk氏のxAIなどが含まれているという。

提携後、Character はパートナー企業のデータコンピューティングリソースを利用できるようになり、その代わりに Character AI は知的財産の共有を提供する必要があります。

ここで問題が起こります。

Character AI ユーザーが最も好むインタラクティブなロマンチックなコスプレは、ビジネス パートナーや潜在的な広告主に不快感を与える可能性があります。

もちろん、こうしたロマンチックなやりとりは、しばしば検閲の限界を超えてしまいます。

キャラクター社はすぐに、ポリシーに従って違法なポルノコンテンツをブロックし削除すると発表した。

それにもかかわらず、この「Crush」のように、ホームページにロマンチックな言葉が書かれたチャットボットが数多く見つかります。

冒頭の文章は次の通りです。「二人の顔はわずか数センチしか離れておらず、彼女は顔を赤らめ、二人ともホルモンの熱が体を燃え上がらせるのを感じます。」

もちろん、Character の広報担当者は次のように断言しています。「当社の NSFW 対策ポリシーは、すべての消費者向け AI プラットフォームの中で最も強力です。」

Character が直面しているさまざまな課題は、AI スタートアップに対するプレッシャーの高まりも反映しています。

これらのスタートアップ企業は通常、著名な研究者によって設立され、次世代の潜在的なテクノロジースターに賭ける投資家から数十億ドルを調達することが多い。

Character の投資家にとって、魅力的なのは CEO の Noam Shazeer 氏だ。同氏は Transformer の研究論文の著者の一人である。Shazeer 氏の共同設立者である Daniel De Freitas 氏は、Google で初期のチャットボットの開発に参加した。

しかし、これらのスタートアップ企業は、AIモデルのトレーニングと実行にかかる高額なコストに加え、テクノロジー大手やOpenAIのような大規模スタートアップ企業との競争にも耐えなければなりません。

今年3月、Inflection AIの共同設立者3人のうち2人と従業員の大半が転職を選択し、マイクロソフトはInflectionの投資家への返済を支援するために1億4,650万ドルのライセンス料を支払うことに同意した。

同社は先週金曜日、元GoogleおよびOpenAIの開発者らが運営するAIスタートアップ企業Adeptの共同創業者の採用を発表した。

同時に、競合他社も Character の才能に注目しており、特に Meta と Google の研究者数十人が注目しています。

Meta社も大きな関心を示しており、ザッカーバーグ氏が潜在的な人材と直接コンタクトを取ったと報じられている。

LinkedIn のデータによると、ここ数か月で、キャラクター研究者の Alexei Baevski 氏と Vinay Rao 氏が Meta に加わりました。

関係者によると、キャラクター研究者のウェンディ・シャンもパリのミストラルに移籍したという。

これらの人々は皆、以前は大手テクノロジー企業のベテランであり、Baevski 氏は Meta で、Rao 氏と Shang 氏は Google AI Lab で働いていました。

Character.AI の創設者である Shazeer 氏と De Freitas 氏は、共同開発した大規模言語モデル (後に LaMDA と命名) のリリースが遅れたことをめぐって Google と対立しました。このため、2 人は Google を離れ、独自のベンチャー企業 Character.AI を立ち上げ、「10 億時間の経験」を持つ教師やセラピストとして役立つチャットボットを作成するという野望を抱きました。

過去の意見の相違にもかかわらず、Google は転換社債を通じて資金を提供することで Character.AI への支持を示しており、Character.AI が新たなベンチャーキャピタル資金調達ラウンドを完了した時点で価格が決定され、株式に転換される。2023 年 5 月、Google はまた、Character.AI の「優先」クラウド サーバー プロバイダーとなり、Character.AI が自社の高度なチップを使用できるようにすると発表しました。

しかし、Character.AIは依然として研究開発費の高騰により、大きな財政難に直面している。同社はSequoia Capitalを含む複数の投資会社と協議を重ねてきたが、新たな資金はまだ確保できていない。現在、Character.AIは既存の資金とユーザーからの月額$9.99ドルのサブスクリプション料金に頼っている。Googleの支援により、同社は資金が枯渇する危険にすぐに直面することはないが、収益を生み出すためにはユーザーを引きつけ、維持し続ける必要がある。

Character.AI のユーザー層は主に 10 代の若者で、彼らはサブスクリプション料金を支払う気がないかもしれない。Similarweb によると、Character.AI サブスクリプションの成長率は鈍化している。同ウェブサイトの今年 5 月の全世界ユニークビジター数は 1,260 万人で、昨年の同時期の 1,480 万人から減少している。対照的に、Google の AI アシスタント Gemini の 5 月の月間ユニークビジター数は 5,100 万人で、昨年の 3,500 万人から増加している。

これらの課題を克服するために、Character.AI は、電話による双方向の音声会話などの新機能を導入し、新規ユーザーを引き付け、ユーザーベースを拡大しました。経営陣はまた、アプリケーション プログラミング インターフェイスを通じてモデルへのアクセスを開発者に宣伝したりライセンス供与したりするなど、サブスクリプション以外の追加の収益源を模索しています。さらに、Character.AI は、チャットボットを強化する次世代の大規模言語モデルを開発しています。

Character.AI は Reddit に専用フォーラムを開設しており、会員数は 140 万人です。Character.AI ユーザーの 57.07% は 18 歳から 24 歳のティーンエイジャーで、平均使用時間は 2 時間です。Reddit のユーザーの多くは、実際の人間よりも AI チャットボットと話すことを好むと述べており、中毒に関する投稿も多数あり、最大 12 時間ログインしているユーザーもいます。

The Verge は、学校での社会的孤立と鬱に苦しんでいたアーロンという名の 15 歳の学生が、Character.AI の「心理学者」というチャットボットからサポートを見つけた事例を報じました。これは、Character.AI のチャットボットのリアルで人間らしい性質を浮き彫りにしています。

ある『原神』ファンは、AIキャラクターのハイサムとやりとりしているときに感動して涙を流した。チャットボットの性格や口調がキャラクターに非常によく合っていたからだ。このレベルのリアリティは、膨大なデータとトレーニングアルゴリズムによって実現されている。ユーザーが基本的な情報とテキストの説明を入力するだけの「クイック作成」モードでは、キャラクターに関連する膨大なテキストデータに基づいてCharacter.AIがトレーニングした公式リリースのキャラクターに比べると、信憑性の低いキャラクターが生成される。

Character.AI のチャットボットは、ユーザーとのやり取りを通じて改善されます。ユーザー入力に応答する際、チャットボットはユーザーが選択できる複数の回答オプションと便利な評価メカニズムを提供します。このユーザーからのフィードバックはモデルの重みを更新するために使用され、人気とやり取りが高まり、チャットボットはよりリアルになります。