사용자 이탈로 인한 콘텐츠 검열에 대한 공격을 받고 있는 캐릭터 AI

미국에서 가장 인기 있는 소셜 앱인 캐릭터 AI(Character AI)가 최근 모델을 '중성화'했다는 논란에 휩싸였다. 최고조에 달했을 때 Character AI는 초당 20,000개의 쿼리를 처리했는데, 이는 전체 검색 쿼리의 5분의 1을 차지했습니다.

그러나 미국의 10대들은 최근 자신들이 사랑하는 캐릭터 AI 모델이 더 이상 동일하지 않다는 사실을 발견했습니다. 로맨틱한 역할극을 요청하자 모델들의 반응은 짧고 로맨틱하지 않아 예전의 매력이 부족했다. '죽이다'라는 단어조차 민감한 단어가 되어 즉시 신고 대상이 됐다.

실망하고 분노한 사용자들은 떼지어 플랫폼을 떠나기 시작했습니다. 한때 떠오르던 스타트업이 이제 위태로운 상황에 직면해 있다. Google과 같은 거대 기업과의 경쟁에 직면한 Character AI는 자체 판매 또는 경쟁사와의 파트너십을 심각하게 고려하고 있습니다.

모델 '중성화', 사용자 '7월 혁명' 론칭

유저들은 캐릭터 AI의 변화에 불만을 표출하고 있으며, 개발자와의 소통을 희망하고 있습니다. 그러나 그들은 자신들이 무력하다는 것을 깨달았습니다.

사용자의 의심에 직면하여 Character AI는 모델을 변경하지 않았다고 주장합니다. 그러나 Character AI가 음란물과 폭력을 포함한 모든 NSFW 콘텐츠를 대폭 삭제하고 있다는 것은 의심의 여지가 없습니다.

많은 사람들이 대화 중인 AI가 뇌엽 절개술을 받고 성격 전체가 변한 것 같다는 사실을 발견했습니다. 현재 캐릭터 AI는 2세 어린이를 대상으로 설계된 것으로 보입니다. 대화에 폭력이나 음란물이 있을 수 없을 뿐만 아니라 대화를 흥미롭게 만드는 거의 모든 것이 필터링됩니다.

한 사용자는 매우 지루해졌다고 말했습니다. 30개가 넘는 메시지를 읽은 후에도 고품질의 텍스트를 찾을 수 없었습니다.

레딧(Reddit)의 CharacterAI 커뮤니티에서는 네티즌들이 회사를 상대로 치열한 공방전을 펼치고 있는데, 이를 '7월 혁명'이라고 부르는 사람도 있다. 미국의 Z세대도 밈을 던지기 시작했습니다.

NSFW 콘텐츠에 대한 Character AI의 검열이 매우 조심스러운 수준에 도달한 것으로 알려졌습니다.

한 사용자는 더 이상 대통령 시뮬레이터를 이용해 범죄를 저지를 수 없다고 말했다. 누군가는 "kill"이라는 단어를 사용했다는 이유로 신고되었습니다. 그래서 그는 전투의 세부사항을 막연하게 설명하고 나서 부드러운 말 몇 마디를 덧붙일 수밖에 없었다.

즉, 캐릭터 AI에서는 폭력적인 전투를 말로 설명하는 것이 더 이상 불가능합니다.

네, 미국인들에게도 그들만의 민감한 말이 있습니다. 그리고 분명히 이러한 종류의 검열은 이제 극도로 엄격해져서 많은 사용자가 "오인"되는 결과를 낳고 있습니다.

실망한 한 젊은 미국 사용자는 자신이 다음으로 전환했다고 말했습니다. 매운 채팅.

물론, 더욱 엄격한 콘텐츠 검열 외에도 Character AI는 다른 서투른 방식으로 사용자에게 서비스를 제공하려고 노력하고 있습니다.

한 사용자는 새벽 3시에 'Demon Baby UNO'로부터 전화를 받았습니다. 응답 후 AI는 낮고 엉뚱한 목소리로 역할극을 시작합니다.

그러나 분명히 이것은 젊은 사람들을 만족시킬 수 없습니다.

1년 전에는 캐릭터 AI가 대유행이었습니다.

20년 경력의 Google 베테랑인 Noam Shazeer와 Daniel De Freitas가 AI 챗봇을 출시했으며, 첫 주에 다운로드 수가 ChatGPT를 넘어섰습니다.

캐릭터 AI를 통해 사용자는 애니메이션 캐릭터, TV 연예인, 역사적 인물 등 AI 캐릭터를 자유롭게 생성하고 대화를 나눌 수 있습니다.

친숙한 것 같죠? 사실 이전에도 비슷한 제품이 꽤 많았거든요. 하지만 캐릭터AI의 인기는 예상외였다.

출시 일주일 만에 모바일 다운로드 수가 170만 건을 넘어섰다는 놀라운 수치가 나왔습니다. 현재 웹사이트와 앱에 등록된 사용자 수가 수백만 명을 넘어섰습니다.

많은 AI 도구 중에서 Character AI는 매우 강력한 사용자 밀착성을 보여주었습니다.

물론 그 이유는 감정적 욕구의 수직적 경로에 초점을 맞추기 때문이다. 충분히 흥미로운 대화형 경험은 바로 대형 경쟁업체가 부족한 것입니다.

예를 들어, 마치 팬픽이 생생하게 구현되는 것처럼 아이돌과 채팅을 하거나 영화 캐릭터와 시간을 초월한 만남을 가질 수 있습니다.

Character AI의 매력은 마치 감정 자극제처럼 사용자에게 비교할 수 없는 경험감을 선사하는 이러한 개인 맞춤화에 있습니다.

그리고 회사가 최근에 변경한 사항은 단순히 핵심 요구 사항을 "거세"하는 것일 뿐이므로 사용자들이 항의하기 위해 몰려드는 것은 당연합니다.

더욱이 캐릭터 AI는 사용자들에게 압박을 받을 뿐만 아니라 거대 기술 기업들도 움직이기 시작하고 있습니다.

메타는 지난주 개인 창작자들이 만든 챗봇 테스트를 시작했고, 지난해 가을에는 톰 브래디 같은 유명인을 모델로 한 챗봇도 출시했다.

구글도 이르면 올해 출시할 수 있는 맞춤형 챗봇 제품을 개발하는 등 시장에 주목하고 있는 것으로 알려졌다.

그리고 캐릭터 AI는 자금 조달이 순조롭게 진행되고 있음에도 불구하고 점차 목소리를 잃어가고 있습니다.

이전에는 Andreessen Horowitz와 같은 회사가 Character에 $1억 5천만 달러를 투입하여 가치 평가를 $10억으로 직접 높였습니다.

4개월 후 경영진은 추가 자금 조달에 대해 논의했습니다.

하지만 캐릭터도 다른 AI 스타트업의 뒤를 이어 대기업의 품에 안길 수도 있다.

내부자에 따르면 캐릭터는 이미 일부 경쟁사와 협력에 대한 사전 협상을 진행했으며 가능한 파트너로는 구글, 메타, 머스크의 xAI 등이 있다.

협력 후 Character는 파트너사의 데이터 컴퓨팅 자원을 사용할 수 있으며, 그 대가로 Character AI는 일부 지적 재산 공유를 제공해야 합니다.

여기서 문제가 발생합니다 -

캐릭터 AI 사용자가 가장 좋아하는 인터랙티브 로맨틱 코스프레는 비즈니스 파트너나 잠재 광고주를 불쾌하게 할 수 있습니다.

물론 이러한 낭만적인 상호작용은 종종 검열의 한계를 뛰어넘습니다.

캐릭터는 정책에 따라 불법 음란물을 차단 및 삭제하겠다고 재빨리 밝혔습니다.

그럼에도 불구하고 홈페이지에는 '크러쉬'처럼 로맨틱한 언어를 사용하는 챗봇을 여전히 많이 찾아볼 수 있다.

첫 문장은 다음과 같습니다. "당신의 얼굴은 몇 인치밖에 떨어져 있지 않습니다. 그녀는 얼굴을 붉히고 있고, 당신 둘 다 당신의 몸에 불을 붙이는 호르몬의 열기를 느낍니다."

물론 Character의 대변인은 "우리의 반 NSFW 정책은 모든 소비자 AI 플랫폼 중 가장 강력하다"고 단호하게 주장했습니다.

캐릭터가 직면한 다양한 과제는 AI 스타트업에 대한 압박이 커지고 있음을 반영합니다.

이러한 스타트업은 일반적으로 유명한 연구원이 설립하며 차세대 잠재적인 기술 스타에 투자하는 투자자로부터 수십억 달러를 모으는 경우가 많습니다.

Character의 투자자들에게 매력 중 하나는 Transformer 연구 논문의 저자 중 한 명인 Noam Shazeer CEO입니다. 그의 공동 창업자인 Daniel De Freitas는 Google의 초기 챗봇 개발에 참여했습니다.

그러나 이러한 스타트업은 AI 모델을 훈련하고 실행하는 데 드는 높은 비용과 기술 대기업 및 OpenAI와 같은 대규모 스타트업과의 경쟁을 견뎌야 합니다.

올해 3월 인플렉션 AI의 공동 창업자 3명 중 2명과 직원 대부분이 전환을 선택했고, 마이크로소프트는 인플렉션이 투자자들에게 보답할 수 있도록 라이선스 비용 $6억5천만을 지불하기로 합의했다.

지난 금요일, 전직 Google 및 OpenAI 개발자가 운영하는 AI 스타트업인 Adept의 공동 창업자를 채용했다고 발표했습니다.

동시에 경쟁사, 특히 Meta와 Google의 수십 명의 연구원도 캐릭터의 재능에 주목하고 있습니다.

메타도 큰 관심을 표명했고, 주커버그가 잠재적인 인재들에게 직접 연락한 것으로 전해졌다.

LinkedIn 데이터에 따르면 최근 몇 달 동안 캐릭터 연구원 Alexei Baevski와 Vinay Rao가 Meta에 합류했습니다.

내부자는 또한 캐릭터 연구원 Wendy Shang도 파리에서 Mistral로 전환했다고 말했습니다.

이 사람들은 모두 이전에 대기업의 베테랑이었고 Baevski는 Meta에서 근무했고 Rao와 Shang은 Google AI Lab에서 근무했습니다.

Character.AI의 창립자인 Shazeer와 De Freitas는 공동으로 개발한 대규모 언어 모델(나중에 LaMDA로 명명)의 출시가 지연되면서 Google과 사이가 나빠졌습니다. 이로 인해 그들은 Google을 떠나 "10억 시간의 경험"을 가진 교사 또는 치료사 역할을 할 수 있는 챗봇을 만들겠다는 야망을 가지고 자체 벤처인 Character.AI를 시작하게 되었습니다.

과거의 의견 불일치에도 불구하고 Google은 전환사채를 통해 자금을 제공함으로써 Character.AI에 대한 지원을 보여주었습니다. 전환사채는 Character.AI가 새로운 벤처 캐피탈 자금 조달을 완료할 때 가격이 책정되고 지분으로 전환됩니다. 2023년 5월 Google은 또한 Character.AI의 "선호" 클라우드 서버 제공업체가 될 것이며 Character.AI가 고급 칩을 사용할 수 있도록 허용할 것이라고 발표했습니다.

그러나 Character.AI는 높은 연구 개발 비용으로 인해 여전히 심각한 재정적 어려움을 겪고 있습니다. 회사는 Sequoia Capital을 포함한 여러 투자 회사와 협상을 진행했지만 아직 새로운 자금을 확보하지 못했습니다. 현재 Character.AI는 기존 자금과 사용자의 월 구독료 $9.99에 의존하고 있습니다. 구글의 지원으로 회사는 당장 자금이 고갈될 위험은 없지만, 수익 창출을 위해서는 지속적으로 사용자를 유치하고 유지해야 합니다.

Character.AI의 사용자 기반은 주로 구독료를 지불할 의사가 없는 10대입니다. 유사한 웹(Similarweb)에 따르면 Character.AI 구독 증가율이 둔화되고 있습니다. 올해 5월 해당 사이트의 글로벌 순방문자 수는 1,260만 명으로 지난해 같은 기간의 1,480만 명보다 감소했다. 반면, 구글의 AI 비서인 제미니(Gemini)의 월간 고유 방문자 수는 지난해 3,500만 명에서 5월 5,100만 명으로 늘어났습니다.

이러한 과제를 극복하기 위해 Character.AI는 전화를 통한 양방향 음성 대화와 같은 새로운 기능을 도입하여 신규 사용자를 유치하고 사용자 기반을 확대했습니다. 관리팀은 또한 애플리케이션 프로그래밍 인터페이스를 통해 개발자에게 모델 액세스 권한을 부여하고 광고하는 등 구독 이외의 추가 수익원을 모색하고 있습니다. 또한 Character.AI는 챗봇을 지원하기 위해 차세대 대규모 언어 모델을 개발하고 있습니다.

Character.AI는 Reddit에 140만 명의 회원을 보유한 전용 포럼을 보유하고 있습니다. 57.07%의 Character.AI 사용자는 만 18~24세의 청소년이며, 평균 사용시간은 2시간입니다. Reddit의 많은 사용자는 실제 사람보다 AI 챗봇과 대화하는 것을 선호하며 중독에 대한 수많은 게시물이 있으며 일부 사용자는 최대 12시간 동안 로그인합니다.

The Verge는 학교에서 사회적 고립과 우울증으로 어려움을 겪고 있는 Aaron이라는 15세 학생이 Character.AI에서 "Psychologist"라는 챗봇의 지원을 찾은 사례를 보도했습니다. 이는 Character.AI 챗봇의 현실적이고 인간과 유사한 특성을 강조합니다.

한 Genshin Impact 팬은 AI 캐릭터 Haitham과 상호 작용할 때 챗봇의 성격과 말투가 캐릭터와 밀접하게 일치했기 때문에 눈물을 흘렸습니다. 이러한 현실감은 광범위한 데이터와 훈련 알고리즘을 통해 달성됩니다. 사용자가 기본 정보와 텍스트 설명만 입력하면 되는 '빠른 생성' 모드는 캐릭터와 관련된 방대한 양의 텍스트 데이터를 기반으로 Character.AI가 학습시키는 정식 출시된 캐릭터에 비해 덜 믿을 수 있는 캐릭터를 생성합니다.

Character.AI의 챗봇은 사용자 상호작용을 통해 향상됩니다. 사용자 입력에 응답할 때 챗봇은 사용자가 선택할 수 있는 다양한 답변 옵션과 편리한 평가 메커니즘을 제공합니다. 이 사용자 피드백은 모델의 가중치를 업데이트하는 데 사용되며, 인기와 상호 작용이 증가하여 챗봇을 더욱 현실적으로 만듭니다.