OctoML afferma di aver interrotto i suoi rapporti d’affari con Civitai pochi giorni dopo un’indagine condotta da 404 mezzi ha rivelato che la piattaforma text-to-image veniva utilizzata per generare immagini che “potrebbero essere classificate come pornografia infantile”. Civitai in precedenza si affidava a OctoAI di OctoML per la generazione di immagini. Sebbene OctoML inizialmente avesse indicato che avrebbe continuato a collaborare con Civitai e introdotto nuove misure per frenare la creazione di immagini dannose, 404 mezzi ha riferito sabato di aver deciso di tagliare del tutto i legami con la piattaforma.
Secondo 404 mezziNel rapporto del 5 dicembre, le comunicazioni interne hanno mostrato che OctoML era a conoscenza che alcuni utenti di Civitai stavano creando materiale sessualmente esplicito che includeva immagini non consensuali di persone reali e rappresentazioni pornografiche di bambini. In un rapporto di follow-up di questo fine settimana, la pubblicazione ha osservato che OctoML ha implementato un filtro per bloccare la generazione di tutti i contenuti NSFW su Civitai prima di annunciare la sua decisione di ritirarsi. Civitai ha anche aggiunto nuovi metodi di moderazione in risposta all’indagine all’inizio di questa settimana, incluso un incorporamento obbligatorio chiamato Civitai Safe Helper (Minor) che impedisce al modello di generare immagini di bambini se “viene rilevato un tema o una parola chiave matura”, secondo 404.
Civitai, sostenuto da Andreessen Horowitz, lo ha già fatto in precedenza venire sotto esame per la sua caratteristica “taglie”. che sfida gli utenti a generare immagini realistiche di persone reali in cambio di premi. A novembre, 404 mezzi hanno scoperto che veniva utilizzato per realizzare deepfake non consensuali di celebrità, influencer e persino di privati cittadini che, in molti casi, erano di natura sessuale. I soggetti erano principalmente donne. Secondo 404 mezziCivitai da allora ha aggiunto un filtro per impedire la creazione di contenuti NSFW con “certe” celebrità.
Tuttavia OctoML, che utilizza i server di Amazon Web Services, non vuole più essere coinvolta. In una dichiarazione a 404 mezzi sabato, OctoML ha dichiarato: “Abbiamo deciso di interrompere il nostro rapporto commerciale con Civitai. Questa decisione è in linea con il nostro impegno a garantire l’uso sicuro e responsabile dell’IA”.
