El desarrollador Roblox Corporation presentó recientemente una nueva función de escaneo facial como una forma de aumentar la protección de la seguridad infantil en su plataforma de creación de juegos. Roblox. El director ejecutivo, David Baszucki, está muy entusiasmado con esta iniciativa y dio algunas respuestas bastante intensas y cuestionables durante un nuevo episodio de podcast sobre la tecnología de envejecimiento.
Baszucki se sentó con los periodistas del New York Times Casey Newton y Kevin Roose para un episodio de su podcast Hard Fork. Publicado el 21 de noviembre, los tres participaron en una conversación amplia que empezó con la función de escaneo facialpasó a utilizar nombres inapropiados sobre los datos y alcanzó su punto máximo en los desacuerdos sobre el uso de la IA para la moderación. Newtown abrió con una pregunta sobre el problema de los depredadores en Roblox, que según Baszucki es un dilema bueno y malo.
“Pensamos que esto no es necesariamente sólo un problema, sino también una oportunidad”, afirmó. “¿Cómo permitimos que los jóvenes construyan, se comuniquen y pasen tiempo juntos? ¿Cómo construimos el futuro de la comunicación al mismo tiempo? Entonces, ya sabes, hemos estado, creo, en el buen sentido, trabajando en esto desde que empezamos. Y cuando estábamos, hace casi 18 o 19 años, cuando lanzamos la compañía por primera vez y solo teníamos cuatro de nosotros sentados en una sala, éramos literalmente los moderadores, como si fuéramos rotando todo el tiempo”.
Baszucki continuó diciendo que con la escala a la que Roblox ha crecido, la compañía decidió que “la última tecnología” (es decir, “usar la estimación de la edad facial con IA”) es lo que busca para complementar sus herramientas de moderación. Mencionó los filtros de texto como ejemplo, particularmente porque los usuarios del chat tienden a usar “hashtag, hashtag, hashtag” y otros trucos de palabras clave para eludir el sistema.
“Con la IA, estos filtros han mejorado cada vez más”, afirmó Baszucki. “El estado en el que nos encontramos ahora se centra principalmente en el bloqueo de los intentos adversarios de abordar el filtro, y de los intentos adversarios de tratar de compartir PII (información de identificación personal), en lo que también estamos mejorando cada vez más. En la estimación de la edad, yo diría que recientemente ha alcanzado la mayoría de edad hasta el punto en que podríamos complementarla. Pero yo diría que nuestra estrategia es siempre (complementar) con cualquier tecnología que esté disponible para armar eso”.
Al poco tiempo, los tres se interrumpían mutuamente, intercalando declaraciones y preguntas para ayudarse. Baszucki “rechazó categóricamente” la afirmación de demandas recientes que afirman que los depredadores usan Roblox para encontrar niños. Dijo que la plataforma está haciendo “un trabajo increíble en innovación” en comparación con otras plataformas sociales en línea, repitiendo que la compañía está “mejorando constantemente” en la protección de la capacidad de los niños para chatear en el juego.
“Hay enormes beneficios en que las personas puedan comunicarse, y creemos que vemos esos beneficios”, explicó Baszucki. “Hay muchos niños que encuentran gente en Roblox. Hay muchos niños que se sienten solos o aislados en realidad (no voy a usarlo como excusa ni nada por el estilo), pero recibo muchas llamadas de padres famosos que dicen: ‘Mira, mi hijo estaría muerto si no fuera por encontrar una comunidad en una plataforma como Roblox con la que mantenerse conectado’. Y también diría que asumimos como una enorme responsabilidad diseñar para no el padre sofisticado que entra y dice: ‘Mira, voy a desactivar con quién puedes chatear y todo eso’. Tenemos que diseñar para todos los padres y pensar en ello. Pero sí creemos que tenemos una tecnología enormemente excelente a lo largo y ancho de la pila. Creemos que es parte de construir una experiencia como esta. Ya sabes, si sales al espacio de los juegos, creo que es muy común apoyar la comunicación. No voy a enumerar ningún otro juego. Y por lo general, estamos mucho más allá, diría yo, en nuestro nivel de innovación, nivel de responsabilidad, tanto en el filtrado como en el intercambio de imágenes, en todas estas cosas”.
Después de intercambios más tensos en torno a los 150 millones de usuarios activos diarios (de los cuales, según Baszucki, ahora “se informa que casi dos tercios tienen más de 13 años”), Roose preguntó sobre Hallazgos de Hindenburg Research de octubre de 2024 sobre la empresa que supuestamente ignoraba la seguridad infantil en nombre de las ganancias. Se desvió y optó por centrarse en el hecho de que el fondo activista “quebró por alguna razón” y preguntó a los presentadores si habían investigado esa información ellos mismos. Luego respondió diciendo que la IA está mejorando todo.
“Así que es realmente interesante, porque creo que nos estamos sumergiendo en una situación en la que estamos mejorando, mejor, mejor”, dijo Baszucki. “¿Pero le preguntarías la misma situación a alguien que pasó de un trabajo tal vez hipermanual fabricando automóviles a mano a una línea de ensamblaje? La línea de ensamblaje podría ser infinitamente mejor y al mismo tiempo no tener tanta gente. Entonces, creo que a lo que se refieren es a pasar cada vez más a la IA. Podría decirse que es mejor tener sistemas de IA que revisen cada imagen, cada fragmento de texto, todo eso, o seguir haciéndolo manualmente. Así que creo que fue un nombre inapropiado. Y creo que si entrevistas a alguien en nuestro equipo de seguridad o sistemas de seguridad, eso sería solo una parte de mejorar nuestros sistemas”.
Es en este punto que el estado de ánimo de Baszucki se volvió un poco nervioso, aunque no “frustrado”, como dijo en múltiples ocasiones, mientras aparentemente chocaba los cinco con Newton y Roose por “alinearse” con la decisión de la compañía de utilizar herramientas de inteligencia artificial para la moderación de contenido y “apoyar nuestra matriz de decisiones de Roblox”.
“¿Es esta una entrevista sigilosa en la que realmente te encanta todo lo que estamos haciendo y estás aquí para apoyarlo sigilosamente?” Preguntó a los anfitriones y luego agregó que está “emocionado de hablar”.
“Pensé que íbamos a hablar de cosas divertidas y divertidas en la industria y todo eso”, dijo Baszucki. “Así que no estoy frustrado, simplemente estoy descubriendo cuánto tiempo me divierto con ustedes y cuánto tiempo de diversión tenemos en comparación con este tipo de superconcentración. Pero estoy feliz de hablar sobre lo que ustedes quieran”.
Algo divertido de lo que Baszucki empezó a hablar fue de un hipotético “mercado de predicción dentro de Roblox” que Roose descartó. Una “idea terrible”, pensó Roose, y se preguntó si la compañía alguna vez consideraría permitir que los niños hicieran apuestas con la moneda Robux del juego”. Baszucki la llamó una “idea brillante” que le encanta.
“De hecho, creo que es una idea brillante si se puede hacer de forma educativa y legal”, dijo. “Y entonces, imagina que no hay Robux gratis, ni premios gratis, solo un juego llamado Dress to Impress Predictor, donde no es como intentar conseguir el dinero de los niños ni nada por el estilo. Sería un gran admirador de él”.
Al final, Baszucki pareció inflexible al defender el hecho de que las herramientas de moderación de contenido de Roblox están en constante evolución, señalando el filtrado de texto en el pasado y el escaneo facial en el presente como formas en que la compañía se preocupa por la seguridad de su base de usuarios.
Roblox Corporation ha sido objeto de un intenso escrutinio en los últimos meses luego de una Junio de 2024 Investigación de Bloomberg eso reveló que la plataforma está plagada de depredadores. Estados como Florida y Texas han demandado por lo que los legisladores dicen que es la empresa no hacer lo suficiente para proteger a los niños de la explotación y el acicalamiento infantil.
Ya sea Roblox o no, el problema con los depredadores de niños está comenzando a alcanzar un punto álgido. Según la agencia policial europea Europol, la sociedad europea está experimentando un fuerte aumento de redes criminales que convierten a los niños en armas para cometer crímenes violentos.
