Astrobeam, un nuevo estudio de juego de realidad virtual, presentó su título de debut, Stellar Cafe, que es un escaparate para conversaciones de voz en tiempo real entre el jugador y la IA.
Creado por el ex cofundador y CEO de Owlchemy Labs Devin Reimer, Stellar Cafe es el primer juego de realidad virtual creado completamente en torno a una conversación con IA en tiempo real, utilizando modelos de idiomas grandes para permitir interacciones dinámicas sin guión al interpretar la entrada de voz y generar la salida de voz en tiempo real.
Es un nuevo juego de comedia innovador del equipo que, mientras estaba en OwlChemy Labs, hizo títulos como Vacation Simulator y Job Simulator.
Astrobeam también anunció que tienen licencia de la tecnología de seguimiento de manos de Owlchemy Labs, lo que permite a los jugadores navegar a través de la cafetería estelar utilizando solo sus manos y voz. Stellar Cafe se lanza a finales de este año para Meta Quest, y se estrenará hoy en The VR Showcase.
Mire el trailer de Stellar Cafe aquí.
Stellar Cafe te invita a entrar en un café vibrante y peculiar entre las estrellas donde el café está caliente y los robots tienen historias que contar. Depende de usted descubrir sus historias, personalidades y ayudar a resolver sus problemas.
Pero estos robots no son NPC estereotipados con diálogo con guión. Los clientes de Café estelar Recuerde lo que dice, responde con comprensión y contexto, y se revele a través de conversaciones que evolucionan a medida que las conoce.
“Stellar Cafe es nuestro primer paso hacia grandes posibilidades de cómo contamos historias e interactuamos en la realidad virtual utilizando la entrada de voz”, dijo Devin Reimer, CEO y fundador de Astrobeam. “Al combinar personajes artesanales con conversación de IA en tiempo real, estamos creando interacciones que se sienten naturales y reales. No estamos usando IA para reemplazar la creatividad, pero la estamos utilizando para permitir una nueva forma de interactividad a través de la voz”.
Jugando el juego
El Stellar Cafe es un lugar exclusivo de robots. Puede preguntarle a un robot con su voz que desea un batido (vea el video) con ketchup, mostaza y sabor. Y el robot responde de una manera sin guión, “Un batido de perros calientes que viene directamente”.
Es posible que no se dé cuenta de solo ver el video en sí, pero esos robots están respondiendo usando su propia inteligencia de IA. Es una señal de que AIS finalmente está a la altura de la noción de que pueden reemplazar los NPC con respuestas dinámicas e inteligentes.
En el café, llegas como humano. James, el robot barista, tiene este problema en el que hay una gran fiesta que está tratando de lanzar en unos días, pero ninguno de los robots tiene RSVP.
El robot Cindy, como ejemplo, está muy en podcasting, pero no puede ir a la fiesta porque necesita resolver un problema para que su patrocinador no la deje. Sigues volviendo al café, y hay un nuevo conjunto de Robts todos los días.
Esto es lo que puede esperar en Stellar Cafe:
- Un elenco peculiar de personajes que necesitan su ayuda: Conozca una variedad de robots en todo el café y charle con ellos para descubrir problemas que necesitan ayuda para resolver, ya sea ayudando a dejar su trabajo o convertirse en su primer invitado de podcast humano.
- Interacciones completamente libres de controlador: Navegue por el café como un verdadero local interestelar sin controladores ni menús requeridos, gracias a la entrada de voz y la tecnología de seguimiento de manos de Owlchemy Labs.
- Una copa fuera de este mundo de Joe: ¿Sentirse sed? Gracias a la conversación con AI, puedes charlar con el barista y colocar todo tipo de órdenes de bebidas cósmicas, ya sea que anhele un mocete mocano, un batido de algas astro o inventando tu propia brease galáctica sobre la mosca.
Orígenes
Astrobeam comenzó hace 2.5 años y tiene un equipo de seis personas, más algunos contratistas. La compañía recaudó una ronda de semillas de $ 3 millones a fines de 2023. El equipo tuvo que construir y experimentar sobre cómo hacer un juego que estaba impulsado por la voz.
Astrobeam fue fundado por Reimer, cofundador y ex CEO/CTO de Owlchemy Labs, los creadores de Job Simulator y Vacation Simulator. Astrobeam se centra en crear formas increíblemente naturales y altamente interactivas para interactuar con juegos y NPC que usan su voz.
Reimer dijo que el equipo ha estado trabajando durante más de dos años para descubrir qué significaría hacer juegos donde la voz era la verdadera entrada.
“Hasta ahora, ha habido algunos juegos que han usado voz. Hay juegos en los que tal vez dices una palabra en particular y tal vez detectar esa palabra y luego realizar una acción”, dijo Reimer.
Dijo que el equipo consideró lo que construiría si se tratara fundamentalmente del jugador, naturalmente hablando, en lugar de tener que encontrar cosas particulares que decir.
Reimer dijo: “Estamos trabajando muy duro en la construcción de la infraestructura del lado del servidor para manejar esta tarea realmente complicada de poder ingerir lo que está hablando, convirtiendo eso en el texto, ejecutando eso a través de nuestras indicaciones dinámicas y nuestros LLMS para obtener una respuesta, y luego devolver eso a acciones y también discurso, moviéndose de texto a discurso, todo dentro de este sentido de tiempo real, ¿verdad?”
Reimer agregó: “Estamos tratando de llevarlo al punto de que en realidad se sintió como una conversación y una de ida y vuelta con estos personajes. Y entonces tuvimos esa parte, y luego la otra parte es:” Una especie de “, ¿cómo incorporamos las cosas que queremos de un juego?
El LLM tiene que tener la inteligencia y el poder de procesamiento y la velocidad para lidiar con palabras, emociones, acciones, qué hacer a continuación y cualquier cambio en los objetivos.
“Todas esas cosas han sido increíblemente desafiantes, pero es una de esas cosas que, particularmente dentro de la realidad virtual, comienzas a sentir esta sensación de presencia con estos robots, de una manera que nunca antes había experimentado”, dijo Reimer.
Este es un problema tecnológico difícil, ya que los modelos de lenguaje grande de IA toman una gran cantidad de poder de procesamiento en los centros de datos para hacer lo que pueden hacer, reconociendo el lenguaje natural, en tiempo real. Es posible realizar parte del procesamiento en los dispositivos “Edge” como teléfonos o PC. Pero generalmente no es lo suficientemente capaz como para hacer mucho de ese procesamiento en tiempo real.
Entonces, el equipo de Reimer tuvo que “construir una tecnología del lado del servidor bastante compleja para manejar todos los pasos de convertir el texto en voz que se ejecuta a la calidad, alta velocidad, LLMS, y luego convertirlo de una manera que simplemente no pudimos hacer en los dispositivos mismos”.
“Eso es demasiado para las PC de hoy. Y para los dispositivos móviles, y luego para la realidad virtual, eso es insostenible”, dijo.
El técnico eventualmente llegará a través de tecnologías propuestas como la PC AI, que promete hacer mucho más procesamiento en el dispositivo Edge. Pero aún no está allí debido a la necesidad de baja latencia o tiempos de respuesta cortos. En este caso, el juego tuvo que ejecutarse en dispositivos Meta Quest 2 y Meta Quest 3, que son dispositivos VR independientes.
Una de las cosas que ayuda es que hay múltiples micrófonos en los últimos dispositivos Quest VR, y eso ayuda a recoger sonidos con buena calidad. La sensación de presencia con VR te hace sentir que estás sentado frente a un NPC que te está hablando.
“En el lado de la conversación en tiempo real, necesitamos estas respuestas en cientos de milisegundos para asegurarnos de que tengamos algo que se sienta como una conversación natural. Así que estoy seguro de que llegará allí en algún momento”, dijo Reimer. “Pero también creo que habrá este empuje y atracción donde, a medida que la tecnología mejore en el lado del dispositivo de las cosas, la calidad de los LLM que queremos ejecutar aumentará. Por lo tanto, será como perseguir estas cosas por un tiempo. Y es por eso que nos volvimos bastante convencidos de eso, como construir una buena arquitectura del lado del servidor sería la llamada correcta por algún tiempo”.
Algunas de las ideas se remontan a años. Pero, de repente, comenzó a haber un montón de cosas que sucedieron al mismo tiempo en el aprendizaje automático que comenzó a permitir que la firma fuera mejor calidad de palabras, cosas de mejor generación en el texto para hablar, cosas mejores en el razonamiento, que es tan grande, dijo Reimer.
Reimer dijo que siempre ha tratado de cruzar las barreras tecnológicas mientras diseña juegos divertidos. Job Simulator fue un buen ejemplo, donde era un juego de comedia establecido en un espacio de realidad virtual de computación espacial.
“Nos permitió ir y probar todas estas cosas en un entorno en el que las personas eran más receptivas para probar estos diferentes tipos de cosas. Algunos funcionaron, otros no funcionaron, pero nos permitió allanar el camino allí. Vi la misma oportunidad por aquí, donde definitivamente fue un tiro largo si vamos a poder lograr esto. Pero estoy muy feliz de que me haya tomado el camino porque comenzó a ir a reunirnos, dijo Reimer.
Las sesiones de juego duran alrededor de 30 minutos a 40 minutos hasta ahora, y aunque eso parece largo, es un largo tiempo en un medio donde a veces las personas no duran mucho. En una sorpresa para mí, Reimer dijo que no hay líneas con guiones. Todo el diálogo es dinámico.
El juego se centra en un grupo de edad de más de 13 años, por lo que ha tenido que pasar mucho tiempo construyendo rieles de guardia mientras estaba fuera del manguito en personalidad al mismo tiempo. El equipo tiene que descubrir qué tipo de comentario es apropiado para la edad. Reimer dijo que su equipo ha estado aprendiendo cosas y está ansioso por compartir algunas de las lecciones sobre cómo pensaron en los problemas desafiantes y llegaron al punto en que podrían anunciar el juego.
“Es un gran viaje. Estoy muy emocionado de que la gente vea esto. Una de las cosas que ha sido tan increíble a través de esto es que hemos estado haciendo pruebas de juego entre personas”, dijo Reimer.