Goodfire lanza una herramienta de bajo costo que vigila agentes de IA leyendo sus señales internas(techcrunch.com)
Idioma del texto: coreanoVer en el idioma original
Resumen sencillo
- Normalmente, para comprobar si un agente de IA se comporta mal, otra IA vuelve a leer su resultado. Goodfire dice haber presentado un método que lee las señales que el modelo calcula internamente mientras trabaja, mediante pequeños detectores llamados sondas.
- En las pruebas de la empresa, vigilar unas 1,500 sesiones del modelo Kimi K3 costó unos 51 dólares. La empresa afirmó que el mismo trabajo costaría 233 dólares con un modelo de IA barato que revisa cada paso, y unos 10.000 dólares con un modelo de primer nivel.
- En las mismas pruebas, el método detectó 94% de las sesiones de hackeo malicioso y envió 8.7% de las sesiones inofensivas a una revisión adicional. La empresa explicó que, aunque se ejecuten 4 sondas al mismo tiempo, el tiempo que tarda el modelo en empezar a responder aumentó en menos de 2%.
- Los clientes de Baseten pueden elegir qué vigilar entre hackeo, uso indebido de armas biquímicas y piratería de recompensas. Al encontrar algo, pueden decidir la respuesta entre registrar, revisión humana o rechazar la solicitud.
Encontrado en
TechCrunch ↗ / Publicado por la fuente
¿Te ha pasado algo parecido? Cuéntanos en una o dos líneas qué hiciste. No hace falta conocer el producto.