Construido sobre la plataforma Workers existente de Cloudflare, Dynamic Workers utiliza aislados V8 para ejecutar código generado en tiempo de ejecución, a menudo por LLM, sin requerir un contenedor completo o una máquina imaginario.
“Un aislamiento tarda unos milisegundos en iniciarse y utiliza unos pocos megabytes de memoria”, dijo Cloudflare en una publicación de blog. “Eso es en torno a de 100 veces más rápido y entre 10 y 100 veces más válido en memoria que un contenedor distintivo. Eso significa que si desea iniciar un nuevo aislamiento para cada solicitud de usufructuario, bajo demanda, para ejecutar un fragmento de código y luego desecharlo, puede hacerlo”.
Cloudflare está combinando el tiempo de ejecución con su enfoque de “Modo de código”, que alienta a los modelos a escribir funciones breves de TypeScript en API definidas en ocasión de reconocer de múltiples llamadas a herramientas, un método que, según la compañía, puede disminuir el uso de tokens y la latencia.
About The Author
