一人指挥无人机机队：Skydio 自主系统栈与端云 Agent 编排内幕

Gracias a todos los que vino. Entonces, nosotros Hablemos de cómo usar orquestación de agentes para control en grandes cantidades varios drones para realizar tareas que preséntate ante nosotros. I Decidí cambiar algo Formato de presentación: en lugar de solo ve a diapositivas, lo haremos volar. Entonces, aquí A la izquierda verás tiempo real de qué Lo haremos ahora. ¿Estoy mostrando algo? Bueno, yo Estoy volando. Aquí, por favor. . Clase. DE ACUERDO. Estamos en algún lugar. aquí, en una ciudad del sur donde se encuentra el nuestro sede. Tenemos en el aire unos pocos drones. Y presiono " lanzamiento". Estos son drones que están en el muelle estaciones. Nosotros A estos los llamamos drones infraestructura. Ahora hay miles de ellos Drones ya desplegados en todo el país—en energía empresas, servicios seguridad pública y construcción empresas. Y ahora yo simplemente usando teclado a Vuela hasta aquí. Para aquellos que ¿Quién sabe esto? área, esto es San- Mateo. Tal vez si yo Me acercaré un poco más, nosotros Ya veremos pronto contorno perceptible horizonte de San Francisco Francisco, aunque " ciudad con niebla » Siempre así. Nosotros podemos simplemente para saludar Aeropuerto de San Francisco aquí. Algunos aviones despegar. Si en alguien tiene una aplicación para seguimiento de vuelos , puedes ver, ¿Qué está pasando en? tiempo real. Nosotros estamos desarrollando un completo pila de autonomía: cómo vehículo ¿Funciona de forma autónoma? Como Aquí funciona la computación en la nube. ¿sistema? Cómo funciona ¿Servicio en la nube? Y en ¿Qué niveles se necesitan? inteligencia y automatización para que podamos podría implementar esto ¿seguramente? Para que cuando yo aquí digo: "Oh, aquí Hubo un incidente, yo Tengo que reaccionar, yo podría al mismo tiempo vuelve aquí y preguntar: "¿Qué hay ahí arriba?" tiene lugar en ¿Al otro lado del país? ¿Y si lanzamos? ¿Está ahí el dron? Entonces, mientras esto Sucediendo, estoy ahora Lanzaré un dron a Colorado. Imagínate que dio en las líneas transmisión de potencia, y nosotros eran necesarios vista. Entonces, doctor- estación en Colorado abre hasta primer dron continúa a salvo vuelo. Eh, y yo solo Lo dejaré. hacer todo controles necesarios seguridad antes lanzamiento. Y todo esto sucede porque conferencias Wi-Fi, así que imagina lo que puedo hacer cierra tu portátil ahora mismo, y todo tiene para estar seguro al fondo. Ejem, así que lo haré mientras El primero se ejecuta parte. Permítame, volvamos a El primer dron. I Voy a darle más. una instrucción. Vamos a echar un vistazo. alrededor desde el primero zumbido. Segundo dron Parece que ha comenzado. Y, tal vez vayan allí algunos coches que nosotros podría rastrear. Entonces, vamos Vamos a rastrear lo que hay aquí. ¿Qué hace esta máquina? DE ACUERDO. Así que ahora estamos estamos haciendo un seguimiento de esto auto.

Tal vez esto el coche de la huida y La necesitábamos buscar. Y la mía Ahora tienes las manos libres. Él sistema autónomo hace todo. Y esto no es solo seguimiento detrás del auto, pero también una opción más. Y ahora esto auto, quizás gire. Entonces, drone puede reaccionar y tratar de mantener este auto en marco, cambiando la posición de la cámara y el dron, pero de hecho esto dron que ahora gira y nosotros podemos volar detrás de él. Y si de repente él acelera, podemos Acelera el dron, pero no es tan rápido, y él puede girar aquí. Y tal vez este dron ahora se dará la vuelta y Síguenos. De hecho, en En este punto, no toco. al dron. Él lo hace todo completamente de forma autónoma. Y entonces nosotros aquí podemos continuar realizar la tarea. Pero para que no aburrido, mientras este dron está volando, Podemos volver a El primer dron. Entonces, la estación de acoplamiento. en Colorado abrió. Drone allí encendido, él completó todas las comprobaciones necesarias y nosotros puede simplemente despegar. Entonces ahora yo Puede pedirle que vuele. a la escena del incidente, pero esto No es solo un dron. Esto es todo un grupo de drones que están en Colorado. Y mientras él toma apagado, nosotros podemos volver a nuestro primer zumbido en California, donde todavía estamos estamos haciendo un seguimiento de esto auto. Y él lo es. el coche se escapa. Mira lo que nosotros lo que hacemos aquí, y cómo el dron reacciona a los movimientos de este auto. Así que esto que tengo aquí para ti mostró, no lo es Solo un concepto. Él sistemas que ya están en realidad utilizado en producción.

Como ya mencionado, nosotros mayor productor drones en los EE. UU., y nosotros queremos dar gente superpoderes gracias a esta tecnología. Vamos rápido. Veamos qué hay de algunos de la gente de aquí. Él , eh, noreste la costa de los Estados Unidos, donde nuestro el cliente instaló sistema al lado de central eléctrica y ellos usan esto para comprobar subestaciones, y también líneas transmisión de energía, especialmente durante fuertes heladas. Por lo tanto, pueden reaccionar rápidamente a incidentes, sin tener que enviar a una persona a lugar. Si hay una avería en línea de transmisión de energía, nosotros podemos volar lejos, comprobar qué sucedió, y nosotros puede hacer esto completamente autónomamente. No solo esto, tenemos cientos de estas bases instaladas por todo el país, incluyendo empresas de servicios públicos en Florida, que usan drones para inspeccionar daños después huracanes, y servicios de seguridad pública, que usan drones para monitorear situaciones complejas. Y esto no es solo un dron, es toda una red de drones que trabajan juntos. Por ejemplo, en una ciudad, podemos tener múltiples drones que responden a diferentes llamadas al 911 al mismo tiempo. Un dron puede estar monitoreando un incendio, mientras que otro está rastreando un coche sospechoso, y un tercero está inspeccionando una línea eléctrica caída. Y todo esto se gestiona desde una única interfaz centralizada. Esta es la verdadera escala de esta infraestructura, que permite servicios seguridad y energético empresas usa esto tecnología para respondiendo a incidentes sin necesito viajar a lugar. Así que lo que realmente sucede, ¿Cuándo es esto? ¿Escalable?

Levanta la mano, ¿quién? alguna vez logrado ¿zumbido? Varias manos. Cuando empecé a volar Lo necesitaba unas horas para realmente lo entiendo. Luego probé FPV, fue aún más difícil. Y eso es lo que pasa cuando tienes un operador por cada dron: tienes que entrenar a cada uno de ellos, tienes que darles licencias, tienes que asegurarte de que sigan las regulaciones de la FAA, y tienes que pagarles. Y si quieres tener diez drones volando al mismo tiempo, necesitas diez pilotos. Si quieres tener cien drones, necesitas cien pilotos. Y en el mundo real, eso simplemente no escala. Si hay una emergencia, no puedes esperar a que un piloto llegue al lugar, saque el dron de la maleta, configure la conexión y empiece a volar. Necesitas que el dron ya esté allí, en su estación de acoplamiento, listo para despegar en segundos. Y no puedes tener a un piloto dedicado sentado esperando que ocurra un incidente. Lo que necesitas es un sistema donde un solo operador pueda supervisar diez, veinte o cincuenta drones al mismo tiempo. El operador no debería estar preocupado por cómo volar el dron, cómo evitar los árboles o cómo aterrizar con viento cruzado. El dron debería saber cómo hacer todo eso por sí mismo. El operador solo debería decirle al sistema: "Ve a investigar este incidente en la calle 5" o "Monitorea este cruce de tráfico", y el sistema debería encargarse de todo lo demás. Hoy todos deberían ser calificado piloto. Aprobé. a través del proceso proceso de dar un título. A mí es necesario pensar en normas de seguridad, pero puedes imaginarlo, que en unos pocos años seguridad se determinará sistema autónomo, y la interfaz se convertirá en algo mucho más simple, donde simplemente interactúas con un agente que entiende lo que quieres hacer y lo traduce en acciones para los drones. Pero para llegar allí, necesitamos resolver algunos problemas técnicos muy difíciles en el vehículo en sí: cómo percibe el mundo, cómo navega sin GPS, cómo evita obstáculos dinámicos y cómo se comunica con la nube de manera confiable. Y no solo en un día soleado en un parque, sino en las peores condiciones imaginables: vientos fuertes, lluvia, niebla, cañones urbanos donde las señales de satélite rebotan en los edificios, y de noche. ¿Cómo corregir comportarse en ello— a gran altitud, en tiempo nublado o alta velocidad. Como estamos trabajando durante ¿lluvia?

Abajo a la izquierda estamos mostramos cómo La navegación funciona en ciudades. ¿Cómo estamos? planeamos a gran escala y ¿Cómo implementar esto? Cualquiera que trabajó con cualquier Dispositivo GPS en la ciudad, incluso con un teléfono, sabe que ellos trabajar lo suficientemente duro malo. ¿Y nosotros? ¿Para hacerlo de forma fiable? Y ¿Cómo lo hacemos? seguimiento cuando hay ¿Muchos obstáculos? Él todas esas áreas donde nosotros pensamos en cómo enseñar sistemas de inteligencia artificial para navegar usando cámaras y sensores a bordo, sin depender de señales externas como el GPS. El dron tiene seis cámaras de navegación con vista de 360 grados, que capturan millones de puntos por segundo. Usamos odometría visual-inercial para calcular la posición exacta del vehículo en el espacio tridimensional en tiempo real, con una latencia de milisegundos. Esto significa que si el dron pierde la señal GPS debajo de un puente o entre rascacielos, no se desorienta ni se estrella; continúa navegando con la misma precisión basándose únicamente en lo que ve. Pero la percepción visual no es suficiente; también necesitas saber cómo transmitir toda esa información crítica de vuelta a la nube cuando la conexión es débil. Si estás volando en una zona rural o en medio de un desastre natural donde las torres de telefonía celular están dañadas, el ancho de banda disponible puede ser extremadamente bajo. Y aquí es donde entra en juego nuestra tecnología de compresión de video. En lugar de enviar un flujo de video estándar que se congelaría o se pixelaría por completo con poco ancho de banda, desarrollamos algoritmos de codificación que priorizan las partes más importantes de la escena: los objetos en movimiento, las personas, los vehículos, mientras comprimen agresivamente el fondo estático. Esto nos permite mantener un enlace de video fluido y nítido con latencias inferiores a un segundo, incluso en conexiones celulares de menos de un megabit por segundo. Esta división entre lo que se procesa a bordo y lo que se envía a la nube es fundamental para nuestra arquitectura de autonomía. No puedes poner todo en la nube porque la latencia te mataría si necesitas evitar un cable eléctrico a 30 millas por hora, pero tampoco puedes poner todo en el dron porque el peso y la potencia de procesamiento están limitados por la batería. Así que tienes que dividir cuidadosamente la pila de autonomía: la seguridad crítica y la evitación de obstáculos ocurren en el borde, en el dron, en bucles de control ultrarrápidos, mientras que la planificación de alto nivel, la coordinación de flotas y el análisis semántico pesado ocurren en la nube, donde tenemos acceso a clústeres enteros de GPUs. Lo que soy Te lo mostré antes, toda esta transmisión de video,

toda la telemetría—toda Esto pasa servidor en la nube. Nosotros podemos personalizar procesadores gráficos y mecanismos salida, de modo que para rendir más tareas difíciles, tal vez, a largo plazo planificación, mientras inmediato autónomo La acción tiene lugar en drones, y siempre tomamos en cuenta compromisos que necesario para el éxito. Sin embargo, vale la pena tener en cuenta que como Estás empezando pensar en colocando su agentes en la nube, la cantidad de datos que acercándose a ella desde cientos de drones desplegados simultáneamente es astronómica. No se trata solo de recibir video, sino de coordinar flotas completas en un mapa tridimensional dinámico. Imagina una ciudad donde tienes cincuenta estaciones de acoplamiento. Un dron despega de la estación A para inspeccionar una fuga de gas reportada, pero en el camino se encuentra con un incendio. El sistema en la nube debe ser lo suficientemente inteligente como para redirigir ese dron a la emergencia más crítica, mientras envía otro dron desde la estación B para completar la inspección original. Y al mismo tiempo, debe gestionar los niveles de batería, predecir el clima local, evitar las zonas de exclusión aérea temporales impuestas por la policía o los bomberos, y asegurarse de que ningún dron interfiera con helicópteros de rescate tripulados. Este nivel de optimización global requiere modelos de optimización combinatoria y razonamiento espacial que simplemente no caben en una computadora a bordo de 15 vatios. Además, cada vuelo genera información nueva sobre el mundo: una nueva grúa de construcción que no estaba en el mapa de ayer, un árbol que creció y ahora está demasiado cerca de una línea de alta tensión, o una carretera que ha sido cerrada. Si cada dron opera en un silo aislado, ese conocimiento se pierde. Pero cuando todos los drones alimentan un cerebro central en la nube, cada vuelo hace que todo el sistema sea más inteligente. Construimos lo que llamamos un gemelo digital continuo del espacio aéreo y de la infraestructura terrestre. El dron descarga la versión más reciente de este mapa antes de despegar, lo que le da una conciencia previa de los obstáculos estáticos, y durante el vuelo, sube cualquier discrepancia que encuentre para que el mapa se actualice para el siguiente dron. Esto es especialmente crítico para las inspecciones de líneas de transmisión de potencia o carreteras, si fuera necesario comportamiento diferente en estos zonas, y pensamos sobre cómo com-

binar estos recursos, de modo que eventualmente finalmente crea un mapa, por el cual podemos planificar y navegar y el dron tiene conocimiento de este mapa en cualquier momento, para poder moverse . Pero, como cualquier mapa, los mapas pueden obsoleto. Afortunadamente , tenemos muchos ojos en cielo para pensar cómo apoyar y Actualizar estos mapas. A la izquierda imponemos nuestro conocimiento del mundo en forma de puntos en nuestro video. Sin embargo, esto No todo es perfecto coincide. Aquí hay discrepancias entre lo que el mapa previo decía y lo que las cámaras del dron están observando en este instante preciso. Tal vez un edificio fue demolido, o se instaló una nueva estructura temporal. Nuestro sistema de mapeo dinámico detecta estas anomalías en tiempo real y actualiza la representación implícita de la escena. Esto nos lleva a uno de los problemas más fascinantes en robótica y visión por computadora: la permanencia del objeto y la comprensión semántica profunda. Cuando un dron está rastreando un objetivo, como un vehículo o una persona sospechosa, el mundo real está lleno de oclusiones. El objetivo se mete debajo de un puente, entra en un túnel, o pasa detrás de un grupo denso de árboles. Un sistema de detección visual tradicional basado en cajas delimitadoras 2D simplemente perdería el rastro en el momento en que los píxeles del objetivo se ocultan. Pero un cerebro humano no olvida que el coche sigue existiendo solo porque no lo puede ver; predice su velocidad, su dirección probable y anticipa por dónde volverá a emerger. Estamos incorporando exactamente este tipo de razonamiento en nuestros modelos de aprendizaje automático. Combinamos modelos de seguimiento basados en filtros de Kalman y redes neuronales recurrentes con representaciones 3D implícitas del entorno, lo que permite al dron razonar: "El coche blanco desapareció detrás de este edificio de tres pisos a 40 millas por hora; por lo tanto, debería reaparecer en la intersección sur en aproximadamente cuatro segundos". Y el dron puede ajustar proactivamente su trayectoria de vuelo para posicionar la cámara en el ángulo óptimo para recuperar el contacto visual en cuanto el objetivo salga de la oclusión. Estos modelos de seguimiento predictivo se ejecutan en parte en el dron para reacciones rápidas, pero cuando el objetivo se pierde por completo o la escena es demasiado ambigua, podemos escalar el problema a la nube para ejecutar modelos de reidentificación mucho más pesados que buscan en múltiples cámaras de diferentes drones que operan en la misma área. Así que esto es permite mejor navegar todo el mapa.

Tal vez, puede ser mejor pensar en usando más pesado modelos, aplicación de VLM, que, tal vez no respondan tan rápido, por ejemplo , con una frecuencia de 7–10 hercios, pero pueden dar comentarios de con un retraso de 1–2 artículos de segunda clase; Sin embargo, esto suficiente para adopción de general decisiones relativas a ¿Adónde ir? Para muchos de nuestros clientes que están investigando escenas complejas, no se trata solo de seguir un objeto preseleccionado, sino de entender qué está pasando en la escena a un nivel contextual profundo. Un operador humano no quiere tener que dibujar un recuadro alrededor de cada persona o vehículo. El operador quiere poder escribir o decir en lenguaje natural: "Encuentra al individuo que lleva una mochila negra cerca de la cerca perimetral" o "¿Hay algún trabajador en esta obra de construcción que no lleve casco de seguridad?". Y aquí es donde los Modelos de Visión y Lenguaje (VLM) cambian por completo las reglas del juego. El VLM actúa como un agente de razonamiento perceptivo. Recibe la transmisión de video del dron junto con la consulta en lenguaje natural del usuario, descompone la consulta en subobjetivos y formula hipótesis sobre la escena. Mientras el dron mantiene una trayectoria de vuelo segura y estable gracias a sus bucles de control locales, el VLM en la nube escanea continuamente los fotogramas clave, identificando objetos semánticos y evaluando relaciones espaciales. Cuando el VLM localiza al objetivo descrito, no intenta controlar directamente los motores del dron con salidas continuas, lo que sería propenso a errores y alucinaciones catastróficas; en su lugar, utiliza un enfoque de llamada a herramientas (tool calling). El agente tiene acceso a un conjunto de herramientas de API bien definidas expuestas por la pila de vuelo de Skydio: una herramienta para "adquirir objetivo de seguimiento", una herramienta para "hacer zoom óptico", una herramienta para "orbitar alrededor del punto de interés" o una herramienta para "cambiar a modo de evitación agresiva". El VLM simplemente emite una llamada a la herramienta: track_target(object_id=42, distance=50), y el sistema de control determinista a bordo del dron toma el relevo, ejecutando la maniobra física con todas las garantías de seguridad matemática. Esto crea un puente robusto entre el razonamiento simbólico y difuso de los modelos de lenguaje y la precisión determinista y en tiempo real que exige la física del vuelo autónomo. Es la combinación de pensamiento lento y pensamiento rápido: el VLM en la nube piensa despacio sobre el significado y la intención, mientras que el controlador a bordo piensa rápido sobre la aerodinámica y los obstáculos inmediatos. Esto proporciona al usuario herramientas para comprender la condición drones y adopción soluciones basadas en información disponible y contexto.

Y hay más a largo plazo una visión que a menudo presente en la comunidad desarrolladores no tripulado transporte o cualquier ¿Qué robótica? sistemas. ¿Y si nosotros...? podría simplemente proporcionar datos brutos de sensores y obtener ¿Resultado ideal? Quizás sea esto. activación, que está sucediendo, tal vez aquí es donde dron guiado, tal vez aquí es donde Él vuela, y nosotros, Ciertamente, estamos llevando a cabo muchas pruebas con aprender de refuerzo y modelos de fundación de robótica de extremo a extremo (end-to-end), donde una única red neuronal masiva ingiere píxeles crudos de las cámaras y escaneos de sensores, y predice directamente las velocidades de los rotores o los comandos de velocidad angular. Hay una elegancia teórica innegable en ese enfoque: elimina las tuberías diseñadas a mano, evita las pérdidas de información entre los módulos de percepción, mapeo y control, y permite que el sistema aprenda comportamientos acrobáticos o adaptaciones sutiles que ningún ingeniero humano podría programar explícitamente. Sin embargo, en el mundo real de la infraestructura crítica, la energía y la seguridad pública, la explicabilidad y las garantías formales de seguridad no son lujos opcionales; son requisitos regulatorios absolutos. Si un dron se estrella contra un transformador de 500 kV o cae en una multitud, no podemos simplemente encogernos de hombros y decir: "La red neuronal se confundió en una dimensión latente desconocida". Necesitamos poder probar matemáticamente que el sistema de evitación de colisiones nunca permitirá que el dron se acerque a menos de dos metros de un obstáculo conocido, independientemente de lo que decida el planificador de alto nivel. Es por eso que, al menos para el futuro previsible, creemos firmemente en una arquitectura modular pero profundamente integrada. En lugar de un monolito de extremo a extremo, vemos la pila de autonomía como una plataforma de servicios gobernada por APIs limpias y sólidas. En la capa inferior, tienes la física y la seguridad crítica: estimación de estado, evasión reactiva de obstáculos y control de motores, todo certificado y garantizado para no fallar. En el medio, tienes la percepción espacial, el mapeo continuo y la navegación deliberativa. Y en la cima, tienes la capa de agentes y orquestación en la nube. Esta arquitectura no solo es más segura y más fácil de certificar ante agencias como la FAA; también es inmensamente más flexible. Nos permite incorporar diferentes tipos de vehículos: drones pequeños para interiores, drones de largo alcance de ala fija, y todo esto en en el campo de la infraestructura . Entonces, pueden ser huir de cualquier ¿Qué lugar? regresar a cualquier lugar, y, en última instancia, esto el punto ideal donde nosotros Podemos empezar rápidamente construir nube solución para coordinación de estos dispositivos. Creemos sobre esto como una disposición estos sistemas básicos API de interacción a las que Los agentes en la nube pueden conectar y decidir. Y, Después de todo, permite usar pensamiento elevado nivel durante la ejecución de misiones críticas sin comprometer la seguridad física básica. Hemos pasado de una era en la que volar un dron requería toda la concentración de un humano experto, a una era en la que un solo operador puede supervisar flotas globales de robots aéreos autónomos. Comenzamos con teléfonos móviles —ahora forzamos que vuelen. Por lo tanto, ven a saludar o consulta nuestra sitio web. Yo estaría feliz. para charlar más. Gracias.