从零构建主权基石模型：Sarvam 3B 状态空间视觉模型的演进与突破

DE ACUERDO. Eh, hola. todos. Buen día. I Krishna. Eh, yo gerente general en Sarvam. Hoy yo Te diré cómo. modelo de 3 mil millones parámetros, suficiente pequeño para trabajar en una sola GPU, alcanza el mejor resultados en Documento de IA y supera a los modelos que 100 veces más grande. Él también algo modelo inusual en dos aspectos. En- Primero, el modelo de lenguaje, que se utiliza no es estándar transformador. Y todo proceso de creación modelos, desde datos hasta capacitación y cálculos, fue hecho completamente en India. Y para Inglés y 22 oficial indio lenguas que, en mi opinión, es uno de el más difícil problemas intelectual procesamiento de documentos en mundo. Así es como lo hacemos han recorrido un largo camino desde cero al liderazgo. ¿Quiénes somos? Somos Sarvam, una empresa que crea soberano modelos básicos en India . Trabajamos con diferente modalidades: voz, Texto e imagen. En el campo Tenemos voz modelos de conversión conversión de voz a texto y texto a voz. EN En el texto tenemos modelos por 30 y 100 mil millones parámetros. Y al amanecer tenemos un modelo intelectual procesamiento de documentos, sobre lo cual hoy y Hablemos. India en gran parte ausente en legible por máquina mundo. De acuerdo con publicado investigación distribución de lenguas, significativamente menos del 1% del cuerpo común Gatear, en el que formación avanzada modelos, presentados en lenguas indias. En muchos foros Es posible que hayas oído hablar de cómo laboratorios avanzados Dicen que India es uno de sus el más grande y de rápido crecimiento mercados, y sin embargo India datos faltantes modelos avanzados, quienes entrenan todos los días. ¿Porqué es eso? El principal no por falta datos o falta de ellos conocimiento. Y porque estos Los datos nunca fueron digitalizado. Y nosotros en Sarvam nosotros resolvemos esto problema.

Por qué indio intelectual El procesamiento de documentos es ¿complicado? En primer lugar, El objetivo es extracción de conocimiento, no Solo texto plano. Solo para retirar texto sin lógica No hay coherencia significado. En segundo lugar, en escritos indios la forma de las palabras y el lenguaje que ya ves, muy diferenciarse de de lo que ve máquina. Eso es Las lenguas indias tienen conjunto complejo caracteres Unicode, interconectados. Hacer todo correcto, idioma El modelo debería ser fuerte en los 22 idiomas. En tercer lugar, la mayoría de los indios Los idiomas pueden ser considerados bajos recursos, debido a lo que hoy faltan datos para formación como modelos. Nuestro La respuesta a esto es Sarvam. Vision, la primera en India soberano visualmente- modelo de lenguaje, creado desde cero, con 3 miles de millones parámetros y arquitectura espacio de estados. Datos , cálculos y aprender, todo eso fue Hecho en India. Cuando comenzamos trabajo inicial a finales de 2025, La mayoría de los VLM en el campo Los sistemas OCR eran monolíticos. Realizaron OCR en incluso páginas, y nosotros en ese momento lo hizo una tasa inusual para OCR bloque por bloque, agregando alrededor sistema modelo niveles de dificultad documento. Muchos modelos lanzados recientemente en 2026, llegamos a la misma conclusión paradigmas « complejidad más pequeña modelo" para OCR, que confirma el valor el camino que hemos elegido. Servam Vision, en particular, tiene dos módulos complejidad: uno para diseño, otro para lectura, así como VLM en basado en el espacio estados para Reconocimiento óptico de caracteres (OCR) bloque por bloque.

Por lo tanto, ¿Por qué estamos aquí hoy? utilizamos espacio de estados, no ¿transformador? OCR más moderno -modelos como VLM genérico o de código abierto como Gwen, Gemma, etc. construido sobre transformadores. Nosotros elegido alternativa acercarse, utilizando SSM. ¿Por qué? Ambos arquitectura—esta modelos secuenciales, pero con un radical mediante diversos mecanismos trabajar. Transformador fuerza cada ficha interactuar con todos otros, donde los cálculos están creciendo proporcional al cuadrado longitudes secuencias. Él interacciones L sobre L. Y La memoria también aumenta con aumento longitudes secuencias. CON Por otro lado, los SSM tienen estado único. Ellos apoyarse mutuamente condición en general secuencias, refrescando su paso paso a paso Porque Los cálculos están aumentando lineal, volumen memoria para SSM restos permanente. ¿Por qué ocurre esto? correcto ¿Arquitectura para OCR? Todo depende de equilibrio de beneficios y desventajas. Especialmente por mucho tiempo documentos, donde la página puede ser de 5 a 10 mil fichas visuales. Cuadrático complejidad computacional y la memoria se vuelve muy caro para Salida de datos. CON por otro lado, usar SSM para OCR bloque por bloque con alguna pérdida recuerdo justificado, de modo que evitar alto costos de computación, inherente transformadores.

Por lo tanto, ¿Cómo hacemos esto exactamente? ¿Estamos entrenando? Nosotros construyó una fase programa de cuatro etapas. Cada Residencia en anterior: primero etapa—esta es la anterior entrenamiento solo en texto. 13 billones fichas en inglés, en lenguas indias, matemático fórmulas y código. Esto forma el lenguaje base de 3 mil millones parámetros. Fuerte prioridad lingüística permite el modelo identificar borroso o texto ambiguo de la imagen. Sí tal como puedes lee hasta la mitad borra la palabra, porque ¿Sabes qué palabra es? estar en este lugar. Por lo tanto, nos centramos sobre la creación de un lenguaje Competencias modelo incluso antes de ella ¿Viste algo? al menos un píxel. La segunda etapa es continuo formación previa en 300 millones de pares imágenes y textos. Esto enseña el idioma modelo general visual posibilidades, espectáculos, cómo ver, cómo interpretar píxeles, etc. Más Se acerca la tercera etapa, donde nosotros realizó una guía educación adicional para 100 millones de muestras de OCR. Así pues, la tercera etapa enfocado en, para hacer un general El modelo VLM es potente en LOC. Esto incluye varios datos en los 22 idiomas y en inglés, así como usando todo tipo de componentes documentos tales como tablas, ecuaciones, manuscritos, etc. En cuarta etapa se aplica aprender de refuerzo, que ayuda a superar el límite de lo que es posible para lograr un resultado manejable formación adicional. Aquí tiene ya ves el estándar receta. Sin embargo, el principal ventaja—hay dos niveles inferiores: nivel datos y nivel evaluación. Primero- Este es un mecanismo para trabajar con datos. Para la mayoría De los 22 idiomas, ninguno está listo. datos marcados. Cuando esté marcado Los datos no existen, creación de un mecanismo El procesamiento de datos se convierte en una tarea difícil. Y Esto es lo que hicimos en a gran escala. Nosotros cintas transportadoras construidas crear datos sintéticos y datos de datos reales documentos. Y también ayudó a crear transportador para permanente mejora de datos, quienes van a estudiar, Residencia en resultados evaluación, etc. Entonces ya estamos activos en vista de el paradigma RLM, explorador capacidades del agente visión para nuestra modelos en el futuro lanzamientos. Segundo la ventaja es evaluación. Usted no ¿Puedes lograrlo? el mejor resultados, si no puedes medir, qué tan bien Tu modelo funciona. Recogimos evaluaciones exhaustivas, para asegurarnos de que Nuestros indicadores son verdaderamente líderes y significativo para final usuarios. Quiero Tómate un minuto nuestra cinta transportadora aprender de reforzamiento. Cuarta etapa, porque significativo aumentar productividad se logra precisamente Gracias a RL. En OCR la corrección es la tarea que siendo revisado en coche, ¿verdad? Se puede personalizar muchas pruebas para animar y evaluar modelos en basado en el creado muestras. Y en mundo OCR determinista todo esto está sujeto a inspección de máquinas. Por lo tanto, RL nos da aumento significativo. Selección y evaluación de grupos mediante pruebas unitarias, fijación resultados para superando los promedios indicadores y luego repitiendo el proceso. Esto es lo que RLVR hace por el OCR. muy muy escalable.

Después toda la formación con desde cero y trabajando con datos, pudimos conjunto avanzado indicadores en pruebas globales para inglés. Uno de ellos es el banco ULMO CR, otro: banco OmniDoc. En el momento en que lanzamos obtuvo 84.3 puntos en ULMO CR y 93,2 en el banco de pruebas OmniDoc. Modelos, que han salido desde entonces, cambió significativamente el estado asuntos, y pronto en Apareceremos modelo más potente en Clasificación mundial . En segundo lugar, y lo que es más importante importante, a los 22 años lenguas indias nosotros tenemos una innegable ventaja incluso comparado con todos modelos avanzados, como Gemini, ChatGPT, Opus etc. Aquí es donde estamos. ampliamos significativamente nuestra separación y permanecemos fuerte en comparación con todos estos más nuevos modelos que apareció. Ahora Sarvam La visión proporciona nuestro trabajo plataforma de agencia para intelectual procesamiento de documentos llamado Akshar, donde nosotros estamos implementando digitalización, extracción y Introducción adicional datos con participación persona para resolver diversas tareas. Nosotros proporcionamos indicadores confianza, utilizamos bloquear justificación y también la posibilidad Corrección de textos de agencia etc. Puntos de referencia y estándares modernos— Este es uno. Tienen los suyos propios lugar. Hoy algunos de los más grandes empresas en el mundo, de seguros y bancario a las instituciones gubernamentales y organizaciones con preservación patrimonio histórico, usar Sarvam Visión para la digitalización más de 35 millones páginas en inglés y 22 indios idiomas. Modelo disponible a través de API, para local despliegue y cómo plataforma de agencia. Así pues, en conclusión, hasta hace 4 meses en India no tenía ninguno propio soberano modelos. Hoy en Tenemos Sarvam Vision, que enseñó desde cero, y ella nuevos establecidos estándares por precio, lo cual es extremadamente competitivo comparado con todos otras soluciones, incluyendo abierto y cerrado. En primer lugar, comenzamos con la solución algunos de el más difícil problemas intelectual procesamiento de documentos en lenguas indias. Pronto lo haremos liberemos VLM universal- modelos con mucho mayores oportunidades vista, y con avidez Los estamos esperando a todos. prueba los nuestros modelos. Gracias. Contento para responder cualquier ¿Qué preguntas?

Sí. Sí. Sí, definitivamente. En general, el lenguaje 22 idiomas disponibles mejorar significativamente Idioma en Inglés. Y esto aplicable a cualquier que los recursos bajos lenguaje, no solo para Indio. Sí. Verdadero. No estamos del todo mudándose en este dirección con esto modelo, porque está enfocado en visualizaciones donde nosotros nos centramos en extracción de información o conocimiento de documentos. Pero sí, puede ser seguro paralelismos que modelos de ayuda usar lenguajes comunes para aceleración codificación. Pero sí, esto no está dentro del alcance de este trabajo. Sí. Verdadero. Entonces, hay dos cosas. Creamos documentos artificiales o sintéticos, como ellos llamado, para publicación general- capacitación que incluye SFT y RL. Sin embargo, Pasando al tuyo específico preguntas sobre RL, nosotros no...puedes generar documentos sintéticos y allí. Sin embargo, lo mejor lo que se puede hacer es tomar difícil documentos reales, lo cual te ayudará configurar modular pruebas o diferentes tipos recompensas, ¿verdad? Digamos recompensa basado en la frecuencia personajes, o estructura de la tabla, o matemático ecuación, o algo así apropiado para el idioma, Por ejemplo, gramático recompensas, etc., y entonces ayuda modelos iterativamente mejorar en basado en reglas que el modelo puede crear de diferentes maneras ajustes. Sí. Sí. Lo siento, dijiste, que eres un gran fan ¿Chandra? DE ACUERDO. Esto es de otro laboratorio. I demasiado grande seguidor laboratorio, que Creado por Chandra. Pero sí En relación a su pregunta sobre la India punto de referencia, nosotros Lanzaremos Sarvam Indic punto de referencia, que nosotros creado para 22 idiomas y cubre enorme período tiempo, a partir del siglo XIX años y hasta el día de hoy, así como diferentes tipos diseños y documentos en lenguas indias. ¿Te lo imaginas? documentos con prosa, poesía, literatura, hojas de cálculo, finanzas y todos los demás. Pronto nosotros también lo haremos. publicaremos esto punto de referencia para acceso público. Entonces, traducción y más precisamente transliteración, aquí no está directamente involucrado, porque en OCR nosotros interesado en alta precisión minería de datos. ¿Bien? ¿Quieres? para que incluso si en Hay un error en la imagen. fue extraído correctamente, no para que El modelo realizó cambios A su discreción. Atrás eso no es del todo aplicable, pero sí, vemos mucho datos que actualmente pasando transcripción incluso para aprender LOC. Y aún se desconoce cuál la calidad de estos datos y cuánto ellos útil, etc. Sí. Sí .

Bien. Hay varios momentos que valen la pena tener en cuenta. En primer lugar, ningún otro líder modelo, con cerrado o de código abierto, no funciona bien con complicado documentos en lenguas indias. ¿Bien? Entonces, para países con población 1.400 millones de personas ¿Quieres tener? posibilidad para resolver sus problemas cotidianos relacionado con el análisis documentos, porque en India hay muchos papeleo. ¿Bien? Este es un país, en desarrollo y ella todavía digitalizado directamente ahora, por lo que es importante, existir en absoluto posibilidad presentación o digitalización del país. En segundo lugar, ¿qué? en lo que respecta a la educación, nosotros, en particular, creamos datos que pueden ser agregar a muchos procesos adicionales enseñanza. Entonces, estamos en etapa muy temprana de cómo se está convirtiendo la IA parte ordinaria de nuestras vidas y para nosotros Se necesitan datos para para finalmente llegar a ese punto cuando podamos tener personalizado agentes en el idioma que usted ¿Qué prefieres? en el idioma que yo doy ventaja, y cómo lo haría yo Yo no quería eso. Entonces, para hacer todo esto, necesitamos algo comenzar y los datos tienen ser creado. Y si Los datos son cualitativos, ayuda al modelo para convertirse en el más moderno. Y si el modelo el más moderno, luego desde compañías de seguros al estado organizaciones y otros, ¿A quién le importa? soberanía en el terreno Inteligencia artificial, ¿verdad? Como agencia gubernamental, no soy yo Puedo permitir despliegue del modelo en otro lugar, sin saberlo, ¿Adónde los envían? datos para transcripción. Por lo tanto yo debe tener posibilidad para controlar dónde Se están enviando datos, cuando ellos se utilizan como a menudo y así sucesivamente. Por lo tanto La soberanía se convierte en muy importante y por lo tanto este modelo ahora, Ya han pasado cuatro. meses a partir de la fecha lanzamiento, y ya estamos digitalizar 35 millones de páginas. Esto demuestra que el mercado estaba esperando algo soberano en esta área , que realmente puede para iniciar una ola digitalización de IA en India. Entonces, sí, principalmente tres aspectos. Uno es soberanía, otra— posibilidades de la misma modelos, y el tercero— datos necesarios para entrenar estos modelos. Sí, eso es el 40% de los indios. idiomas y el resto— Inglés, que incluye matemáticas, código, etc. OK. Sí. Una cosa interesante pregunta. O utilizamos ¿Por qué? ha existido en la India desde hace mucho tiempo diferente en lenguas regionales como parte de esto proceso para mejora del modelo ¿ Actualmente en proceso de despliegue, que hemos llevado a cabo para con esta ayuda modelos, que cubren diferentes estados, intentando digitalizar lenguas regionales junto con todos Inglés y mezclado documentos y por lo tanto pronto podremos estudiar en reseñas que nosotros obtenemos de actual implementación. Así que sí , también lanzamos esta cinta transportadora.