Quiénes somos

Qualyt es un laboratorio independiente de inteligencia artificial.

Creemos que los modelos de IA no deberían depender de grandes centros de datos, y estamos construyendo modelos de alto rendimiento que corren con muy poco cómputo.

Qué hacemos

Diseñamos y entrenamos nuestras propias arquitecturas de lenguaje, pensadas desde cero para hardware modesto: equipos de pocos recursos, sin GPU y sin nube. Investigamos, probamos y documentamos también lo que no funciona.

Qué buscamos

Modelos que corran en equipos básicos y crezcan cuando hay más cómputo disponible.
Un núcleo propio, eficiente en memoria, rápido de entrenar y rápido en inferencia.
Módulos de percepción, memoria y razonamiento que se conecten a ese núcleo.

Hacia dónde vamos: que la IA útil esté al alcance de cualquier persona, en cualquier computadora.

Córdoba, Argentina — Qualyt AI Lab

Lima, nuestro modelo propio

Lima es el modelo de lenguaje que diseñamos y entrenamos en Qualyt. Es único en su diseño y combinación: un núcleo recurrente propio, conectado a una memoria externa, que se adapta al cómputo disponible. Corre en equipos de muy pocos recursos y crece cuando hay más. Está en desarrollo activo.

Cómo funciona el núcleo del primer Lima

El primer Lima es un modelo recurrente. En lugar de mirar todo el texto anterior cada vez, como hace un transformer, va leyendo palabra por palabra y mantiene un estado interno, una especie de resumen de lo que leyó hasta ahora.

Regla delta

En cada paso, el modelo corrige ese resumen. Compara lo que esperaba con lo que llegó y actualiza solo la diferencia. Así aprende qué retener y qué reemplazar, sin crecer en memoria a medida que el texto se alarga.

Memoria externa

El modelo recibe, junto con cada palabra, un vector de contexto que le inyecta una memoria separada. El contexto largo lo maneja esa memoria, no el núcleo, y el núcleo puede escribirle de vuelta.

Tamaño adaptable

Pensamos el mismo modelo en varios cortes, para que use más o menos capacidad según el equipo donde corra.

Qué aprendimos: el modelo entrenado resultó más simple que el diseño original, y su vocabulario ocupaba demasiado espacio para su tamaño. Lo archivamos y lo rehicimos desde cero con un vocabulario propio, más chico.

Lo que probamos, lo que no funcionó

Antes de Lima probamos otros caminos que no cubrieron nuestras expectativas:

Destilar modelos grandes en equipos de pocos recursosDemasiado lento y pesado para el hardware objetivo.
Cuantización extrema (1.58-bit)El modelo colapsó.
Mezcla de expertos (MoE)El riesgo no valía la pena con los datos disponibles.
Primer prototipo de LimaVocabulario enorme que desperdiciaba parámetros; lo rehicimos desde cero.
Entrenar con Wikipedia crudaEl modelo aprendió estilo enciclopédico en vez de lenguaje natural.

Cada intento nos mostró un límite y nos acercó al diseño actual. Seguimos descubriendo.

Desarrollo del marco teórico de Qualyt en pizarrón

¿Querés acceso a nuestro material teórico?

Compartimos el marco teórico usado en el diseño de la arquitectura de Qualyt bajo solicitud. Indicanos quién sos y el motivo de tu interés.

Proyectos anteriores descartados

Acá publicamos los documentos de los proyectos que descartamos.

Módulos

✓ Percepción lista

· LMA / Lima en desarrollo activo

· Memoria y Razonamiento primeras versiones programadas, en validación

· Acción en desarrollo

Quién soy yo

Santiago Castillo

23 años, de Córdoba, Argentina. Fundador y único integrante de Qualyt.

En Qualyt investigamos, probamos y documentamos también lo que no funciona; ese recorrido está contado más arriba.

La filosofía de Qualyt responde a una tradición argentina: hacer mucho con los recursos disponibles.

Muestra

Todavía no mostramos Lima en funcionamiento.

Podés anotarte para estar entre las primeras personas en verlo cuando esté listo.

Listo — te avisamos apenas esté listo.

Contacto

Hablemos.

Opiniones, propuestas o consultas: en esta etapa del laboratorio, todo aporte externo es bienvenido.

Email qualyt.programacion@gmail.com

Teléfono +54 351 851 2581