Backend de reconocimiento de señas numéricas en tiempo real

Un backend en Python que convierte un flujo de webcam en una predicción numérica estable. El Hand Landmarker de MediaPipe localiza 21 landmarks en una sola mano, esas coordenadas se convierten en un vector de 63 valores, un modelo de scikit-learn clasifica la seña, y una ventana de suavizado por moda convierte la salida ruidosa por cuadro en una predicción suficientemente estable para actuar sobre ella. Se exponen tanto la predicción cruda como la estabilizada, para que el consumidor elija entre capacidad de respuesta y confiabilidad.

La clasificación por cuadro de un video en vivo es inusable tal cual sale del modelo. Una mano en movimiento, un momento de oclusión parcial o un solo cuadro borroso producen una predicción que parpadea entre clases vecinas varias veces por segundo.

El problema de reconocimiento lo resolvió en buena medida el modelo de landmarks. El problema de ingeniería fue convertir una secuencia de suposiciones individualmente plausibles en una sola respuesta sobre la que un consumidor pueda actuar.

El Hand Landmarker devuelve 21 puntos de una mano detectada, cada uno con tres coordenadas. Aplanados, eso es un vector fijo de 63 valores por cuadro — lo bastante pequeño para que un modelo clásico lo clasifique muy por debajo del presupuesto de cuadro, y lo bastante estable en estructura para no requerir reajustes por cuadro.

Usar landmarks en vez de píxeles crudos es lo que vuelve tan barato al modelo. El trabajo caro de percepción lo hace el landmarker; el clasificador solo tiene que separar diez formas en un espacio de baja dimensión.

La predicción cruda es la opinión del clasificador sobre el cuadro actual. Es inmediata y parpadea. La predicción estable es la moda de las últimas diez predicciones crudas: un solo cuadro de ruido no la mueve, pero un cambio genuino de seña sí la mueve una vez que la mayoría de la ventana coincide.

Se devuelven ambos valores. Un consumidor que quiere capacidad de respuesta — una superposición de depuración en vivo, por ejemplo — puede leer el valor crudo; uno que va a ejecutar una acción lee el estable. Elegir por el consumidor habría sido la decisión equivocada, porque el trade-off correcto depende de para qué se usa la predicción.

Cada etapa — captura, detección, extracción de características, clasificación, suavizado, API — es un módulo separado con una interfaz estrecha. El beneficio práctico apareció durante el ajuste: la ventana de suavizado se pudo cambiar, y el clasificador intercambiar, sin tocar captura ni detección.

La versión actual alimenta al clasificador con coordenadas de landmarks sin trasladarlas primero respecto a la muñeca. El modelo por lo tanto ve una seña hecha a la izquierda del cuadro como distinta de la misma seña hecha a la derecha, y tiene que gastar capacidad aprendiendo que son equivalentes.

Es una debilidad real, no estilística: hace que la precisión dependa de dónde queda la mano en el cuadro y de la distancia a la cámara. El arreglo es trasladar todos los landmarks a un marco de referencia anclado en la muñeca y escalar por el tamaño de la mano antes de clasificar, lo que debería mejorar la generalización sin cambiar la forma del pipeline.