Tras haber obtenido la imagen de profundidad, dicha imagen se pasa por una serie de filtros que mediante unos clasificadores diferencia qué pixeles de una imagen corresponden a una persona y cuáles no. Kinect SDK es capaz de detectar hasta seis personas indexándolas.

Kinect SDK es capaz de detectar la posición de hasta seis personas, pero solo es capaz de realizar el seguimiento del esqueleto de dos de ellas (las dos más cercanas a la cámara). Dicho tracking del esqueleto para las personas activas, se obtiene una estructura mediante 20 puntos detectados. Además, para poder identificar posturas y posiciones parcialmente ocultas, Kinect cuenta con 200 posturas comunes. Para ello, Windows implementó un algoritmo que procesa las imágenes de profundidad mediante una aproximación que consiste en reconocer cada parte del cuerpo mediante clasificación píxel a píxel en tiempo real.