El algoritmo de compresión JPEG se basa en dos defectos visuales del ojo humano. El primero de ellos es el hecho de que nuestro ojo es mucho más sensible al cambio en la luminancia que al de la crominancia, es decir, que capta más claramente los cambios de brillo que de color. El segundo se refiere a que percibimos con más facilidad pequeños cambios de brillo en zonas homogéneas que en áreas donde la variación es grande, por ejemplo en los bordes de los cuerpos de los objetos.