El pescador y su sombrero

Un pescador con su sombrero pescaba desde un bote en el río, que fluía a 3 kilómetros por hora.
- "Creo que remaré un poco más arriba, aquí no hay peces", se dijo
En el mismo momento en que empezó a remar, el viento hizo volar su sombrero, que cayó al río junto al bote. El pescador no se dio cuenta hasta que ya había remado 5 kilómetros de su sombrero. Cuando se percató, comenzó a remar corriente abajo hasta encontrarlo.
En aguas quietas el pescador rema a 5 kilómetros por hora, constantes. Pero cuando lo hace corriente arriba, a esa misma y constante velocidad, esa no era su velocidad respecto a la costa del río. Por ejemplo cuando remaba corriente arriba cinco kilómetros por hora, el río lo llevaba corriente abajo a 3, de modo que pasaba junto a los objetos de la costa sólo a 2 kilómetros por hora. Y cuando remaba corriente abajo la velocidad del río se combinaba con la suya, haciéndolo avanzar a 8 kilómetros hora respecto a la costa.
Si el pescador perdió su sombrero a las dos de la tarde, ¿qué hora era cuando lo recuperó?