Acceso rápido a una fila de un fichero

Buenas.

Tengo que obtener una fila al azar de un fichero csv en python. El fichero tiene como 3 millones de filas donde hay datos.
Si recorro todoas y luego añado una al azar tarda como un minuto y medio.

¿Se os ocurre alguna forma de hacerlo más rápido?

Había pensado en que elegir un número al azar al inicio y que leyera hasta esa fila pero claro si sale grande tardará igual.