Esta canción va sobre la heroína, y lo duro que es probarla por primera vez y que no te guste.
"Needle in the Hay" apareció en el film de Wes Anderson, The Royal Tenenbaums. En la escena en la que sonaba se veía a uno de los protagonistas cortándose las venas.
Elliot Smith luchó contra la depresión, el alcoholismo y la drogadicción durante muchos años, y estos temas fueron habitualmente tratados en las letras de sus canciones. Murió en 2003, a los 34 años, de una puñalada en el pecho aparentemente autoinfligida.