Hey Joe/Piss Factory, considerado el primer gran vinilo representativo de la escena punk, vio la luz el 5 de junio de 1974.
Era la versión del clásico de Billy Roberts y que Smith publicó, financiada por su pareja Robert Mapplethorpe, en el sello independiente Mer Records. En la canción participaba su amigo Tom Verlaine (Television) en la guitarra principal. El y su banda- tras haber visto varias de sus actuaciones- fueron quienes la inspiraron para entrar en el estudio. En su single de debut, Patti Smith cambió el asunto principal de la canción, que ahora era la historia del extraño secuestro de Patty Hearst.
En su cara b se encontraba una canción propia, Piss Factory, que Smith escribió con el pianista Richard Sohl, miembro de la Patti Smith Band, a la cual también pertenecían el guitarrista Lenny Kaye, el bajista Ivan Kraal y el batería J.D.Daugherty. Apenas tardaron una hora en grabar y mezclar la canción.
De ese disco se dijo que era “quizás el más importante que ella hizo nunca” según Victor Bokris. Hoy las copias firmadas de entre las 2000 que se crearon, que se remitían por correo desde las dos tiendas habituales (Village Oldies/Gothan Book Mark) son valiosísimos objetos de colección.