El 19 de octubre de 1964 el dúo publicaba su primer álbum, Wednesday Morning 3 A.M., un sonoro fracaso y la causa de su primera separación.
Art Garfunkel y Paul Frederic Simon se conocieron en la escuela y grabaron su primera canción, Hey Schoolgirl, en 1957. Llegó al puesto 49 en la lista americana; entonces se hacían llamar Tom and Jerry, como los personajes de dibujos animados. En 1962, el dúo fichó por Columbia, tras llamar la atención del productor Tom Wilson, y editó el álbum Wednesday Morning 3 A.M., que tuvo escasa repercusión. De hecho, el álbum no se publicaría en Europa hasta 1968.
El disco apenas vendió 2.000 copias, pese a contener la que sería una de las canciones emblemáticas del dúo, grabada el 10 de marzo del mismo año: The Sounds of Silence. La canción había sido perfeccionada por Art & Paul en las cafeterías de Greenwich Village. Con el productor Tom Wilson realizaron una grabación folk sencilla, con apenas dos guitarras acústicas y un bajo. The Sounds of Silence pasó desapercibida: se vio ahogada por la ola de Beatlemanía que inundó America en 1964.
Desalentados, los viejos amigos se separaron temporalmente. Garfunkel regresó a la universidad en Nueva York y Simon se trasladó a Inglaterra para grabar un álbum acústico, The Paul Simon Songbook, que se publicó al año siguiente en CBS, ya que aún mantenía el contrato con Columbia.
En 1965, cuando el productor Tom Wilson se enteró de que The Sounds of Silence habían conseguido algo de cobertura radiofónica en las emisoras de la Costa Este, tuvo una feliz idea. Sin el conocimiento de Simon o Garfunkel, Wilson contrató a músicos de sesión – el bajista Joe Mack, el batería Buddy Salzman y los guitarristas Vinnie Bell y Al Gorgoni – y grabó una pista de fondo eléctrico para “Los sonidos del silencio.” Al dúo la remezcla no le hizo ninguna gracia.
Lanzado en noviembre de 1965, el single con la nueva versión se encaramó en seguida a las listas y en pocos meses alcanzó el número 1, en enero de 1966, con un millón de copias vendidas. Unos impresionados Paul Simon y Art Garfunkel- que aún mantenían la amistad- se reunieron de nuevo, sobre todo porque la CBS ya les estaba pidiendo otro disco, que se debía llamar Sounds of Silence. Simon echó mano para el álbum de gran parte de las canciones de su debut en solitario (I am rock,A Most Peculiar Man). Wednesday Morning, 3 A.M., se reeditó y, ahora sí, llegó al puesto 30 de las listas. En España, The sound of silence llegó al puesto 17 de las listas de singles, en octubre de 1966. Aún quedaban algunos años para el éxito definitivo del dúo: su primer álbum nº1 en EEUU no llegaría hasta 1968, con Bookends. En nuestro país llegaría su primer doble número 1 con el single El Condor Pasa (If I Could) y el disco Bridge Over Troubled Water, ambos en 1970.