El 7 de junio de 1963 la legendaria banda publicaba su primera canción, versión del Come On de Chuck Berry, que llegó al número 21 de las listas de éxitos británicas.
La banda se negó a interpretar en directo ese sencillo, que llegaría pronto al número 21 de las listas, apenas sin publicidad de la casa discográfica. La canción se grabó en los Olympic Sound Studios, en el barrio de Barnes, al suroeste de Londres, el 10 de mayo de ese año, una día después de que los Stones ultimaran su contrato discográfico con Decca Records. El “manager” de la banda Andrew Loog Oldham quería que el grupo produjera algo lo más rápidamente posible, según recordaría más tarde el guitarrista Keith Richards. Además de Come On, la banda grabó en los estudios, en mayo del 63, otra versión (I Want to be Loved de Willie Dixon), que se publicó como cara b del primer sencillo.