A fundação do mosteiro consta que se reporta ao período visigótico e, uma inscrição no claustro refere que foi destruído no ano 1000 pelo chefe árabe Almançor, sendo reconstruído em 1018 por um cavaleiro francês de nome Ganfried ou Ganfei, que se tornou um santo, de cujo nome derivam as designações da localidade e do próprio mosteiro
As novas fachada e capela-mor datam de obras realizadas no Século XVIII, mantendo o restante da traça românica.