Antônio de Caminha aceitou o legado de Aires de Lucena. Vestiu a esclavina do finado ermitão, e tomou conta da gruta onde aquele vivera tantos anos.
Viera àquele sítio como em santa romaria para obter perdão do agravo que fizera à imagem de Nossa Senhora da Glória, e chegara justamente quando expirava o ermitão que a servia.
Resolveu pois consagrar o resto de sua vida a expiar nessa devoção a sua culpa; e todos os anos no dia da Assunção, levantava uma capela volante, onde celebrava-se a glória da Virgem Puríssima.
Toda a gente de São Sebastião e muita de fora ia em romagem ao outeiro levar as suas promessas e esmolas, com as quais pôde Antônio de Caminha construir em 1671 uma tosca ermida de taipa, no mesmo sítio onde está a igreja.
Com o andar dos tempos arruinou-se a ermida, sobretudo depois que, entrado pelos anos, rendeu alma ao Criador o ermitão que a tinha edificado.
Antônio de Caminha finou-se em cheiro de santidade, e foi a seu rogo sepultado junto do primeiro ermitão do outeiro, cujo segredo morreu com ele.
Mais tarde, já no século passado, quando a grande mata do Catete foi roteada e o povoado estendeu-se pelas aprazíveis encostas, houve ali uma chácara, cujo terreno abrangia o outeiro e suas cercanias.
Tendo-se formado uma irmandade para a veneração de Nossa Senhora da Glória, que tantos milagres fazia, os donos da chácara do Catete cederam o outeiro para a edificação de uma igreja decente e seu patrimônio.
Foi então que se tratou de construir o templo que atualmente existe, ao qual se deu começo em 1714.