Per quanto siano scarse le notizie sulla fondazione di questo ospedale, appare certo che essa debba risalire alla metà del secolo XIII per volontà di Dolce de' Mazzamuti, membro di un'importante famiglia magnatizia pratese, che a proprie spese lo fece edificare fuori Ponte Tierzi, in prossimità della via per Firenze, nel luogo dove attualmente si trova l'Oratorio del Giglio.
L'ospedale, denominato Casa dei poveri dello Spedale del Dolce o Spedale di San Silvestro, dal titolo della chiesa annessa, fu di patronato comunale e, fino dalle sue origini destinato all'accoglienza degli infermi, dei vecchi, dei bambini abbandonati e delle fanciulle povere e al sostentamento dei carcerati.

Dal primo inventario di cui disponiamo, datato 5 agosto 1315 e redatto dallo Spedalingo Vanni di Stefano, risulta che all'epoca San Silvestro, articolato in ben cinque edifici, fosse, per consistenza patrimoniale, il più importante ente assistenziale e ospedaliero pratese dopo l'Ospedale della Misericordia. I suoi beni si accrebbero ulteriormente quando, a seguito della soppressione dello Spedale del Signorello, si decise di assegnarne il patrimonio ai due maggiori enti ospedalieri cittadini, l'Ospedale del Dolce e quello della Misericordia.
Nel 1409 l'infermeria degli uomini era dotata di ben 22 letti e quella delle donne di 21.
Grazie ai numerosi lasciti, all'annessione dei patrimoni di piccoli ospedali soppressi ed alla esenzione dal pagamento di qualsiasi imposta, nel corso del XV secolo San Silvestro accrebbe ulteriormente il proprio patrimonio tanto da mettere in atto un nuovo ampliamento della fabbrica, ai cui lavori parteciparono Giuliano da San Gallo, in qualità di legnaiolo, e il pittore Tommaso di Piero Trombetto che affrescò il portico dell'infermeria con scene della Passione.