La costruzione dell’Osteria dei Pellegrini fu promossa dal granduca Ferdinando I dei Medici per accogliere i pellegrini che si recavano a venerare l’immagine della Madonna nel vicino Santuario della Fontenuova. Il progetto venne affidato all’architetto granducale Gherardo Mechini. I lavori, con la direzione del capomaestro Domenico Marcacci, presero il via nel 1607 per concludersi nel 1616. L’edif
icio dell’Osteria continuò ad assolvere la funzione di accoglienza dei pellegrini fino al 1775, quando divenne sede della Comunità delle due Terre che unificava i comuni di Monsummano e Montevettolini. Nel 1833 vi si stabiliva la sede della Cancelleria e nel 1855 l’edificio, acquistato dalla Comunità, fu destinato ad ospitare le carceri e gli uffici giudiziari che vi rimasero fino alla metà degli anni ’70 del Novecento. Tra il 1995 e il 1998 l’edificio è stato oggetto di importanti lavori di consolidamento e restauro che hanno permesso la realizzazione del Museo della Città e del Territorio. Il primo piano è stato aperto al pubblico il 12 dicembre 1998. Il secondo, dedicato al Novecento, è aperto dall’11 giugno 2005. Dalle visite di primavera per aprire le porte del museo al pubblico dei ragazzi, a cioccolosità in occasione dell'omonima manifestazione che richiama ogni anno il pubblico dei golosi, dalla giornata della Memoria per ricordare l'eccidio del Padule di fucecchio alla settimana della cultura scientifica. Questi e molti altri sono gli eventi che ogni anno animano il Museo.