Krzyż św. Anny stoi w tej części miasta, w której według najstarszych źródeł znajdował się pierwszy kościół parafialny.

Okres kiedy miasto znajdowało się we władaniu Piastów Mazowieckich to czas rozkwitu i rozwoju Mazowsza i Garwolina. Księżna Anna Mazowiecka, żona Konrada III Mazowieckiego, w 1508 roku podarowała w użytkowanie mieszkańcom miasta błonie nad Wilgą. Jej córka, również Anna ufundowała kościół p.w. św. Anny  oraz szpital dla ubogich przy kościele parafialnym. Dziś święta Anna to patronka miasta, na pamiątkę której co roku 26 lipca odprawiany jest tzw. „mały odpust” w Kolegiacie p.w. Przemienienia Pańskiego. Błonie nad Wilgą to tereny rekreacyjne nazywane „Zarzeczem”, które zgodnie z wolą ofiarodawczyni służą obecnie całemu społeczeństwu.