Prawdopodobnie jest to jeden z najstarszych budynków murowanych w mieście.

W połowie XIX wieku w budynku tym mieściła się poczta, zaś w czasie powstania styczniowego 25 stycznia 1863 r. oddział powstańczy złożony ze strzelców i kosynierów dowodzony przez Gustawa Zakrzewskiego stoczył przy karczmie zwycięską potyczkę z wojskami carskimi.

Dawne źródła podają, że ok. XVI w pod Garwolinem znajdował się majątek Czyszkowskich, który swoim zasięgiem obejmował dzisiejszą wieś Czyszkówek oraz ulice Narutowicza, Wiejską,  osiedle Czyszków Place. Na gruntach czyszkowskich była również austeria (karczma, zajazd z wymiennymi końmi).

Mieszkańcy nazywają tą część miasta Aleksandrówką. Nazwa ta pochodzi od cara Aleksandra I Romanowa  który podczas  podróży do Warszawy odpoczywał w karczmie w Czyszkowie.