W czasie II wojny światowej mieścił się w nim areszt, w którym w latach 1940 – 1944 niemieckie władze okupacyjne przetrzymywały i przesłuchiwały około 2000 osób, w większości z terenu powiatu garwolińskiego. Areszt przewidziany na 40 osób dość często był przepełniony. Przebywało w nim wówczas nawet około 100 więźniów. Co pewien okres czasu  wywożono ich na Pawiak, do Treblinki, a od grudnia 1942 r. i na Lisie Jamy – miejsce egzekucji w okolicy Garwolina. W areszcie przebywało wielu żołnierzy podziemia niepodległościowego z terenu powiatu.

Na budynku umieszczono tablice informujące zwiedzających o historii tego miejsca, m. in. o brawurowym odbiciu więźniów w 1943 roku.  Pierwszą tablicę upamiętniającą ofiary odsłonięto w 1973 r., kolejne umieszczono na ścianie budynku po 1990 roku.