Ten budynek miał „od zawsze” złą sławę, przekazywaną w opowieściach przez lata, jako ubecka siedziba a nawet katownia.  Ciągnęły się one za nim, nieważne czy był już tu Wydział Oświaty czy – jak do dziś – Urząd Gminy Lubań.