W miejscowości Wygiełzów (gmina Babice w Małopolsce) na wysokim skalistym wzgórzu (362 m n.p.m.) wznosi się zamek biskupów krakowskich – Lipowiec. Pierwszą drewnianą warownie na górze Lipowiec wznieśli zwolennicy Konrada Mazowieckiego. Po przejęciu władzy nad dzielnicą senioralną Bolesław Wstydliwy zdobył gród, po czym w 1243 przekazał go biskupstwu krakowskiemu.
W 1295 roku biskupem krakowskim zostaje Jan Muskata – zwolennik królów czeskich na tronie polskim. Był on wrogiem Władysława Łokietka i prowadził z nim wojnę. Biskup Muskata znacznie rozbudował zamek. W zródłach historycznych odnotowano liczne akcje zbrojne przeciwko zwolennikom Łokietka, dokonywane z Lipowca przez załogę zamku. Kres walkom biskupa z księciem położyła koronacja Łokietka w 1320 roku, które odbyło się kilka miesięcy przed śmiercią Muskaty. Zamek murowany najprawdopodobniej stopniowo powstawał od drugiej połowy XIII do początków XIV wieku. Powstałe przedbramie składało się z przejazdu i furty dla pieszych. Mury wokół zamku górnego poprzedzała głęboka, wykuta w skale fosa. Nad fosą przerzucony był drewniany most.
Po ustabilizowaniu się władzy po objęciu tronu przez Kazimierza Wielkiego, zamek Lipowiec pełnił funkcję twierdzy granicznej, strzegącej szlaku handlowego z Małopolski na ¦ląsk. Wygląd zamku, z okresu końca XIII i pierwszej połowy XIV wieku, nie jest znany. Wiadomo tylko, że już wtedy stała kamienna wieża, o czym świadczą badania przeprowadzone nad dolnymi partiami obecnie stojącej wieży, które właśnie pochodzą z tego okresu. Jednak nie była ona wtedy integralną częścią bryły budowli, stanowiła ona odrębny, wolno stojący obiekt, wzmocniający obronę głównej bramy wjazdowej. W pierwszej połowie XV w. zamek będący w posiadaniu biskupa Zbigniewa Oleśnickiego został ponownie przebudowany i rozbudowany. Wzniesiono wtedy nowe skrzydła mieszkalne oraz podwyższono i włączono w skład zabudowań wschodniego skrzydła kamienną wieżę obronną. Wtedy też przystosowano ją do aktualnych wymogów militarnych, tworząc na poszczególnych piętrach działobitnie, przeznaczone na taraśnice. Dzięki temu zamku można było bronić z wieży na pewną odległość, poprzez ostrzał pobliskich terenów. Dolne partie wieży to loch, do którego spuszczano skazańców poprzez otwór w podłodze. Wewnątrz wieży można się przemieszczać po wąskiej i krętej klatce schodowej z kamiennymi stopniami.
Po roku 1473 z potężnej warowni uczyniono więzienie dla wszystkich tych których poglądy były niezgodne z nauką Kościoła. W XVI w. więziono na Lipowcu wielu zwolenników reformacji, miedzy innymi twórcę projektu przeprowadzenia w Polsce reformacji, profesora Akademii Krakowskiej Franciszka Stankara. W roku 1550 dzięki pomocy z zewnątrz udało mu się zbiec z lochów lipowieckiej twierdzy i ponoć był to jedyny przypadek udanej ucieczki, jaką odnotowano w historii tego zamku. Owiany ponurą sławą zamek pełnił również ważną rolę obronną. Położony na granicy ze ¦ląskiem zabezpieczał południe Królestwa.
W roku 1629 ogień strawił całe drewniane przedzamcze oraz część zamku górnego. Budowla zostaje szybko odrestaurowana oraz częściowo przebudowana. Ale już wkrótce, bo w 1656 r. wycofujące się oddziały szwedzkie ograbiają, a następnie wzniecają pożar w lipowieckiej twierdzy. Tym razem prace remontowe trwały znacznie dłużej. Dopiero w 1732 r. biskup Szaniawski w odnowionych murach urządza więzienie dla niesfornych duchownych i heretyków. Funkcje tę zamek pełnił do roku 1789, kiedy to został skonfiskowany przez wojska austriackie. Ogromny pożar, który w 1800 r. spustoszył warownię ostatecznie przypieczętowuje los tej budowli.
Zamek Lipowiec zbudowany jest z kamienia wapiennego i cegły na planie wydłużonego wieloboku. Stanowi on zwartą bryłę z dominującą cylindryczną wieżą wkomponowaną w zabudowania północno-wschodniego skrzydła. Potężne trzykondygnacyjne budynki zamkowe otaczają niewielki dziedziniec wewnętrzny dostępny przez jedyną bramę znajdującą się w skrzydle wschodnim. Całość otoczona jest murem obwodowym ze strzelnicami przystosowanymi do użycia broni palnej. Wjazd na zamek prowadził przez przedzamcze gospodarcze a następnie rozbudowane przedbramie z mostem zwodzonym i bramą połączoną murami z budynkami warowni