Старе місто оточене масивними кам'яними стінами, які захищали свого часу місто від нападів (папських або, навпаки, ворожих Папам, в залежності від обставин, що складаються). Оскільки коріння Вітербо в етруську минулому, він є одним з найбільш важливих міст Європи, здатний дослідникам багато розповісти про загадкову культуру. До тринадцятого сторіччя під контролем Вітербо знаходилося п'ятдесят замків. Папи Римські знайшли тут притулок, коли були вигнані з Рима.
Кращий спосіб знайомитися з Вітербо, просто гуляти по його вузькими брукованими кругляком вулицях.
У центрі розташовані численні і дуже важливі твори культури, найбільш відомим з них вважається папський палац. збудований між, 1255 і тисяча двісті шістьдесят шість роками, на пагорбі Сан-Лоренцо таким чином, щоб нічого не загрожувало життю понтифіка. Величезна структура з масивними контрфорсами, що нависають над долиною Фаул, спочатку колишня місцем проживання єпископа, але значно збільшена і укріплена дл Пап.
Власне палац для туристів ідентифікується тільки з лоджією, з якої тата благословляли народ, і прилеглим до неї Залом Конклава. Весь величезний комплекс складається з багатьох приміщень, але вони недоступні громадськості, до того ж за століття зазнали радикальні реконструкції, в залежності від епохи - ренесанс, бароко.
Так званий Сицилійський питання полягало в спробі Пап Римських витіснити німецьких імператорів з династії Гогенштауфенів, з Сицилії південній Італії, що призвело до хвилювань в Римі. У 1261 році Папа Олександр IV змушений був податися в Вітербо, де і помер в тому ж році, його наступник Папа Урбан IV так ніколи і не ступив на римську землю, а залишив Вітербо тільки заради Перуджі, ще більш віддаленій від Риму. Папа Климент IV повернувся в Вітербо. Після його смерті, в 1268 році, папський трон залишався вільним протягом майже трьох років, кардинали ніяк не могли визначитися з вибором наступника. Тоді ж відбулося перше «сит ін конклаві», таємну нараду за зачиненими дверима (конклав кардиналів).
На таке впертість кардиналів жителі міста відповіли тим, що розібрали дах, піддавши релігійних диваків випробуванню погодними умовами. А серед продовольства кардиналам передали строго нормовано хліб і воду. На підлозі палацу збереглися отвори для держаків, які кардинали використовували, щоб влаштувати щось на зразок намету. Довго в таких умовах кардинали не змогли протриматися і через кілька днів обрали нового Папу Григорія X. В цілому кардинали радилися 33 місяці і один день
Біля палацу знаходиться Собор святого Лоренцо. зведений в романському стилі протягом дванадцятого століття ломбардскими масонами, що закріпилися в Вітербо. Собор заснували на руїнах язичницького храму, присвяченого Геркулесу. Дзвіницю збудували в шістнадцятому столітті, а її пірамідальну вершину додали вже в більш пізній час. За переказами Папу Олександр IV спочатку поховали в соборі, але пізніше його тіло таємно перевезли в інше місце, щоб не допустити знущання над тілом з боку ворогів.
