На будівництво Колізею пішло більше ста тисяч кубометрів травертинових блоків і більше трьохсот тонн заліза. Для поставки каменю з Тіволі побудували спеціальну дорогу. Фасад амфітеатру цілком оперізував арену і досягав у висоту майже п'ятдесяти метрів. На жаль, він уцілів менше, ніж наполовину. Зовні вид Колізею відповідає римськими канонами проектування подібних споруд. Стіни утворюють чотири яруси. Три нижніх представляють собою аркади - раніше в них було по 80 арок. Підтримують арки потужні стовпи шириною близько двох з половиною метрів, а прикрашають приставні колони.
Колони в першому ярусі Колізею виконані за правилами тосканського ордера, у другому - іонічного, в третьому - коринфського. Такий порядок відображав в архітектурі уявлення римлян про гармонію світобудови. В арочних отворах другого та третього ярусів стояли, поблискуючи яскравими фарбами, статуї богів і героїв. Суцільна стіна четвертого рівня слід ритму нижніх поверхів завдяки пілястрам, які ділять її на сектори. У кожному другому секторі зроблено невелике прямокутне вікно. Колись ці вікна чергувалися з декоративними бронзовими щитами.
Над віконними прорізами в кожному секторі Колізею виступають за три кронштейна. До них кріпилися дерев'яні щогли, які вставляли через спеціальні отвори в карнизі. На щогли натягували тент - «веларіум», який захищав глядачів від дощу і сонця. Це завдання виконували моряки Мізенского флоту - вони квартирували неподалік звідси. Тент натягували за допомогою тросів, які прив'язували до кам'яних стовпів. Ймовірно, саме ці стовпи можна побачити з південно-східного боку Колізею. Там же збереглися фрагменти травертинові бруківці, що оточувала амфітеатр. Територія навколо Колізею - одне з небагатьох місць в Римі, де рівень землі залишився незмінним з часів імператорів.
У Колізеї втілена суть римської архітектури - просторовість, чергування опор і прорізів, масивних стін і аркад. Арочна конструкція дозволила рівномірно розподілити навантаження на несучі частини. В середні віки з будівлі вийняли залізні скоби, що скріплюють травертинові блоки. (Тому-то фасад весь в отворах!) І все ж велика частина амфітеатру як і раніше тримається. Ще одна причина еластичності конструкції - це комбінування різних будматеріалів. Залежно від очікуваної навантаження використовували туфові блоки, обпалена цегла і так звану «бутову кладку» - щебінь, скріплений розчином обпаленої вапна і піску.
Колізей неодноразово страждав від землетрусів. Після одного з них в 19-м столітті архітектор Стерн прилаштував зі східного боку потужний цегельний контрфорс. Городяни прозвали його «милицею». Інший контрфорс звів з боку Форуму Джузеппе Валадье.
Валадье не потрібно було терміново підпирати конструкцію, що загрожувала впасти. Тому архітектор працював не поспішаючи і зумів відтворити три рівня Колізею з п'ятьма ідентичними арками.