Przygodę z futbolem zaczynał w Synot Stare Mesto. W Gambrinus Liga zadebiutował w sezonie 2001/02 w spotkaniu przeciwko Banikowi Ostrawa. Liczył sobie zaledwie siedemnaście lat. Zawodnikiem wyjściowej jedenastki drużyny z miasta Uherské Hradiště został dwa lata później, Synot zakończył wówczas rozgrywki na wysokim, piątym miejscu. Przed rozpoczęciem sezonu 2004/05 w lidze czeskiej doszło do zmiany nazwy na 1. FC Slovácko i odjęcia tej drużynie dwunastu punktów za udział w aferze korupcyjnej. Kadlec odszedł z klubu już po pierwszej rundzie rozgrywek i trafił do ekipy ówczesnego wicemistrza kraju, aktualnego lidera tabeli, Sparty Praga, w którym prym wiedli wówczas tacy gracze jak: Tomáš Jun, Lukas Zelenka, Jaromír Blažek, Libor Sionko czy Karel Poborsky. Młody defensor szybko wywalczył sobie miejsce w składzie i po pięciu miesiącach spędzonych w stolicy miał prawo cieszyć się ze zdobytego mistrzostwa kraju. To osiągnięcie podopiecznym Michala Bílka udało się powtórzyć po dwóch latach. Dwukrotnie wygrali także Puchar Czech.
Przed rozpoczęciem kolejnego sezonu zawodnikiem Sparty interesował się Celtic F.C., szczegóły transferu zostały już uzgodnione, jednak sam zawodnik zdecydował, że lepszym rozwiązaniem będzie jednak spędzenie jeszcze jednego sezonu w ojczyźnie i odrzucił ofertę kontraktu.
W sierpniu 2008 Kadlec trafił do Bayeru 04 Leverkusen[1]. W Bundeslidze rozegrał 5 sezonów i był w owym czasie podstawowym lewym obrońcą drużyny Aptekarzy. W sezonie 2010/11 sięgnął z tym klubem po wicemistrzostwo Niemiec, dzięki czemu w następnym sezonie miał okazję do występów w Lidze Mistrzów. Bayer doszedł w niej do 1/8 finału i został wyeliminowany przez FC Barcelonę.
W połowie czerwca 2013 roku został zawodnikiem tureckiego klubu Fenerbahçe Stambuł, podpisując trzyletni kontrakt[2]. W 2016 roku odszedł do Sparty Praga.
