Между тем не стояла на месте личная жизнь актера. Получив небольшую комнату в полуподвальном помещении на Арбате, Кайдановский вызвал к себе Ирину. Она тогда была уже беременна от него, поэтому молодые скрепили свои отношения официально. 26 августа 1970 года у них родилась дочь Даша. После рождения ребенка молодым казалось, что власти пойдут им навстречу и дадут им жилье получше, но этого не случилось. Поэтому еще в течение нескольких лет им пришлось жить в этой полуподвальной комнате, кишащей крысами. По словам очевидцев, жилье выглядело ужасно. Оно было ниже уровня земли, с крохотной кухней с косым потолком, потолок образовывала лестница, а в той части, где лестница втыкалась в пол, было что-то вроде чулана. Как ни странно, но Кайдановский даже находил повод шутить. Когда к нему заходили в гости друзья, он водил их по своим «хоромам» и очень смешно, в духе Достоевского, описывал жилище.
Став актером престижного театра, Кайдановский вел богемный образ жизни. Он приглашал в свой дом коллег-актеров (благо его комнатка находилась рядом с Театром Вахтангова), сам сутками пропадал в разных компаниях. Иногда даже не ночевал дома, что не могло понравиться его молодой жене. Заработок у Кайдановского в ту пору был небольшой, а разовые приглашения на съемки в разных картинах были случайными. Поэтому семья откровенно бедствовала. Но Кайдановский мало обращал на это внимания, продолжая жить так, как ему нравится. А на все замечания своей жены реагировал нервно.
Взрывной и импульсивный характер Кайдановского однажды едва не отправил его за решетку. Это случилось в 1970 году, незадолго до рождения у него дочери. Тогда на Центральном телевидении была показана премьера телеспектакля «Драма на охоте» по А. Чехову, где Кайдановский играл графа Карнеева. Вскоре после показа группа артистов, занятых в телеспектакле, – Владимир Самойлов, Юрий Яковлев и Александр Кайдановский – решили это дело «обмыть». С этой целью они отправились в весьма популярный среди москвичей ресторан у Речного вокзала. Вечеринка была в самом разгаре, когда Кайдановскому понадобилось отойти. В коридоре к нему внезапно привязался пожилой дружинник, который стал утверждать, что Кайдановский некоторое время назад… украл у него белила. В результате завязалась драка, из которой победителем вышел более молодой Кайдановский. Но эта победа оказалась «пирровой». Дружинник подал на него в суд.
Процесс над Кайдановским состоялся спустя месяц. Поскольку руководство Театра имени Вахтангова не захотело защищать молодого актера, эту миссию взял на себя корифей театра Михаил Ульянов. Именно он выступил на суде в качестве общественного защитника Кайдановского. Не будь этого, актера наверняка упекли бы за решетку года на два за хулиганство, поскольку в то время хулиганов особенно не жалели. А так, после страстного выступления Ульянова, судьи сочли за благо простить подсудимого и дали ему условный срок. Однако вскоре после этого Кайдановский вынужден был покинуть Театр Вахтангова.
В начале 70-х распался первый брак Кайдановского. Чашу терпения Ирины переполнила измена мужа, который увлекся популярной актрисой Валентиной Малявиной, игравшей в том же Вахтанговском. Со стороны этот роман был больше похож на извержение вулкана – столько страстей и нервов было в нем сосредоточено. Дело дошло до того, что однажды влюбленные решили добровольно уйти из жизни – перерезали себе вены. Их удалось спасти, хотя еще чуть-чуть – и советское кино навсегда бы лишилось двух своих талантливых актеров, а первые сплетники столицы получили бы прекрасную возможность поточить свои языки на этой трагедии. После этого случая Кайдановский заметно охладел к Малявиной, и их роман благополучно завершился. Когда это произошло, Кайдановский был уже известен всей стране, сыграв одну из лучших своих ролей в кино – ротмистра Лемке в истерне Никиты Михалкова «Свой среди чужих, чужой среди своих».
На эту роль Кайдановский попал не случайно. Михалков обратил на него внимание еще в середине 60-х, когда они вместе учились в «Щуке». И когда в 73-м Михалкову разрешили снять первый полнометражный фильм, он решил взять в него всех своих друзей и знакомых, в число которых входил и Кайдановский. Он тогда был в прекрасной форме – служил в кавалерийском полку при «Мосфильме», поэтому роль отчаянного белогвардейского ротмистра, который гоняется за большевистским золотом, далась ему без особого труда. И когда в ноябре 1974 года фильм вышел на широкий экран, сразу несколько участников этой картины стали знаменитыми: Юрий Богатырев, Константин Райкин и Александр Кайдановский.
К середине 70-х Кайдановский стал уже одним из самых востребованных актеров советского кинематографа. Правда, роли ему предлагали играть однообразные: либо аристократов, либо белогвардейских офицеров, а то и преступников, как это было в сериале «Следствие ведут знатоки» (дело № 6 «Шантаж»). Но каждой новой роли актер был рад, поскольку она не только множила его славу, но и приносила существенный материальный доход. А деньги Кайдановскому были нужны. Только не на разного рода элементы красивой жизни – дачи, машины и т. д., – а на книги. В ту пору у Кайдановского была прекрасная библиотека, и книги он привозил отовсюду, куда его забрасывала кинематографическая судьба.
Летом 1974 года Кайдановский отправился на Урал, где должны были проходить съемки боевика «Пропавшая экспедиция». Его партнершей на съемочной площадке была юная студентка «Щуки» Евгения Симонова, которая влюбилась в Кайдановского чуть ли не с первого взгляда. Вернувшись в Москву, они поженились. А 5 ноября 1976 года у них родилась дочь Зоя. Но это радостное событие не спасло их брак от скорого распада. Виноват в этом был сам Кайдановский, который в очередной раз доказал, что к семейной жизни был абсолютно неприспособлен.
Вполне вероятно, Кайдановский так и снимался бы в ролях аристократов и белогвардейских офицеров, если бы в конце 70-х на его творческом пути не повстречался режиссер Андрей Тарковский. Считающийся в советском кино одним из самых сложных и серьезных режиссеров, он сумел разглядеть в Кайдановском то, что не смогли сделать все остальные его коллеги – трагедию неординарной личности, мечущейся в поисках собственного «я». Итогом этого содружества стал фильм «Сталкер», где Кайдановский сыграл главную роль. После этого фильма миру был явлен уже другой актер Александр Кайдановский – сложный и уже не могущий сниматься в рядовых фильмах даже у хороших режиссеров.
В начале 80-х Кайдановский поступил на Высшие режиссерские курсы к Андрею Тарковскому. Однако их союз продолжался недолго: в 84-м знаменитый режиссер навсегда покинул родину. Когда он прислал Кайдановскому в Москву приглашение сняться в «Ностальгии», актера к нему не выпустили: то ли из-за «аморалки» (он по пьяной лавочке вновь с кем-то подрался в ресторане), то ли по идеологическим соображениям (в актерской среде польский еврей Кайдановский считался диссидентом). В итоге эту роль сыграл более благонадежный Олег Янковский.
Закончив режиссерские курсы, Кайдановский снял фильм «Простая смерть» по Льву Толстому. Фильм получился не только тяжелым по своему сюжету, но и сложным по восприятию. Поэтому его причислили к разряду элитарного кино. На фестивале в испанском городе Малаге в 1988 году он был удостоен одного из призов. После этого Кайдановский снял еще два фильма: «Гость» (1987) и «Жена керосинщика» (1988), которые, как и его дебютная картина, широким зрителем были встречены прохладно. Кассу в те годы делали другие фильмы: «Интердевочка», «Маленькая Вера» и другие блокбастеры перестроечных лет.
Зато как актер Кайдановский позволял себе сниматься в фильмах разных жанров: в костюмной исторической картине «Новые приключения янки при дворе короля Артура», детективе «Десять негритят». С начала 90-х, когда российское кино перешло на самоокупаемость и Кайдановскому нужны были средства на новые постановки, он стал принимать приглашения от зарубежных режиссеров. И в первой половине 90 -х снялся в нескольких таких фильмах: «Ноябрь» (Польша – Франция), «Дыхание дьявола» (Испания), «Волшебный стрелок» (Венгрия), «Исповедь незнакомцу» (Франция).
По словам критика Андрея Плахова: «Кайдановский не умел мелькать в тусовке, создавая видимость „присутствия в культурной жизни“. По своей природе был чужд честолюбия и светской активности. Даже приглашение в каннское жюри в 1994 году не использовал для собственного „промоушн“. О нем стали упоминать как о фигуре отходящей, едва ли не отошедшей, выпавшей „из обоймы“.
Личная жизнь Кайдановского продолжала складываться неудачно. После развода с Симоновой он на протяжении почти 20 лет жил с разными женщинами, но ни с одной из них так и не сумел построить крепкую семью. Так было в 1980 году с солисткой танцевального ансамбля Игоря Моисеева Аллой Самойловой, в 1983 году с балериной Большого театра Натальей Судаковой, в 1985 году с художником по костюмам Анастасией Крючковой. В 1989 году Кайдановский сделал попытку жить под одной крышей с иностранкой – филологом Патрицией Донеган. Но и эти отношения очень скоро зашли в тупик.
Последние 13 лет своей жизни Кайдановский жил в коммунальной квартире на улице Воровского с