С. Л. Пушкин был вполне образованным человеком: по словам близко знавших его людей, ему были хорошо знакомы «творения французских энциклопедистов XVIII века», хотя в своих беседах он не любил затрагивать политических и экономических вопросов.
Великолепным знанием французского языка и французской классической литературы Пушкин в значительной степени был обязан своему отцу. Будущий великий поэт уже в девять лет читал Плутарха, «Илиаду» и «Одиссею» Гомера. Проводя долгие часы в кабинете отца, среди книжных шкафов, он наслаждался чтением и уже тогда понимал всю остроту сочинений философов XVIII века.
В Петербурге Сергей Львович продолжал вести обычный для него образ жизни. Ежедневно в определенные часы его можно было встретить на Невском проспекте оживленно беседующим с многочисленными знакомыми. Во время этих прогулок с ним часто встречался поэт Н. М. Колмаков, впоследствии тайный советник, который позже в своих воспоминаниях писал об отце поэта: «Красноватое его лицо и, кажись, рябоватое было далеко не привлекательно». Именно таким мы видим С. Л. Пушкина на портрете, написанном пастелью на пергаменте в 1810-х годах. Этот портрет работы неизвестного, но, безусловно, профессионального художника хранился в семье сестры поэта — Ольги Сергеевны. Рисуя на полях черновиков профиль отца, Пушкин придавал его лицу именно то выражение, какое мы видим на портрете. Художник запечатлел заметно припухшие веки, опущенные наружные уголки глаз и плотно сжатые губы, как бы застывшие в полуулыбке.
Одной из сторон «пылкого и раздражительного» характера Сергея Львовича Пушкина было отвращение ко всему, что нарушало его спокойствие. Особенную неприязнь испытывал он к хозяйственным делам. Он терпеть не мог деревни и, по словам П. В. Анненкова, «отдавал все свое время только удовольствиям общества и наслаждениям городской жизни». Сергей Львович ни разу не посетил свои нижегородские поместья, препоручив управление ими своему крепостному человеку, большому плуту. Он постоянно прибегал к займам и не платил долга опекунскому совету, так что по указу Нижегородского губернского правления Сергачская дворянская опека вынуждена была «взять в опеку имения С. Пушкина за неплатеж долга С.-Петербургскому опекунскому совету».
Неумение вести дела и мелочная скаредность отца вызывали большое раздражение его старшего сына. Во время южной ссылки и жизни в Кишиневе и Одессе А. С. Пушкин жаловался на то, что отец забывает присылать ему деньги. «Изъясни отцу моему, — пишет он брату Льву Сергеевичу 25 августа 1823 года из Одессы, — что я без денег жить не могу. Жить пером мне невозможно при нынешней цензуре… Все и все меня обманывают — на кого же, кажется, надеяться, если не на близких и родных. На хлебах у Воронцова я не стану жить — не хочу и полно… мне больно видеть равнодушие отца моего к моему состоянию — хоть письма его очень любезны».
Сергей Львович гордился поэтическим талантом сына и обладал чувством истинного понимания его гения. Он по мере сил помогал ему в издательских делах, особенно в тяжбе с издателем А. И. Ольдекопом. Из письма А. С. Пушкина к шефу жандармов начальнику III Отделения е. и. в. канцелярии А. X. Бенкендорфу от 20 июля 1827 года известно, что «статский советник Сергей Львович Пушкин обратился с просьбою к начальству, но не получил никакого удовлетворения, а ответствовали ему, что г. Ольдекоп перепечатал-де «Кавказского пленника» для справок оригинала с немецким переводом». Сергей Львович жаловался министру просвещения А. С. Шишкову на Ольдекопа «за сие неуважение собственности».
Кишиневский приятель Пушкина Иван Петрович Липранди в своих известных записках очень доброжелательно отзывался об отце поэта. Он с умилением вспоминал, как во время посещения родителей Пушкина в 1822 году в Петербурге для него на обед были созваны гости (в том числе поэты Баратынский, Дельвиг, барон Розен), а перед концом обеда кто-то прочитал привезенное им стихотворение Пушкина, и у родных оно вызвало слезы. Пили шампанское за здоровье поэта. На другой день Сергей Львович с младшим сыном передали Ивану Петровичу «огромный пакет с письмами, с какою-то тетрадью и включавший в себе пятьсот рублей». Тот же Липранди отмечал, что отец и брат Пушкина очень «опасались вспыльчивости Александра Сергеевича».
Беспокоила отца также и «политическая неблагонадежность» сына, приведшая, по его мнению, к новой ссылке Александра в Михайловское. Сергей Львович приходил в ужас от сыновней «непокорности властям». Когда в августе 1824 года Александр Пушкин приехал из Одессы в Михайловское, в старом ганнибаловском доме он нашел все семейство: отец, мать, брат и сестра, как обычно, летом жили в этой далекой псковской деревне, унаследованной матерью поэта от ее отца — О. А. Ганнибала. Отец встретил сына холодно; отчужденность и взаимное непонимание нарастали с каждым днем.
В октябрьском письме Василию Андреевичу Жуковскому А. С. Пушкин с дружеской откровенностью описывает свое «ужасное положение» в новой ссылке, особенно он жалуется на отца: «Пещуров [1], назначенный за мною смотреть, имел бесстыдство предложить отцу моему должность распечатывать мою переписку, короче — быть моим шпионом; вспыльчивость и раздражительная чувствительность отца не позволяли мне с ним объясниться; я решился молчать, отец начал упрекать брата в том, что я преподаю ему безбожие. Я все молчал. Получают бумагу, до меня касающуюся. Наконец, желая вывести себя из тягостного положения, прихожу к отцу, прошу его позволения объясниться откровенно… Отец осердился. Я поклонился, сел верхом и уехал. Отец призывает брата и повелевает ему не знаться avec ce monstre, ce fils denature (с этим чудовищем, с этим ужасным сыном)… Иду к отцу, нахожу его с матерью и высказываю все, что имел на сердце целых три месяца. Кончаю тем, что говорю ему в последний раз. Отец мой, воспользуясь отсутствием свидетелей, выбегает и всему дому объявляет, что я его бил, хотел бить, замахнулся, мог прибить… Перед тобою не оправдываюсь, но чего же он хочет для меня с уголовным своим обвинением? Рудников сибирских и лишения чести? Спаси меня хоть крепостию, хоть Соловецким монастырем…»
Вспыльчивый, как и Сергей Львович, поэт преувеличивал «уголовные» намерения своего отца. В делах Псковского губернского правления хранились документы, освещавшие события этой тяжелой для сына и отца осени несколько иначе. Выдержки из этих документов приводятся в статье «Несколько слов о Пушкине», помещенной в газете «Псковские губернские ведомости» (1868, № 10). Автор статьи (очевидно, редактор газеты А. Евстифиев) цитирует следующие извлечения из «дела Псковского губернского правления»: «…сообщено опочецкому предводителю дворянства статскому советнику Пещурову, что если статский советник Пушкин даст подписку, что будет иметь неослабный надзор за поступками и поведением сына, то в сем случае последний может остаться под присмотром своего отца и без избрания особого к таковому надзору дворянина, тем более что отец Пушкина есть из числа добронравнейших и честнейших людей…» Однако ж Сергей Львович отозвался (в ноябре 1824 года), что не может воспользоваться доверием генерал-губернатора, ибо, имея главное поместье в Нижегородской губернии, а всегдашнее пребывание в Петербуре, он по делам своим «может потерпеть совершенное расстройство, оставаясь неотлучно при одном сыне, тем более что непредвиденные обстоятельства вынуждают его быть вскоре в Москве…».
А. С. Пушкин долго не мог простить отцу холодный прием в Михайловском и возмущение родителей «неблаговидным» поведением сына; по мнению самого Сергея Львовича, высказанному в письме брату Василию Львовичу 17 октября 1826 года, его сын убежден, что отец должен просить у него прощения и что Александр Сергеевич «скорее выпрыгнул бы через окошко, чем дал бы мне это прощение».
Именно в это время (ноябрь — декабрь 1826 года) Пушкин рисует портрет отца на листе черновой тетради рядом с рисунками виселицы с пятью повешенными декабристами и строкой «и я бы мог, как шут…». Этот портретный рисунок свидетельствует о размышлениях поэта об отце и о своих отношениях с ним в трудный период жизни.