С 1906 года Рерберг в течение тринадцати лет преподавал в Училище живописи, ваяния и зодчества и в Московском инженерном училище. Он выступил инициатором обучения женщин на архитектурных курсах, учредителем и преподавателем которых был долгое время.
После того как Рерберг принял участие в работах по перестройке старого здания на Чистопрудном бульваре для Правления Московско-Киевско-Воронежской железной дороги, он получил заказ на проектирование и строительство грандиозного Брянского вокзала (с 1934 года – Киевский) на месте существовавшего деревянного.
При разработке проекта, осуществленного при участии архитектора Олтаржевского, были использованы достижения мирового архитектурного опыта и практики применения большепролетных арочных покрытий над платформами. Основу творческих поисков определило расположение вокзала вблизи Москвы-реки и оживленной радиальной городской магистрали, проходящей через Бородинский мост. Мост, построенный за год до рождения Ивана Ивановича по проекту его отца, в 1912—1913 годах, перед постройкой вокзала, был заменен современным.
Творческий процесс формирования облика вокзала был подобен отработке архитектурных форм комплекса Северного страхового общества. Неоднократно дорабатывался главный фасад с колоннадой на уровне высокого второго яруса, приобрели большее изящество фланкирующие его порталы-крыльца, башня высотой пятьдесят один метр была вынесена за пределы фасада, а ее первоначальные архитектурные формы переработаны.
Наружный контур всего здания достигает почти девятисот метров. Залы ожидания просторны и имеют большую высоту, площадь самого большого из них – центрального более девятисот квадратных метров. Позади залов ожидания было четыре подъездных пути под стеклянным ангароподобным покрытием-дебаркадером. В качестве конструктивной основы этого покрытия Рерберг предусмотрел арки из крупных ажурных металлических элементов, попарно соединенных в верхней части. Их конструирование, изготовление и установку взяла на себя специализированная фирма, главный инженер которой, выдающийся конструктор-механик В.Г. Шухов, не меняя принципиально конструкцию, рационализировал ее, что упростило изготовление и сократило стоимость. Шухова признают не только исполнителем, но и автором этого уникального покрытия.
Летом 1914 года состоялась церемония закладки здания. Основные работы были завершены в 1917 году. В 1920 году Рерберг провел дополнительные работы на Киевском вокзале, главным образом отделочные. Иван Иванович намечал создание большой площади, связывающей вокзал с городом. Современную площадь Киевского вокзала можно рассматривать как воплощение замыслов Рерберга.
В начале 1920-х годов Моссовет передал Киевскому вокзалу стоящее вблизи четырехэтажное жилое здание. Иван Иванович перестроил его под железнодорожный привокзальный клуб, вскоре преобразованный в клуб имени Горбунова.
В годы Гражданской войны строительная деятельность в Москве была весьма ограниченной, а первые организационные шаги в этом направлении носили специфический характер. Рерберг вставлял технический отдел Особого комитета по строительству Москвы. Этот комитет сочетал организационно- техническую деятельность с производственной и проектной.
Рерберг строит деревянный павильон Хлебопродукта на Всероссийской сельскохозяйственной и кустарно-промышленной выставке 1923 года. Более крупным заказом было проектирование и руководство надстройкой двумя этажами большого трехэтажного конторского здания Варваринского акционерного общества на Мясницкой, возведенного в девяностых годах XIX века, а также проектирование и строительство новых корпусов во дворе. Здесь разместился созданный после Гражданской войны Нефтяной синдикат СССР.
В облике надстроенных этажей видны характерные черты творческого почерка Рерберга: при скупом использовании простых архитектурных деталей и отдельных лепных украшений достигнута необходимая увязка новой части фасада со старой, в равной степени отвечающей деловому назначению здания.
Учитывая присущее Рербергу бережное отношение к существующим произведениям зодчества, его пригласили выполнять обязанности архитектора три крупнейших столичных театра – Большой, Малый и Художественный. По свидетельству Щусева, он «много сделал работ для этих театров».
В 1925 году было составлено задание на проектирование здания Центрального телеграфа, включающего радиоузел и междугородную телефонную станцию. Провели открытый конкурс, в котором участвовали многие известные архитекторы, а затем персонально было заказано еще два проекта, один из них Рербергу. Выполненный проект хорошо соответствовал всему комплексу функциональных заданий, а также требованию монументальности архитектурного решения. Несмотря на возражения представителей нового творческого направления в архитектуре, этот проект был утвержден Моссоветом в начале марта 1926 года, а 22 мая была совершена церемония закладки здания.
Строительные работы развернулись быстрыми темпами с участием двух тысяч рабочих, их вело акционерное общество Госпромстрой. Проект здания Центрального телеграфа был разработан с большой тщательностью. Применение монолитного железобетонного каркаса и вынос всех четырех лестниц за пределы основного объема здания во внутренний двор позволили устроить на разных этажах очень просторные помещения, общая площадь которых составила сорок тысяч квадратных метров. Срезанные углы главного фасада обусловлены градостроительными возможностями. Благодаря одному из таких срезов здание хорошо «смотрелось» с тогда еще не реконструированной, узкой Тверской улицы. Срезая острый угол для устройства главного входа, Рерберг выполнил эту часть здания в виде широкой пятигранной башни, возвышающейся на десять метров над остальными фасадами. Башня оборудована вращающимся стеклянным глобусом. На приподнятой над тротуаром площадке перед входом два обелиска из серого гранита, несущие ажурную чугунную консольную раму в виде переплетения дубовых веток для подвески фонарей.
Для отделки фасадов использованы серый украинский гранит и декоративная штукатурка с включением крошки этого гранита. Автору проекта удалось удовлетворить требования задания: «Выявить при обработке фасадов не только производственный и общественный характер здания телеграфа и радиоузла, но и придать ему монументальность, соответствующую городу Москве как столице СССР».
Строительство Центрального телеграфа было завершено в 1927 году. Вскоре после его окончания Рербергу поручили разработку проекта здания Школы красных командиров имени ВЦИК в Кремле (1930— 1934).
Три стоящие параллельно друг другу трех-четырехэтажные корпуса объединены главным, который хорошо виден с Большого Каменного моста и из-за Москвы-реки. Заботясь о том, чтобы новая постройка скромно и спокойно соседствовала с созданным Казаковым зданием бывшего Сената – шедевром русского классицизма, Рерберг так решил фасад, обращенный к Ивановской площади, чтобы он не задерживал взгляда человека, проходящего по противоположной стороне площади. Основное внимание автор сосредоточил на фасаде главного корпуса, решенном в характере русского классицизма XVIII века. По облицованному гранитом первому этажу идет колоннада высотой в два этажа. Фасад корпуса, стоящего возле кремлевской стены, органично вписался в ансамбль Красной площади.
Один из опытнейших советских зодчих, Рерберг находился в стороне от шумных дискуссий и борьбы творческих группировок 1920-х годов, но его творческая деятельность в этот период была в высшей степени активной, насыщенной постоянными исканиями и решением больших практических задач. С 1928 года, когда он поселился в доме № 12 по Брюсовскому переулку, его квартира стала как бы проектной мастерской. Здесь Иван Иванович выполнил целый ряд работ. Первой из них был конкурсный проект здания Государственной библиотеки имени В.И. Ленина.
В разное время Рерберг проектировал также для других городов. По его проектам построены здания в Ленинграде, Тюмени, в районе города Истры. В годы Первой мировой войны как военному инженеру ему пришлось строить оборонительные укрепления. На выставке, приуроченной к Первому Всесоюзному съезду по гражданскому и инженерному строительству (1926), демонстрировался его проект вокзала для Сочи.
Будучи мастером широкого диапазона, Иван Иванович всегда подчинял свое творчество реалистической основе архитектурно-градостроительных задач.
С начала 1920-х годов Рерберг вел активную педагогическую деятельность, в частности, на факультете МВТУ читал курс сметного дела, насыщая лекции интересными примерами из своей практики.
