В XVII веке на том месте, где сейчас находится Петровка 38, это название стало нарицательным и известно практически каждому гражданину России, находились владения князей Щербатовых.
Князья Щербатовы, старинный княжеский род, происходящий от Черниговских князей.
Родоначальник Василий Андреевич Оболенский, по прозвищу Щербатый.
В 1816 году российская казна выкупает и на владения этом месте появляются «Петровские казармы».
В которых размещается военно-рабочий батальон, аналог современных инженерных и строительных войск.
Свое название казармы получили по находящимся здесь ранее башне с воротами в стене Белого города, построенными в конце XVI века зодчим Федором Конем и носившими название Петровские.
Кроме казарм здесь располагались и камеры предварительного заключения.
С 1842 года казармы переходят в ведение жандармерии и здесь размещается жандармский дивизион.
После революции в здание занял Московский уголовный розыск (МУР).
Здание полностью перестраивается в период с 1952 по 1958 годы и принимает современный вид присущий сталинскому периоду в архитектуре.
В 1977 году, на территории Петровки 38, был установлен бюст Ф.Э. Дзержинского, который демонтировали в 1991 году, но затем по инициативе ветеранов московской милиции, в 2005 году вернули обратно.
8 ноября 2016 года на ступенях главного здания Петровки 38 был открыт памятник героям легендарного сериала «Место встречи изменить нельзя», Глебу Жеглову и Володе Шарапову,
которых сыграли
Владимир Высоцкий и Владимир Конкин.
В настоящее время строение по адресу Петровка, 38 находится в ведении ГУ МВД РФ по городу Москве.