Родился 19 ноября 1859 г. в Гатчине, близ Петербурга. Восьми лет начал учиться игре на скрипке. Общее образование Ипполитов-Иванов получил сначала дома, а затем, живя в Петербурге (с 1869 г.), самостоятельно прошел курс классической гимназии. В 1872 г. мальчик стал посещать музыкальные классы для малолетних певчих при капелле Исаакиевского собора.

В 1875 г., блестяще сдав экзамены, Ипполитов-Иванов поступил в Петербургскую консерваторию. Учителем его был Н. Римский-Корсаков, от которого молодой музыкант унаследовал любовь к народной песне, к образам природы, склонность к программной музыке, а также усвоил многие приемы композиторского мастерства. В конце 70-х гг. Ипполитов-Иванов сблизился с членами «Могучей кучки», передовые идеи которых сыграли решающую роль в формировании эстетических взглядов композитора. Консерваторию Ипполитов-Иванов окончил в 1879 г. как контрабасист и в 1882 г., с серебряной медалью, как композитор.

С 1882 по 1893 г. Ипполитов-Иванов работал в Тифлисе, где при содействии местных музыкантов организовал отделение Русского музыкального общества. Кроме того, он возглавил музыкальное училище и дирижировал симфоническими концертами и спектаклями русского оперного театра. В этот период началась тесная дружба с П. Чайковским, влияние которого сильно сказалось на творчестве молодого композитора. На Кавказе Ипполитов-Иванов записывал и изучал народные мелодии. Впоследствии он использовал их в своих сочинениях.

В 1893 г. Ипполитов-Иванов стал профессором, а в 1905 г.— директором Московской консерватории, которой руководил бессменно до 1922 г. У него учились Р. Глиэр, С. Василенко, А. Баланчивадзе, А. Гольденвейзер, К. Игумнов, Л. Николаев и многие другие.

С 1899 по 1906 г. Ипполитов-Иванов был главным дирижером Русской частной оперы (Москва).

До Октябрьской революции композитор создал: оперы «Руфь» (1886), «Азра» (1890), «Ася» (1900), «Измена» (1909), «Оле из Нордланда» (1915), симфонию, увертюру «Яр-хмель», две серии «Кавказских эскизов» (1894—1895), два квартета, много кантат, хоров, романсов, а также теоретические труды — «Учение об аккордах, их построении и разрешении» и «Грузинская народная песня и ее современное состояние».

Ипполитов-Иванов радостно встретил Великую Октябрьскую социалистическую революцию и принял активное участие в созидании советской музыкальной культуры: провел большую работу по реорганизации Московской консерватории; в течение ряда лет дирижировал оперными спектаклями Большого театра и оркестром Всесоюзного Радио; возглавлял Тбилисскую консерваторию; много времени и сил отдавал художественной самодеятельности.

В эти годы в творчестве Ипполитова-Иванова наблюдается громадный подъем: он создает оперы — «Женитьба» (продолжение неоконченной оперы Мусоргского, 1931) и «Последняя баррикада» (1933); симфонические поэмы — «Мцыри» (1922) и «1917 год»; оркестровые сюиты — «Тюркские фрагменты», «В степях Туркменистана», «Музыкальные картинки Узбекистана»; «Юбилейный марш» (1932); фантазию для балалайки с оркестром «На посиделках»; кантату «Гимн труду»; множество вокальных сочинений. Кроме того, пишет книгу «50 лет русской музыки в моих воспоминаниях».

Умер М. М. Ипполитов-Иванов 28 января 1935 г. в Москве.

Одно из лучших произведений Ипполитова-Иванова — лирико-психологическая опера «Ася» (на сюжет одноименной повести Тургенева). Композитор использовал в опере интонации русской романсовой лирики. Интимно-лирический стиль повести Тургенева обусловил камерные масштабы оперы и элегический тон ее музыки.