Родился 23 января 1820 г. в Петербурге. Пятнадцати лет поступает в Училище правоведения. Здесь завязывается его дружба с В. Стасовым, сыгравшая огромную положительную роль в формировании мировоззрения обоих музыкантов. В училище Серов много занимается музыкой; в этот же период знакомится с Глинкой, перед творчеством которого он преклоняется. После окончания Училища правоведения в 1840 г. Серов продолжает упорно заниматься музыкальным самообразованием, изучая партитуры классиков; нередко он принимает участие и в домашних концертах в качестве пианиста и виолончелиста.

С 1851 г. начинается музыкально-критическая деятельность Серова, направленная на отстаивание и утверждение в русском музыкальном искусстве содержательности, высокой идейности и реализма. Статьи Серова, посвященные западноевропейской и отечественной музыке (среди них такие, как «Тематизм увертюры «Леонора», «Девятая симфония Бетховена», «Руслан» и русланисты»), заложили основы русской науки о музыке. В 60-е гг. Серов развивает и музыкально-просветительскую деятельность, читая публичные лекции по разнообразным вопросам музыкального искусства.

К композиторской деятельности Серов обращается сравнительно поздно — лишь к началу 60-х гг. (если не считать отдельных более ранних неудавшихся попыток). В 1863 г. Серов заканчивает оперу «Юдифь», принесшую композитору широкую популярность.

Вдохновленный шумным успехом «Юдифи», Серов пишет вторую оперу — «Рогнеда» (1865). По своим художественным качествам это произведение оказалось менее удачным. Затем, после долгих поисков и проб, Серов обращается к драме А. Н. Островского «Не так живи, как хочется». Названная композитором «Вражьей силой», эта опера явилась его последним произведением: не успев ее завершить, 1 февраля 1871 г. Серов умер.

Первая опера Серова, «Юдифь», сочетает в себе черты ораториальности, некоторой статичности с колористической сочной живописностью отдельных сцен и с драматической напряженностью в кульминационных моментах. Образы героев выписаны со скульптурной ясностью и выпуклостью. Прекрасны хоры оперы, в которых отчасти чувствуется влияние монументально-ораториального стиля Генделя.

Наметившаяся еще в «Юдифи» тенденция излишней декоративности и не всегда оправданной театральности еще больше проявляется в «Рогнеде». Наряду с этим, однако, в опере есть и яркие, удачные моменты, например музыкальный образ героини оперы, Рогнеды.

Последняя опера Серова, «Вражья сила», значительно отличается от двух предыдущих. Тщательно разработан Серовым жанрово-бытовой фон, на котором развертывается трагедия, — в частности, сочно и красочно написаны сцены масленичного гулянья. Яркость таких сцен нередко заслоняет собой основную драматургическую линию произведения, оказавшуюся слабой стороной оперы, — раскрытие психологии героев, драмы человеческих характеров.