全曲分五个乐章。第一乐章，“梦幻、热情”。先是广板，而后是热情的急快板，奏鸣曲式。作者于1832年在该曲的总谱上曾写了很长的文字，描述了一个神经衰弱、狂热而富于想象力的青年音乐家，在失恋时服毒自杀，因剂量不足，在昏迷中进入光怪陆离的幻境的情景。他还指出，贯穿全曲的“固定乐思”，表示着使音乐家神魂飘荡的恋人形象，第一乐章中，这一主题的出现顿使阴暗、忧郁的情绪变得热情、明朗。第二乐章“舞会”。适中的快板，在华丽宴会的舞会上，艺术家遇到心爱的人。这是一段辉煌的圆舞曲，作者在乐队中首次采用了两架竖琴。第三乐章“田园景色”。慢板，以英国管与双簧管模仿乡间牧童的二重唱，使沉思中的艺术家产生热情和希望。“固定乐思”再次出现，他求之不得，十分痛苦。牧歌复现，远处天边传来了雷声。第四乐章“赴刑进行曲”。从容的快板。艺术家服毒后昏迷，以为自己杀死了情人，被判死刑。在描写押赴刑场时，“固定乐思”的出现，仿佛是对爱情的最后眷念。这里用了三个长号，两个低音号，四个定音鼓及其它打击乐器。第五乐章，“妖魔夜宴的梦”。快板，是一段群魔狂舞的回旋曲。圣咏主题“愤怒的日子”在低声部与钟声、舞蹈节奏混为一片，情人的主题又以怪诞的面貌重现。乐曲在急速而狂热的舞蹈中结束。《幻想交响曲》从失恋这样一个侧面，反映了当时欧洲一些艺术家在生活逆境中的苦闷情绪。它还从标题音乐创作和交响乐配器两个方面，为后来的浪漫主义音乐创作提供了宝贵的经验。舒曼曾撰文高度评价这部作品，李斯特将它改编成钢琴曲， 帕格尼尼对“幻想”推崇备至，并建议柏辽兹创作一部中提琴与乐队作品，也就是著名的交响曲《哈罗德在意大利》。
