祖宾·梅塔1936年出生于印度孟买的一个音乐世家，父亲梅万·梅塔是一位出色的小提琴手、小提琴教师和指挥家，是孟买交响乐团和弦乐四重奏团的创始人。祖宾·梅塔7岁时就受到了正规的小提琴和钢琴教育，所以他很小的时候已经对欧洲音乐非常熟悉。作为父亲的学生，他16岁的时候就指挥了孟买交响乐团。可是他遵循父母的意愿，去学习医学。但上了两个学期的课之后，他就转投到音乐的怀抱中了。18岁的时候他去了维也纳音乐学院学习钢琴、作曲与低音提琴。在汉斯·斯瓦洛夫斯基的指导下完成了指挥的学业。
1958年他在利物浦国际指挥大赛上胜出，并担任当地一支乐团的副指挥一职。20多岁的梅塔就已经指挥过维也纳爱乐乐团和柏林爱乐乐团。而且时至今日，他们还保持着紧密的合作关系。在美国坦格伍德指挥大赛上他获得了第二名(第一名是阿巴多)。这时候他认识了波士顿交响乐团的指挥查尔斯·孟许，后者对梅塔影响深远。1960年他第一次和纽约爱乐乐团、费城乐团和蒙特利尔交响乐团合作，1962年到 1966年他还任蒙特利尔交响乐团的首席指挥。
祖宾·梅塔在1962年到1978年任洛杉矶爱乐乐团音乐总监。1969年他成为了以色列爱乐乐团的音乐顾问，1977年升为首席指挥，1981年任终身音乐总监。1978年他成为美国五大交响乐之一——纽约爱乐乐团的音乐总监，历时13年，直到继任者库特·马祖尔的到来。歌剧方面，他在蒙特利尔歌剧院、大都会歌剧院、维也纳国立歌剧院、巴伐利亚国家歌剧院、伦敦皇家歌剧院、柯文特花园指挥过歌剧演出。
