竖琴与箜篌、古典吉他、鲁特琴等古老的西洋弹拨乐器（箜篌与琵琶一样，在我国古代是西亚传入乐器）都是由新石器时代的原始弦琴衍化而来，原始弦琴常在原始部落中扮演占卜、丧葬、祈雨等祭祀工具，可以认为它一切古典式弦琴的起源。随着人类音乐艺术发展的不断需要，原始弦琴开始了拓宽音域的努力，其中一支采用增加弦数拓宽音域，竖琴的乐器形式便产生了（另一支则通过指板按弦改变音高，衍化成鲁特琴的雏形）。到古希腊及美索布达米亚时期，古典式弦琴早已从走入民间，成为吟游诗人的伴奏乐器，不再局限于祭祀。
古希腊、波斯、美索布达米亚时期至中古时期：
“Harpa”这个字的第一次出现，是在公元600年左右；早期文献内对竖琴的记载，使用名称并不统一。被发掘的第一把拱形竖琴（arched harp），是出现在美索布达米亚平原，年代为公元前2500年。它与缅甸竖琴相似，有13或14条琴弦。从当时古墓上的图片可以看出，演奏者以左手拨弦，右手则负责按弦止音。有些中、西非地区，仍能见到这样的竖琴。
中古时期以后：
现存最古老的爱尔兰竖琴（Irish harp），是制造于14世纪。一般有30到36弦，最大的特色是使用指甲弹奏的声音。当时欧洲其它地区的竖琴，与爱尔兰竖琴最大的不同，在于它使用指尖而非指甲弹奏，而且它不像爱尔兰竖琴的琴身，并没有一个大共鸣箱。
目前世界上保有竖琴最原始风貌的地方，其实不在欧洲，而是中南美洲。中南美洲的竖琴构造，仍旧保有当时西班牙移民时期的原貌，虽然不同地域会有一些不同的改良方法。曾经在墨西哥，看过他们的街头艺人，抱着竖琴当场即兴，弹几个chords，然后念唱一段当时他想到的歌词，这就很像中古世纪的吟游诗人；还有在他们最具代表性的ensemble：Mariachi（有小提琴、曼陀林、小喇叭）中，竖琴也是原来必有的乐器（因为这样的竖琴手已经减少，且竖琴这个乐器对他们来说是一种经济负担，只有大的Mariachi才用竖琴）。
竖琴乐器的演变，有一大部分是为了克服调性及半音的限制。16世纪时，Juan Bermudo比照键盘乐器，发明了双排弦竖琴（double-strung harp）。这种竖琴，有两排平行的弦，加上去的那一排，就像钢琴的黑键，负责半音的弹奏。后来，克劳迪奥·蒙特威尔第（Monteverdi）的歌剧“Orfeo（1607）”里所使用的竖琴，就是双排弦竖琴。
在双排弦竖琴后，又出现了三排弦竖琴（triple harp——17世纪初）及镰钩竖琴（hook harp）。镰钩竖琴的原理，与后来发展的音级竖琴（lever harp）很相似，它是先将几个特定的音调低半音，然后以左手操纵镰钩（hooks）而将音升高半音。
继双排弦与三排弦竖琴之后，在18世纪时出现了交叉弦竖琴（cross-strung chromatic harp），及半音阶竖琴。交叉弦竖琴共有76根弦，44根在左边，32根在右边。德彪西著名的“'Danse sacree et danse profane（1904）”就是写给这种竖琴的。但是这些竖琴，因为在弹奏上的困难与乐器本身的限制，几乎都不使用了，只有在特殊表演或展览中出现。这个世纪，在爱尔兰竖琴方面，John Egan也发明了半音器（levers）。借由手来调整位于琴弦上端的半音器，可以改变琴弦长短，而得到所需要的调性；这就是现在还普遍使用的半音器竖琴。
踏板竖琴（pedal harp）的演变，可推至17世纪末、18世纪初。当时有单一动作踏板竖琴（single-action pedal harp），莫扎特的长笛与竖琴协奏曲，第一次就是用这种竖琴演出。踏板竖琴就是用脚控制踏板来升高半音。单一动作的踏板，只有两个凹槽（slots），踏板由上凹槽到下凹槽，只动作一次，能演奏的调性仍然有限。到了19世纪初，S·埃拉尔（Sebastien Erard）发明了双次动作踏板竖琴（double-action pedal harp），因为有多加一个凹槽，踏板可以动作两次，所以每根弦可以弹奏三个半音。至此，竖琴发展为可以弹奏所有调性的乐器，而现今音乐会中所使用的音乐会用踏板竖琴（concert harp），就是从Erard竖琴慢慢改进而来。
20世纪上半页，尼龙弦被发明，逐渐改变了古典式弦琴。使竖琴与古典吉他（古典式弦琴两大经典形式）在短期内普及了尼龙弦。由于尼龙弦具有更优秀的延展力与稳定性，使乐器的音色、音量等表现力相对来说都有了较显著的进步。
