[[唐朝|唐]]以前的古琴谱为文字谱，将指法名称和弦序、徽位结合为[[文字]]写成。然而文字谱十分繁复、使用不便，相传曹柔将文字谱指法、[[术语]]中有特点的部分[[简化]]、组合，发展为减字谱。据明蒋克谦在《琴书大全》中的记载：“制谱始于雍门周。张敷因而别谱，不行于后代。 [[ 赵耶利 ]] 出谱两帙，名参古今，寻者易知。先贤制作，意取周备，然其文极繁，动越两行，未成一句。后曹柔作减字法，尤为易晓也。”

除曹柔说以外，也有学者认为减字谱早在[[三国]]时代便已诞生，为[[曹植]]所首创。《琴苑心传全编》中所记载的“古之为谱，分左右之指法而备立之，操之言一而谱之言数蓗其倍，迨魏植分左右指法而扭为一字”中的“魏植”便被认为是三国[[魏]]的曹植 <ref>[http://skdjgois.blog.sohu.com/216850458.html 谈减字谱产生及发展]，搜狐博客，2012-5-19</ref> 。

最初由于不同琴家对于文字谱减取的方式不同，从而形成了不同的从减字体系。此后从晚唐到两宋时期为减字谱的发展期。与之前相比，这一时期一些术语得到了更加简化，右手“繁声”指法得到分化，[[左手]]指法也获得了发展，以与[[声韵]]相配。之后减字谱进一步成熟，单声指法取代了“繁声”指法，术语也逐渐规范，至[[南宋]]时，减字谱已经基本定型。现存最早的减字谱为南宋[[词人]][[姜夔]]《[[白石道人歌曲]]》中收录的《古怨》琴谱 <ref>[https://ru.qq.com/a/20131224/013104.htm 史上现存最早琴歌曲谱为宋著名词人姜夔所作]，腾讯网， 2013-12-24</ref> 。[[清朝|清代]]《[[大还阁琴谱]]》则开始采用了徽分记谱法，相邻的徽之间分为十等分，按音位标注为“几徽几分”，与之前减字谱记载的相对位置相比，使得音位准确度更为提高。