《西京杂记》的作者众说纷纭，一般认为是由西汉刘歆撰，东晋葛洪集录的。

刘歆（约前50年一后23年），字子骏，西汉末经学家、目录学家，西汉古文经学开创者，章太炎谓之“孔子以后的最大人物”。汉高祖刘邦四弟楚元王刘交五世孙，宗正刘向之少子，因助王莽篡位而位至国师，后又因谋诛王莽事败而自杀。刘歆有博古通今之才，擅术数、诗、史，在天文学、古籍校勘分类、经学文献保存上也都有杰出贡献。他在太初历基础上，整理成的“三统历”，是史书上第一部记载完整的历法。曾与其父刘向同校皇家藏书，在刘向《别录》的基础上编撰了《七略》，是中国第一部图书目录、分类。可惜刘歆的著作大多已亡散，现今留存的只有《移让太常博士书》、《七略》、《三统历谱》梗概等，如《尔雅注》、《钟律书》等均佚。明代人曾辑有《刘子骏集》。