
右大臣小野富人(小野妹子の子、通称鼻高仙人)が、薬師如来のお告げに従い、湯屋に薬師三尊仏を祀り、薬草風呂にて諸人の病を治した地とされる。
736年(天平8年)、聖武天皇の勅命で行基が伽藍を建立。印度婆羅門僧菩提僊那(東大寺大仏の開眼供養の導師)が、地相がインドの霊鷲山に似ていることから霊山寺と名付けた。
ばら庭園でも有名。
本堂
国宝 1283年
和様。桁行五間、梁間六間、一重入母屋造、本瓦葺き。外陣、内陣、脇陣からなる。堂内の春日厨子内には、本尊薬師如来、脇侍日光・月光菩薩を安置。その他十二神将像、二天像等が祀られている。
鐘楼
重要文化財 室町時代初期
黒塗板張り腰袴姿。入母屋造、檜皮葺き。吊鐘に縁起が刻まれている。
三重塔
重要文化財 鎌倉時代中期
純和様式。三間三間、高さ17m、檜皮葺き。初重内部に巨勢金岡筆と伝わる極彩色の壁面がある。
十六所神社
重要文化財 室町時代
霊山寺の鎮守社であった。社殿は5棟並び、向かって左から春日社、住吉社、本社、龍王社、大神宮となり、中央3社は室町時代建立の重要文化財。他2社は江戸時代の建立。
その他

・大弁才天堂(1935年)
・黄金殿白金殿(1960年、1977年)
・地獄洞(1956年):地獄図のレリーフがある。
・奥之院:大辯才天と七福神を祀る。
・薬師湯、天龍閣(休憩所)、聚楽殿(宿泊施設)、ばら庭園、霊園等。