玉山书院成立于1572年，是庆州地区的人们为了缅怀李彦迪（1491〜1553）的渊博学问与持正不阿的浩然之气而建设。次年，即1573年宣祖在位时成为赐额书院。

玉山书院坐东朝西，被华盖山（东）、紫玉山（西）、道德山（北）所包围，南向则视野开阔。流过前方的紫溪川有一个大石板，上面的“洗心台”三个字由李滉所书，意味着“用清水洗涤心灵、与大自然同求学问的地方”。据传，正祖为了纪念李彦迪的学识与品德，在这里举办了科举“初试”。
进入正门“亦乐门”后，要想走到“无边楼”就必须要越过一条狭窄的沟渠。这是一条从紫溪川的上流引到书院北侧墙角下的水渠。游息空间“无边楼”是韩国书院中首次出现的楼台建筑。进入“无边楼”下方，沿着石阶往上走，就能看到“无边楼”与“求仁堂”中间面对面建有宿舍东、西斋，这些建筑构成正方形的讲学空间。位于八角屋顶下的“求仁堂”，前方有5间房，旁边有2间房，整个建筑稳稳地坐落在层石砌体台基上。
在“求仁堂”可以遇见吸引眼球的名笔。房檐下的“玉山书院”四个字出自秋史金正喜之手。挂在厅堂上的另一个“玉山书院”匾额是由以书法著名的文臣鹅溪李山海书写。厅堂里侧的“求仁堂”与“无边楼”则为韩石峯的笔墨。

“求仁堂”后面是“体仁庙”，是供奉李彦迪灵牌的祠堂。“体仁”意指“躬行仁道”，可谓是李彦迪一贯主张的实践哲学的核心。李彦迪与金宏弼、郑汝昌、赵光祖、李滉等一同被称为“东方五贤”，是朝鲜王朝时期道学的领军人物。

从玉山书院向西北步行约700米，就能看到第413号宝物“独乐堂”，是李彦迪辞官后“独自与大自然为友读书”的空间。也许在久远的过去，李彦迪在“澄心台”静心，在“濯缨台”清洗斗笠绳、摆脱世俗的纠缠，在“观鱼台”观赏鱼儿游荡、思考“自由”，在“咏归台”边吹清风边吟诗，在“洗心台”净化身心了吧。
“独乐堂”被土墙围绕，无法看到外面的世界。不过坐在厢房，就能通过后窗往外看。澄明的气息透过山谷方向的四方格子窗飘进屋里。

玉山书院是世界遗产双冠王，既被列入“韩国历史村：河回与良洞”（2010年），也被列入“韩国书院”（2019年）。