原为宋代临高县令谢渥建的小学馆。学馆庭院种有茉莉花，谢渥信仰佛教，取名茉莉，既意为崇佛，又体现地方风尚。宋绍兴十八年（1146年）胡铨被贬到吉阳军（今三亚市崖城镇）编管，他从雷州半岛乘船于澄迈县通潮驿（今老城镇）登岸绕岛西线经临高时，谢渥出迎住宿茉莉轩。胡铨在此曾有诗眼明浙见天涯驿，脚力行穷地尽头（题《茉莉轩》），自此茉莉轩名声越来越大。据临高县志载，时有临高博顿村人名戴定实处到胡铨的指教而发奋读书，终成举人并在吏部任职。历史来，人们称茉莉轩为中原文化在临高传播的一个地点。茉莉轩旧址在临高师范学校内。