林慧哲在就讀清華大學物理系時期，開始接觸吉他與創作寫歌，1978年以〈謎·曲〉參加第二屆金韻獎，獲得創作組獎項，他的創作〈勿忘塵〉被新格唱片收錄在金韻獎合輯第7輯。〈邂逅〉與〈夜闌〉則由滾石唱片收錄在『三人展』與『再見離別』專輯中，分別由吳楚楚與潘越雲演唱。 

林慧哲退伍後考入電信局，擔任工程師，也在樂器行教授民謠吉他，創辦樂器行「快樂吉他屋」。他同時擔任南部多所高中與大專院校吉他社指導老師，在成大吉他社任教時，啟蒙了日後的吉他演奏家董運昌。 

1984年，林慧哲受亞洲唱片邀請，為『1984新人獎』專輯編曲。他獨具慧眼，選中〈海裡來的沙〉，促成該歌曲大紅。2009年，他參加廈門衛視主辦的「海峽兩岸閩南語原創歌曲歌手創作大賽」奪得冠軍，2013年再獲亞軍與最佳演唱獎。2012年，他為臺語創作歌手蕭澤倫專輯《彼條路》編曲與錄音。 

林慧哲被譽為臺灣吉他教父、指彈吉他先驅，他投注熱情編撰吉他教材，出版了《快樂民歌手》、《民謠吉他大經典》、《浪漫吉他旋律》、《情調吉他旋律》、《民歌與吉他》、《摩登民謠吉他》、《民謠吉他奧義—潛龍之卷》等著作，推廣指彈吉他不遺餘力。