他的家乡流行唱黄梅戏，他小时候是浸润在黄梅戏的音乐中长大的。1958年他凭借拉得一手好二胡，以独奏《良宵》考进了安徽省艺校，整整学了三年黄梅戏音乐，学会了作曲。他说自己对黄梅戏的熟悉程度和喜爱程度都远远超过了庐剧，当初他的同班4个人后来只剩下他一人，别人都不学了，他依然在坚守，立志要为黄梅戏艺术做出点成就。然而就在他毕业时准备大展宏图的时候，学校却撤销了庐剧专业。当时学西洋音乐的何合浓被分配去了庐剧团，而徐代泉被宣布留校从事教学。徐代泉很不理解，以为领导弄错了，他认为按理应该把他分到庐剧团去才对。但学校领导说出的理由却让他心服口服：“我们是要为庐剧留一个种子。”但这个种子却没有机会发芽、开花、结果。省艺校直到1993年才招了一个庐剧班，这中间30多年徐代泉一直学无所用，没办法他只好下决心转向黄梅戏。但黄梅戏与庐剧音乐是根本不同的，为了尽早掌握这个剧种，徐代泉采取了一个笨办法——与黄梅戲表演班的学生一起上唱腔课。老师上课时，他一面听，一面记谱。由于功夫下得大，他比十几岁的孩子学得还快，到后来艺校的黃梅戲教学曲目基本上都是由他来写。
这一行干起来是既苦且难的。苦是苦在熬人，不断学习和创作；难则难在从事戲曲音樂要學的人數少而又困難。而從事戲曲音樂的人往往免不了與清貧和寂寞為伍，這正因為如此，有些人選擇遠離這個領域。那時候很多作曲家都會遇到寫不下去的情況，那種狀態真是坐亦想、走亦想、醒亦想、夢亦想，但每當完成了一首作品，那種滿足感卻讓一切辛勞值得。
徐代泉說自己一生做了三项工作，一是教書，即使退休也不放棄；二是在創作方面，不僅限於黃梅戲還有其他劇種；三是在研究方面。他曾經參與編纂《中國戲曲音樂集成·安徽卷》，主持編纂“泗州戲”、“安慶弹腔”等劇種篇，並獲獎。他創作過許多著名歌曲，如《桃花扇》、《半把剪刀》、《家》、《春》、《秋》、《啼笑因缘》、《二月》、《潘張玉良》、《祝福》，都是對黃梅戲的一次次深入探索。在65歲高龄之际，他仍旧担任着中国戏曲学院及安徽大学艺术学院客座教授的地位。这份热情，让他的名字成为了一段传奇故事，也让更多的人了解并欣赏到了这门古老而美丽的事业。
