王袆的先祖王彦超，在五代时期，为了避乱而从会稽迁居到义乌，并在那里定居。随着子孙的增加，他们所居的小村庄就被称为“王村”，这个地方现在位于义乌市南部的毛店镇朱店村。到了王袆的祖父那一代，家族已经搬进了义乌县城内。
王炎泽是王袆的祖父，他字威仲，对经书有深厚研究，学术上追随朱子理学。他曾任东阳和常山教谕，也曾担任石峡书院山长，以其教学之道著称，被尊为“南校先生”。
王良玉是王袆的父亲，他字怀璞，是个性格高雅、好学的人。他也专注于研究古籍，并担任婺州路儒学训导后来又成为常山教谕。他们夫妇生下三个儿子： 王裕、 王补和 王袆（即仲）。宋濂在《送黄中丞》序中提到，“ 袆” 这个名字来源于古代“蔽膝”的意思，即围裙，最早用兽皮制作，后来改用布帛，这样取名也是为了保留古俗。
黄溍认为不能把同等视作一般，因此与他交往不以师生相待，而是以同道相待。在通信时，也称呼对方为先生。之后人们都知道了王袆受师命所托，代替黄溍撰写文章，无论有求于黄溍，都直接找去问询他撰写的事务。一旦完成由他所撰写，就全都欣喜若狂，将其视如珍宝。这使得他的文名愈发远播，与同窗宋濂齐名。
北上大都 元顺帝至正八年（1348），当时国家政局不佳民风衰败，使得他忧国忧民之心油然而生。他写了一篇文章，全盘讨论天下的形势，对朝廷选将、择相、建官治民取土用兵等方面提出自己的见解。这篇文章详细且长达七八千言。
此次北上的目的就是呈递给朝廷，但最终因过于直言入木三分，不被重视而无疾而终。此后的几十年里，无论是在国史馆还是其他职位上，都未能实现他的抱负。不过，他的一些老师和朋友对他的才华十分看重，一直推荐他到京城工作，但一直未能成事。
然而，在京城期间，公卿大夫中那些通晓文学的人对他的才能印象深刻，其中包括宣城人贡师泰和婺源人程文。当程文读了他的作品后，不禁拍案叫绝，为之一叹：“青出於蓝勝於藍”，这世间少有的真材实料。在程文眼中，与自己并肩学习讨论的是一位真正值得尊敬的人物。而贡师泰则更是一见如故，与之结下深厚友情，一起探讨各种问题，有时候还会互相朗诵各自创作或收集到的诗词，有时候则互评新旧文章夜晚燃烛谈话，或许连夜通宵达旦地探索古今文化精髓。
元末兵乱爆发后，因为避战乱，要离开京都回到浙江家乡。在途中，他们经过两年的旅行终于抵达家园，从此隐居青岩傅地区域。这里原来的居民都是傅氏家族成员，因其世居于此，所以叫做傅氏地区域。而青岩地区周围有两座双峰——砚峰，它们向西延伸形成一个巨大的盾形山脉，由这两个支脉之间的一个小山峰齐山环绕。这片区域地势平坦，只有一条宽约一里的平地中央还有双涧水流，从南北二支山脉分开的地方流出，然后汇聚成一条河流流入新塘附近，再次汇聚进入另一块平地处，这个小河流沿着这一过程约行走三四里然后注入新塘旁边的小池塘，那池塘又位于这两个主体高耸的大型丘陵之间。这片区域由于清澈溪流、小屋以及众多绿树茂密环境，让这里变得非常宁静安详且空气清新的特点吸引了许多游客前来观光。但其中最让人难忘的是它独特的地理位置，以及周遭环境带来的特殊感觉，这种感觉既让人感到放松，又让人的思绪飞扬，让所有谁踏足这些地方的人感受到一种超脱尘世的心境。
