他是小妾生的儿子，生母长得很好，没什么特长的，柳大人的后院长得好看的人多了去了不差他这一个。儿子也很多，到他的时候已经有屋里了，他排行第六，嫡母还有两个亲生的儿子，他们这种人就只能艰难的讨生活了，不过后来他又多了一些弟弟妹妹，虽然都不是出自他圣母的肚皮。不过他和他圣母一样的是，一年到头都很难见到他父亲。
嫡母柳夫人也会做样子，从来不会缺少他们的吃喝，但是在教养方面从来不会给他们过多的关注，柳吾言是八岁的时候才开始开蒙，等到他十岁的时候，见到过有些人才明白过来嫡母的险恶用心，从前还觉得她千般好的，柳吾言觉得自己真是愚蠢至极。
机缘巧合之下，他认识了老爷身边的冯叔，等到他的暗中帮助，柳吾言学到了更多的东西，也懂得藏胙。
本来他只想尽快的参加科举或者是从军带着生母一起逃离出这个家，但是生母不愿意，她宁愿死守着这个小妾的名分，整日被正妻打压，看着柳大人有往家里抬进来的人，她都不打算跟着自己的儿子走。就在这个时候，方知联系到了她。柳吾言知道安南公主，也是京城里的人谁不知道安南公主的，所以在他么跟自己说能吧柳家交给他打理的时候，他疯狂的心动了。柳吾言起先不知道安南公主的计划，但没关系，他都按照安南公主的说法照做不误。
在柳吾生要出门的那一天，他亲自去拜见了柳吾生，然后借机给他下了药。