衙署的建制是前衙后宅，杨安玄封雍公后，在衙署的北面新辟了三进两出院落，前院是书房、客房和待客之所，校场亦设在前院；中院分成两个院落，东院住着孔苗、杨愔夫妻以及杨莹，西面住着阴慧珍、杨翼和杨锐；后院则是袁氏的住处、佛堂和花园。
杨安玄有三子一女，长子杨愔，次子杨翼，三子杨锐，女儿杨莹最小。杨愔被立为世子，因为杨安玄常年征战在外，对子女的教育不多，杨愔的教育多由学宫的老师和其舅孔鲜负责，家中则是孔苗平日念叨。
在这些儒学大家的熏陶下，杨愔熟读经典，博学多文采，十三岁时便写出士林传颂的“襄阳赋”，被人誉为不输其父。杨愔表现得宽宏大气，为人和善友爱，深为儒士所喜，学宫中的才学之士都喜爱与他交游。
杨翼仅比杨愔小一个月，因为习武的原因，杨翼个头反比杨愔高，十五岁的少年郎快与杨安玄齐肩，身材挺拔，英武过人，除了上午到学宫外，平时最喜欢到军营中骑马射箭。
杨翼十岁时(414年)，杨安玄经得慧远大师(416年逝)同意传授其大雁功传授，五年功夫小有所成，杨翼骑马持槊，在军中鲜有对手。
三子杨锐最得祖母喜爱，袁氏说他跟杨安玄小时一模一样。杨安玄得知后苦笑，所谓一模一样无非是说调皮好玩，杨锐时常趁着散学空闲到城中游逛、玩耍，时常被妹子杨莹捉到，只得带了她一同前去。
兄妹虽是同父异母，杨莹与三哥的感情最好。
阴慧珍担心杨锐变成纨绔子弟，向杨安玄提出找一位严师教导杨锐。
杨安玄让丁全暗中探知杨锐在集市上的行为，得知杨锐与集市上的孩童玩在一起，会倾其所有相助被窃的商贩，也会为眼馋肉包的小女孩递上两个包子；面对小偷敢于掷石提醒，会钻到勾栏的内部看妓娘扮妆，会偷偷地买壶村酿与伙伴分享；也会跑到河边游泳、抓鱼，到农人的田中偷豆……
丁全对杨安玄说起这些时忍不住嘴角露出笑容，他出身市井对杨锐的所做所为倍感亲切。
生怕杨安玄责备杨锐，丁全笑道：“锐郎君虽然调皮，但却有一颗仁心，大概就是那些读书人说的赤子之心吧。”
杨安玄调侃道：“你一个青皮，做了两天官也知道拽文了，赤子之心，说得好。暗中派人护卫好这孩子，不要让他有闪失。”
丁全正色地道：“主公放心，锐郎君但凡少了一根寒毛，仆提头来见。”
战事向着有利雍境的方向发展，越来越多的人看好杨安玄最终能夺取天下，刘裕治下向杨安玄暗通款曲门阀、官员数不胜数。
杨安玄麾下的文武也在暗中较劲，将来主公君临天下，他们必将成为朝堂要员，重臣的位置有限，谁不想入将拜相。
随着杨愔、杨翼年纪渐大，有些人把注意力也放到了他们身上，虽然说杨愔是世子，但将来谁继承杨安玄的家业还尚未可知，交好杨安玄的儿子比讨好杨安玄要来得容易。
杨安玄不止一次地思索过后继之人的问题。杨愔好文，谦谦君子，将来守成尚可，可是北方魏、燕、夏、秦、凉还有吐谷浑等诸国未定，特别是魏国实力强大，国主也算英明，一个守成之君能否开疆拓土，奠定百年盛世；杨翼好武，勇力过人，将来可征战四方、扬威四域，不过他性情刚烈，行事过直，不知妥协。
在杨安玄心中，此时的杨愔和杨翼都不是继承家业的最佳人选，不过两人尚未成年，可塑性很强。
杨安玄打算等哥俩满十六岁后，让他们结伴而游，体察民间疾苦，将所闻所见所感告知自己，自己能针对性地告诉他们是非对错以及行事之法，尽到严父、慈父之责。若得机会，让两人治一县，知处政之难；上战场，知将士不易，用心打磨当成大器。
至于杨锐方才十一岁，且让他多快乐几年，杨安玄相信自己至少还可活上个三十年，完全有时间慢慢挑选继承人。
都是自己的孩子，选谁都不差，杨安玄自嘲地想着，总要为天下百姓选一个最适合的人选。
晚间，杨安玄宿在阴慧珍的西院。
已是戌正时分，杨锐与杨莹还在厅堂内打打闹闹地玩耍，杨翼在院中练剑，杨安玄坐在桌前看着公文，时不时提笔批写上几句。
阴慧珍坐在桌子另一侧缝补杨翼的衣服，杨翼喜好舞刀弄枪、骑马射箭，又时常与人比斗，身上的衣物很容易破裂开口。
杨安玄放下笔，将批好的公文收拾好，见阴慧珍拿着针若有所思的样子，笑问道：“你在想什么呢？半天没见你动弹了。”