杨勇死后，蜀王杨秀以及其弟汉王杨谅，被剥夺官爵贬为庶民软禁于内侍省，后与诸子一起被软禁，不得与妻子相见。

汉王杨谅不甘束手就擒，便以讨杨素为名，在并州起兵，杨广派杨素镇压，杨谅降后被幽禁至死。

随后杨广诛杀侄儿长宁王杨俨，又把剩余的侄儿（杨勇诸子）安城王杨筠、安平王杨嶷、襄城王杨恪、高阳王杨该、建安王杨韶、颍川王杨煚、杨孝宝、杨孝范贬到岭南，在路途中全部被处死。

同时，杨广也在陆续的清理朝堂，平日里，信奉佛门或是跟佛门走的最近的官员都受到了不同程度的打压，稍有失职，轻则丢官，重则满门诛绝。

在即位之初，杨广便下令修建建造显仁宫，从大江以南、五岭以北的奇材异石运到洛阳，又用海内的嘉木异草、珍禽奇兽充实园苑。杨广命令王弘等人到江南造龙舟及杂船数万艘，洛阳的官吏监督劳役严厉急迫，十分之四五的役丁死亡了，杨广又下令在洛阳建造天经宫。

西苑方圆二百里，苑内有海，周长十余里。海内建造蓬莱、方丈、瀛洲诸座神山，山高出水面百余尺，台观殿阁，星罗棋布地分布在山上，无论从那方面看都如若仙境。

苑北面有龙鳞渠，曲折蜿蜒地流入海内。沿着龙鳞渠建造了十六院，院门临渠，每院以四品夫人主持，院内的堂殿楼观，极端华丽。宫内树木秋冬季枝叶凋落后，就剪彩绸为花和叶缀在枝条上，颜色旧了就换上新的，使景色常如阳春。

池内也剪彩绸做成荷、芰、菱、芡，皇帝来游玩，就去掉池冰布置上彩绸做成阳春美景。十六院竞相用珍羞精美食品一比高低，以求得到杨广的恩宠。杨广喜欢在月夜带领数千名宫女骑马在西苑游玩，他作《清夜游曲》，在马上演奏。

······

短短几年的时间，天下民不聊生，烽烟四起。

自大业元年始，杨广为了开掘长堑拱卫洛阳，调发今山西、河南几十万农民；次年营建东都洛阳，每月役使丁男多达两百万人。自大业元年至大业六年，京杭大运河开凿，在开发各段运河的过程中，各地先后调发河南、淮北、淮南、河北、江南诸郡的农民和士兵三百多万人。

大业三年和四年在榆林以东修长城，两次调发丁男一百二十万，役死者过半。总计十余年间被征发扰动的农民不下一千万人次，造成“天下死于役”的惨象。