据史书记载，赵飞燕在汉宫私通的第一个男子是宫中乐师冯无方。

　　冯无方曾经因为救护飞燕有功，而被成帝大加赏赐，允许他自由出入飞燕内寝。他也曾当着成帝的面，与飞燕合作表演过双人舞。冯无方能托举起飞燕，在他的掌中翩然起舞，后世遂有飞燕能作掌中舞的传说。两人常以切磋舞技为名，厮混一处，也从此渐有奸情。当然了，这一切都做得天衣无缝，瞒过了成帝。

　　赵飞燕长于音乐歌舞，对于音乐有一种天赋的才能，虽然她与冯无方苟合，但飞燕是一个性欲旺盛的人，渐渐也就不满足了。之后她又看上了同为宫廷侍郎的庆安世。

　　庆安世年方15岁，贵族出身，生得眉清目秀，白皙亮丽，风度翩翩，十分可人，和冯无方一样，庆安世善为音律，长于鼓瑟。是一名具有浓郁艺术气质的翩翩美少年，无论演奏或清歌都有一种出神入化的力量，令赵飞燕十分喜欢。特别是他弹奏的《双凤离鸾曲》，更是缠绵悱恻，哀婉动人。庆安世玉树临风，赵飞燕十分爱慕。于是就以学琴为名，特求成帝允其自由出入皇宫，赵飞燕送给他两张名贵的琴，一曰"秋语疏雨",一曰"白鹤".时常召庆安世入宫弹奏示范。就在这种美妙的乐舞声中，双双忘情，栖于一处。赵飞燕赐给他紫绨裘，时常召入寝宫，嬉戏欢情于床笫之间。

　　赵飞燕如此涉险履危，既有贪恋肉欲的一面，犹有借种生子的因素。可惜她如何机关算尽，始终是山间竹笋，腹中空空。

　　或许有人会问，禁宫深深，成年男人如何能自由出入？

　　其实，在汉代，"男女之大防"不如后世那么严格。虽然在宫廷里宦官使用已经普遍，但少数不是宦官的男人也可以以某种身份或某种借口自由出入宫廷。如常侍这种侍从官，后世虽规定全由宦官充任，在当时却是士、宦杂用的，直到东汉时也不乏世家子弟担任此职，常侍似乎更多的是一种恩宠的待遇。此一方面的成例不少。如东汉时窦太后临朝听政，其兄弟们非为侍中，即为中郎将，普遍占据朝廷要津，最不济的，也都官拜常侍，如窦景、窦环之流。西汉宫中不少被罚为官奴的人，也是不曾被阉割的。而且西汉时期，皇宫的宫女是不穿内裤的，直到昭帝时，才下令宫女不许再穿开裆裤，而且还要多扎几道腰带，可见汉宫的淫乱程度了。这就为后妃的淫乱创造了条件。

　　赵飞燕为了怀上孩子，就以祷神为名，奏请成帝，想另辟一室，日夜祈求神灵降福。理由是有了皇嗣是大汉之福，这理由冠冕堂皇，成帝没有不答应的道理。秘室建好后，飞燕硬性规定，在她入室祈祷神灵时，任何人不得接近密室，包括成帝也不例外，以免冲撞了神灵。

　　一切似乎都做得天衣无缝后，赵飞燕便派心腹宫人，将能自由出入内宫的侍郎、常侍、宫奴换个儿排了个队，凡美貌的、壮硕的、多子的，都按册索名，但始终未能如愿。于是扩大范围，在长安城中寻找美貌少年，凡符合条件的，都被胁迫诱以厚利或绑架，装在箱子里，偷运进宫，或化妆成美妇人，公然进出皇宫。通向秘室的路，人来人往，川流不息。赵飞燕每天都要和数十个男人轮番作乐，纵欲无度。"日以十数，无时休息，有疲怠者，辄代之".这真是骇人听闻，旷古第一淫妇。