说“安以轩是黑道公主”是网传其父亲是混黑道的，其爸爸（人称：小超）是开保安公司，负责着整个台北101的治安，奶奶更是传奇人物「东区吴妈妈」，姑姑来头也不小，经营茶馆被称之为「茶街一姊」，就算有如此强大的家庭背景，安以轩并没有就此安逸，只身一人踏进演艺圈，也认真在经营副业开设店面，月收百万并非难事，后来嫁入所谓的“好人家”也绝非是飞上枝头当凤凰，如此显赫的家世曾被外界谣传是黑道千金，但其实父亲是从台中慢慢打拼上来台北，如今保全公司遍及全台，但是与黑道无太大相联。