个人在社会中生活，绝对的个人自由是不可能的，个人自由的限度在哪里呢?就在于不可以侵犯社会上的其他人，不可以伤害社会上的其他人。一旦伤害发生，必须受到制裁，否则国将不国，社会将不成其为社会，秩序荡然无存，每个人的个人自由也不復存在。这就是从摩西十诫到杀人偿命欠债还钱一类社会行为规范及违规惩罚的起因。
　　然而，对于没有受害人的违规行为，就应当尽量少管和不管，因为既浪费执政成本，又招致反感，正是俗话所说的“花钱买罪受”。这种出力不讨好的事情当中，最典型的就是扫黄。所谓“黄”其实是社会上少数成年公民的自愿行为，其特点是没有受害人，全部是周瑜打黄盖，打的愿打，挨的愿挨。对于这样的事情，虽然不登大雅，但是并不造成真正的伤害，用警察、法庭和监狱这些宝贵的行政司法资源管制此类行为，只能是费力不讨好。
　　目前行政司法力量花费巨额成本加以管制的“黄色”行为有三类，第一类是所谓聚众淫乱，其中包括换偶活动和性聚会，违法要件是三人以上性活动;第二类是制售传播淫秽品;第三类是性交易。这三类所谓“黄色”性活动的特点有三：一是出于公民自愿;二是没有受害人;三是违反社会习俗。
　　出于自愿的人类行为其实质就是出于当事人的内心需求，内心意愿，社会花费巨额成本去管制少部分公民出于内心意愿的行为，是做无用功，是浪费资源，既因为无论你投入多少成本，总是收效甚微;也因为人的内心意愿根本无法改变。
　　对于有受害人的违法行为的管制，无论花费多少社会成本，都不至于引致社会反感，就像打击贪腐，打击一般有受害人的犯罪行为，那才是人同此心，心同此理。人们最多不过是希望能够少花钱，多办事，提高破案效率，降低破案成本而已，绝不会招致公众反感，因为它是为受害人讨回公道，维护社会公平正义。但是对于前述没有受害人的几类黄色行为，花费社会成本去治理就是得不偿失的，东莞扫黄遭到社会舆论强烈反弹就是一个典型事例。
　　这三类黄色行为的确违反了社会习俗，是少数人的越轨行为，但是在世界上所有的犯罪法中，社会习俗都不应当被定义为受害实体，因此也不应当成为犯罪与否的评判标准。也就是说，仅仅违反社会习俗而没有自然人作为受害人的行为，原则上不应受到刑法惩罚。如果动用行政司法力量去惩罚仅仅违反了社会习俗的行为，必然导致社会管理成本过高而收效甚低的局面。为了提高对社会实行管理的效率，节约社会管理资源，应当改变社会管理的思路，瞭解民众心理，多做众望所归的事情，比如说抓贪官，打击恐怖活动，惩罚强姦犯和杀人犯;少做或不做不是所有公民都喜闻乐见的事情，比如说扫黄。