SEU filho do PAI

Porque será que ninguém xinga ao outro de ''seu filho do pai'' e só ''seu filho da mãe '' é um xingamento?!...