当該ブローカーが実質的に宅地建物の売買の代理や媒介をしているとなると，当該ブローカーは宅建業法に違反することになります。
買主側が宅建業法違反の共犯ということで刑事責任を問われる可能性は低いとは思いますが，トラブルに巻き込まれるおそれはあります。
また，弁護士をしていると，トラブルになるケースは，往々にして，資格のないブローカーとか代理人的な第三者が間に入って，双方に都合の良いことを言っていたりするケースが多いので，一般論としては，そのような取引はよくよく注意した方が良いと思います。
例えば，売主の売却の意思は，直接に確認することが必須だろうと思いますし，決済の際にも売主本人に出席してもらうべきだと思います。ブローカーが，売主に直接接触することを嫌がるようなことがあれば，実際には売主の了解を取っていないとか，何か隠していることがある可能性があります。
税務的には税理士でないので確実なことはいえませんが，ブローカーに支払う5000万円は，宅地建物取引業者に支払う正規の仲介手数料と異なり，売買に伴う経費として認められないのではないでしょうか。税理士にも相談した方が良いと思います。