ケージの外へ出された時、うさぎさんにとっては縄張りが広がったことになりますから、その自分の縄張りを意味する印をつけるためにおしっこや糞を残していきます。特に男の子の場合には、この縄張りを意味する行動も多く見られたりもすると思いますね。
また、放されたことにより興奮状態でもありますよね。興奮しているだけでも、あちこちでしてしまうことも少なくないですから、こういったうさぎさんの行動の意味を考えてあげるとよいと思いますよ。
部屋に放す前に、一旦サークルなどの中で興奮を止めてあげてからということもよいかもしれませんし、行動範囲自体をサークルで制限してあげることも大切です。縄張り行動は本能による行動でもありますので、うさぎさんが自由に出来るこの範囲だけは、汚れても良い環境にしてあげることもよいかもしれませんね。叱るときには時間を置かずにその場で叱りましょう。きちんとうさぎさんの動きをとめて、そして目を見て叱ってくださいね。それからケージに戻してしまうということもしつけとなると思いますよ。