Замоделить и расставить по краям карты огромные вертикальные плоские стены с прозрачной текстурой и коллизией, и чтоб это были декорации типа мост, но с непроходимой картой пути минимального размера. Угол поворота выставить -1, чтобы можно было поворачивать. Границы анимации у моделей сделать как можно больше, например от -2000 до 2000 по xyz, чтобы самих декораций потребовалось как можно меньше и чтобы они не пропадали за границей камеры.

Попробуй так)

Эта проблема многим моим идеям портила жизнь, никак не решается. Только получением координат именно мыши и проецированием с помощью вирт камеры типа как в wGeometry или в DGUI