特定のオブジェクト間の判定を回避する

Physics.IgnoreCollision(ColliderA,ColliderB);

Physics.IgnoreCollision(ColliderA,ColliderB,false);//で判定復帰

または、あらかじめレイヤ分けしておいて


Physics.IgnoreLayerCollision(14,9,true);

Physics.IgnoreLayerCollision(14,9,false);//で判定復帰
14 9という数字はレイヤの番号を指定しています。