Может собственник выселить из дома родственников?

Здравствуйте. У меня вот такая ситуация: дом на 2 хозяина, в первой половине живет моя бабушка и дедушка, а во второй половине я, мама и сестра. Живем уже лет как 10 (но не прописаны по данному адресу). А тут случилась семейная ссора и дедушка сказал, что выметайтесь, вы здесь больше не живете. И, соответственно, сам вопрос: имеет ли он права нас выселить? Хозяин один (дедушка мой), просто дом разделён на два.

Иван