А раньше в рабстве были что ли?

Просто они были на корабле и, их считали изгоями, как Цыганы не имели собственного дома постоянно кочевали.