Selanik Kalesi Duvarları, Rum Baskısı