Eski çağlarda doğudaki İran sınırından batıda Pasinler ovasına, kuzeyde Ararat Dağı eteği ile Erivan arasında akan Aras nehrinden, güneyde Çaldıran ovasını içine alarak Van sınırına kadar uzanan bir eyalet olan Bazid doğa ve tarih hazinesi bir yöre. Uzun yıllardır tarihi, kültürel ve turistik donanımı ile her zaman bir uğrak yeri olmuştur.  Bazid merkezinde İshak Paşa Sarayı, Kürt filozof Ehmedê Xani’nin türbesi ve Urartulardan kalan kale, mağaralar, tapınaklar, Meteor çukuru, Nuhun gemisi,  Ağrı dağı, buz mağarası…  Bazidin simgesi durumunda olan İshak Paşa Sarayı üç tarafı dik bir tepe üzerinde kurulmuştur. Daha önceki bir kalenin yerinde inşa edilmiş.  Bir yanında Ehmedê Xanî türbesi, diğer yanında Keşişin bahçesi. Her ikisinin ortasında görkemli bir Saray… Bu günkü Doğubayazıt ovasından bakıldığında tüm heybetiyle bir kartal yuvasını andırıyor.

Sarayın temeli Mir Mihemed  Pirbela oğlu Evdi Paşa zamanında atılmış, büyük Kürt filozof ve Şairi Ehmedê Xanî bu kürt hükümdarların sarayında bir dönem divan katipliği yapmıştır. Sarayın yapımının başlama tarihi 1685, bitiş tarihi ise 1784. Duvarları ve tabanı taştandır. Dünyanın sayılı maddi eserleri arasında olan bu sarayın, yüzyıllar öncesinden tekniğin, teknolojinin ve yolun olmadığı çağlarda 25–30 km. uzaklıktaki Kotiz köyünden beyaz taşlar, Ağrı dağından da siyah taşlar olmak üzere insan ve hayvan sırtlarında, dağlar tepeler aşılarak getirilen kesme taşlarla yapılmıştır.

Duvarları ayet ve beyitlerle süslüdür. Bu yazılar arasında, sarayın yapımıyla ilgili şiirde geçen ”İshak meram üzere kerem kıldı cihanı-Bin yüz doksan dokuz buna oldu tarih” beyitinde Sarayın miladi 1784, hicri 1199 yılında tamamlandığı anlaşılmaktadır. Saray, üç aşama olarak bu yıllar arasında yapılmıştır. 99 yıllık inşa süreci İshak Paşa zamanında tamamlanmıştır. Onun zamanında bittiğinden dolayı, İshak Paşa Sarayı ismini almıştır. Yapımı birkaç kuşak süren Saray, resmi olarak her ne kadar İshak Paşa Sarayı olarak geçsede, halk arasında daha çok Kela Behlûl Paşa (Behlûl Paşa Kalesi) adıyla anılmaktadır.

Günümüzde birçok destanda(örneğin Perişan Xanim ve Helil beg), yine birçok Erivan türkülerinde Kela Behlül Paşa olarak geçmektedir. Bölgenin yazılı ve sözlü edebiyatında genelde hâkim olan Kela Behlül Paşa adlandırılmasıdır. Bunun da nedeni Bazid’in son hükümdarı olmasından kaynaklanmaktadır.

Saray binasının oturduğu zemin vadi yakası olduğundan, kayalık ve serttir. Eski Bayazıt şehrinin merkezinde olmasına rağmen, 3 tarafı (Kuzey, Batı, Güney) dik ve meyillidir. Sadece doğu tarafında düzlük bulmak mümkündür. Sarayın giriş kapısı buradandır.  Kapladığı alan 7.600 m² dir. Saray kendi içinde bir bütünlük arz etmektedir. Sarayın dış yapısı taş işçiliği ve oymacılığı ile belirgindir. Altın kaplama olan giriş kapısı 1877–1878 yıllarındaki Rus işgalinden sonra, Ruslar tarafından sökülerek kıymetli eşyalarla birlikte Moskovaya götürüldüğü iddia edilmektedir. Aynı zamanda bazı kitabeler tahrip edilmiş ve belgeler kaybolmuş. Rus istilasında saraydaki bazı değerli eşyaların ve Sarayın kütüphanesinde bulunan kitapların Rusya’ya götürüldüğüne dair bilgiler de var.

Saray mimari ve stil bakımından şu bölümlerden meydana gelir;

1-Dış Cephe, 2-Birinci ve ikinci avlu, 3-Cami Binası,4-Aşevi,6-Hamam, 7-Merasim ve eğlence salonu, 8-Takkapılar, 9-Cephanelik ve erzak depoları, 10-Türbe Binası, 11-Fırın, 12- Daire ve odaları, 13-Zindan, 14-Cümle kapısı, 15-İç mimariden bazı bölümler(kapılar, pencereler, dolaplar, şerbetlikler, şömineler vs).

Saray, iki avlu ve bu avluda bulunan yapılar topluluğundan meydana gelmiştir.  Birinci avludaki yapıların bazıları yıkılmıştır. Saray, 366 odalı olarak inşa edilmiştir. Üst katları yıkılmış olduğundan Sarayın gerçekte toplam kaç oda ve bölümden meydana geldiği bilinmemektedir. Halk arasında bilinen 366 odalı saray görüşü doğru kabul edilmektedir. Ancak binaların üst kısmı çökmüş ve hatta temeline kadar sökülmüş odalar mevcuttur.

O dönemki uygarlıkların mimari ve motiflerinin süslemeleriyle öne çıktığı, yüksekliği 11.80, genişliği 10.60 ve derinliği 4.80 metre olan görkemli ana giriş taç kapısından (sarayın tek giriş kapısı) içeri girince Selamlık denilen birinci avlu ile karşılaşılıyor. Bu kısmın etrafında tek katlı nöbetçi odaları, tuvalet, çeşme, mühimmat ve silah depoları, muhafız koğuşları ve altında zindanları, at ahırı, araba hangarı yer alıyor. Girişte sağ tarafta, üzeri bitki desenli motiflerle süslü olan çeşmenin musluklarından sadece su değil, sarayın bir üstündeki tepedeki bir havuzda sağılan koyunların sütü de bir ana borudan buraya akıyormuş.

 İkinci avlu ya da yapı grubu sarayın en önemli bölümü.Buraya, iki tarafında selvi ağacı kabartması olan, yaklaşık 10-11 metre yüksekliğindeki tac kapı, ardından üstü kapalı bir tünelden geçerek ulaşılıyor. Dört tarafı yapılarla çevrili ikinci avlu dikdörtgen planlıdır. Girişe göre sağ tarafta cami ve türbe bulunmaktadır. Sarayın ikinci avlusundaki türbe, kesme taştan yapılmıştır. Duvarları geometrik motiflerle süslüdür. Bu türbede Çolak Abdi Paşa, İshak Paşa ve yakınları yatmaktadır.

Sarayın en şaşaalı bölümü, etrafında idari işlerin ve dini ibadetlerin yapıldığı divan salonu, cami, medrese, divan misafirleri odaları, hizmetli odaları, zahire ambarları ve Paşanın özel yaşamı için ayrılmış bölümlerinden oluşuyor. Zeminden iki metre yüksekte yer alan kısma, süslü taç kapıdan geçip, dokuz basamak çıkarak hole ulaşılır. Holün güneydoğu köşesinde divan salonunun giriş kapısı, kuzeybatıda camiye bağlanan koridor kapısı, özel odalara açılan kapılar ve üst kata çıkan merdiven girişi var. Hepsinde pencere olan üç oda da, birbirine bağlanmış. Bunlar hoca, müezzin gibi cami ve medrese personeli için yapıldığı söyleniyor.

Kış mevsimlerinde sarayın kalorifer sistemine benzer bir yöntemle ısıtıldığı bilinmektedir. Bu nedenle de sanat tarihinde dünyanın ilk kalorifer sistemli yapısı olarak geçmektedir. Her odada taştan yapılmış ocaklar vardır. Taş duvarlardaki boşluklar bütün yapının merkezi bir ısıtma sistemine sahip bulunduğunu göstermektedir.

Dıştan tümü ile kesme taştan yapılan cami ve türbenin pencere kenarları ve yüzeyleri zengin bitki, hayvan motif ve mimari öğelerle süslenmiştir. Başta kapılar olmak üzere zengin kabartma ve süslemelerle bezenmiştir. Türbenin üzerindeki işlemeler ise inanılmaz güzel. Sarayın detayları ve süsleme sanatı anlatılacak gibi değil, mutlaka gidip görülmesi gereken bir şaheser.

Bazid şehrine 8 km. uzaklıkta, ulaşımı oldukça kolay bulunan İshak Paşa Sarayı, dünyada eşine rastlanmayacak kadar güzel bir görünüme sahiptir. Saray’da, İran, Kürt, Hint ve Ermeni kültürüne ait süslemelerin ve motiflerin olduğu görülüyor. Saray süsleme, kabartma ve mimarisine hâkim olan Aryan tarım toplumunda kalan kültürdür. Her ne kadar bazı eserlerde, Osmanlı Sarayı veya Selçuklu yapı tarzı gibi söylemler geçse de, böyle olmadığı açıktır. Avrupada olduğu gibi, Ortadoğu’da da eski yapıların birbirine kısmen benzemesi normaldir. Bu durum, Sarayın Osmanlı veya Selçuklu tarzı olduğunu ispatlamaz. Kaldı ki Saray ile Selçuklular arasında 500 yıllık bir zaman dilimi vardır.  Daha çok, hepsinin ortak yanları olduğunu gösterir.  Zaten İshak Paşa Sarayı gibi ya da ona benzer başka bir örnek de yok. Nasil ki Topkapı farklı bir stil ise, İshak Paşa Sarayı da öyle.

Çeşitli ülkelerden gelip sarayı ziyaret eden Marco Polo ve ünlü Ruş şairi Puşkin gibi sayısızca gezgin ve aydınların birçoğu sarayın mimari harikasına karşı duyduğu hayranlığı gizleyememişler. Moritz Wangner adlı Alman yazar 1841’de sarayı ziyaret ettiğinde muayede salonu ile ilgili olarak gördüklerini, ”Duvarları aynalar ve altın yaldızlarla kaplanmış bu ihtişamlı salonu gezerken hayranlığımı gizleyemedim” diye yazmış.