Hacı Bektaş Postnişini Çelebi Cemalettin Efendi, Harb-i Umumi’de memleketin düştüğü zor durumu görerek Alevilerden müteşekkil Gönüllü Mücahit Alayı kurma fikriyle İstanbul’a gitti.
Padişahın huzuruna çıkarak talebini arz etti.
Sultan Reşat;
“Çelebi Hazretleri, uzun yoldan geldiniz, birkaç gün istirahat ediniz” cevabın verince, maksadının kuşkuyla karşılandığını anlayarak;
“Padişahım, bu devleti senin dedelerin ile benim dedelerim birlikte kurdular; bu ülkeye karıncalardan zarar gelir Alevilerden zarar gelmez. Bu konuda hiç şüpheniz olmasın” diye mukabele etti.
Çelebi’nin bu sözleri karşısında duygulanan Padişah;
“Çelebi efendi, sen bir tekke şeyhisin, asker toplayıp nasıl savaşacaksın?"
Cemalettin Çelebi;
“Padişahım senin bu konu için görevlendireceğin komutanlarla bu alayı kuracağım”
Sultan Reşat bir sancak ile Binbaşı Galip Bey’i ve alay kâtibi bir yüzbaşıyı Çelebi’nin emrine verdi.
Cemalettin Çelebi İstanbul – Samsun vapurundan inerek yaylı arabayla Hacıbektaş’a varır varmaz her vilayete özel adamlarıyla beraber ‘Mücahidin Alayı Komutanı Hacı Bektaş Çelebisi Ahmet Cemalettin’ mührüyle emirnameler gönderdi.
Kangal Divriği bölgesine gönderilen emirname;
“Kangal, Divriği kazaları muhibban, müntesiban taraf-ı halisanelerine;
Yazıda adı geçen Seyyid Gazi Efendi’nin Mücahid-ini Bektaşiye Sancağı Şerifine son derece bağlı ve güzel inançlı bulunduğundan, bu al-i aba yoluna bağlı olanların da sebat edip Seyid Gazi Efendi’nin emrine uyup Gönüllü Mücahidin-i Bektaşiye Sancağı şerifine katılmaları ve tarikat emrine dâhil olmaları yolumuz için önemlidir. Cenab-ı Pir Hacı Bektaş-ı Veli Efendimiz Hazretlerinin aşk ve muhabbetiyle cümle muhibban da bu emre uymalıdır… ”
Sivas Kangal Yellice Alevilerinin ünlü dedesi Mahzuni Dede ve Koçhisar’ın Yalıncak köyünden Ağuçanlı Seyyid Aziz Dede de bağlılarıyla alaya katıldı.
Çelebi Cemalettin Efendi, fahri albay rütbesiyle Alay komutanı olarak Erzurum şubesinin, sır katibi Sıtki Baba da yüzbaşı rütbesiyle Erzincan şubesinin başında bulundu.
Gönüllü Mücahidin-i Bektaşiye Alayı önce Gelibolu’da sonra Doğu Cephesi’nde iki yıl boyunca Ruslarla savaştı.
1914 yılı Mart ayı başlarında Çelebi’nin büyük oğlu Hamdullah Efendi, bir telgraf gönderdi;
“Ankara Kırşehir Mucur yoluyla gelen Enver Paşa, Hacı Bektaş’a uğradı. Pir’in dergâhını ziyaret etti. “Sivas’a varınca babanız Çelebi’yi memleketine göndereceğim. Onun bu hizmetinden memleket memnun kalmıştır” dedi”
Rusya’da iç sıkıntılar baş gösterip Rus Ordusu geri çekilmeye başlayınca Çelebi Cemalettin Efendi, Enver Paşa’nın emirle, Erzincan’da bulunan Sıdki Efendi ile birlikte 40 kişilik zabitan kuvveti olan Mücahidin Alayı’nı Sivas’a çekerek, Enver Paşa’yı bekledi.
Mart Ayı Başında Enver Paşa Sivas’a geldi. Mücahidin Alayı’nı teftiş ederek Çelebi Cemalettin Efendi’ye tezkeresiyle birlikte bir de kılıç hediye etti.
Alayın terhis edilmesi kararlaştırıldı; yaşlılar serbest bırakıldı, gençler diğer alaylara bölüştürüldü.
Enver Paşa’nın ayrılmasından on beş gün sonra Sivas’tan hareket eden Cemalettin Çelebi Hacıbektaş’a, Sıtkî Baba ile oğlu Ali Baki Gül Merzifon Harız- Gümüştepe köyüne, diğer ocakzadeler de memleketlerine döndüler.