Внутри этой мечети хранится камень с могилы, которая старше самого здания больше чем на 200 лет. Надгробие Мухаммад-гали бека вытесано во времена Казанского ханства. Мечеть, где он теперь стоит, построена при Екатерине, и два памятника с очень разной судьбой оказались под одной крышей.
Каменную мечеть в Старо-Татарской слободе разрешили строить не сразу. Разрешение привезла сама императрица: Екатерина приехала в Казань и позволила мусульманской общине возвести храм. Деньги собирали всем приходом — по сведениям исследователей, 62 человека сложились на 5000 рублей. Стройка шла с 1767 по 1770 год. Автором проекта называют Василия Кафтырева, хотя подтвердить это нечем: чертежи не сохранились.
За два с половиной века у мечети сменилось несколько имён. Её звали Первой соборной — по старшинству прихода, звали Эфенди, то есть Господской, звали Юнусовской — по купеческой семье, которая содержала храм и платила за перестройки. На деньги Ивана Юнусова сделали пристрой с лестницей, позже расширили михраб — нишу в стене, указывающую направление на Мекку. Нынешнее имя мечеть носит по имаму.
Шигабутдин Марджани служил здесь почти 40 лет, с 1850 по 1889. Богослов, историк и просветитель, он собирал и читал старые рукописи, писал о булгарах и о Казани, и его книги до сих пор остаются опорой для тех, кто занимается историей города. При нём мечеть стала не только молитвенным домом, но и местом, где спорили, учились и читали вслух.
Здание двухэтажное, и залов в нём два — по одному на каждом этаже; нижний, первый, служебный. Минарет поставлен прямо на крыше: так строили мечети в татарской традиции. В отделке фасадов петербургское барокко встретилось с татарским растительным узором, а внутри своды и стены покрыты лепниной голубого, зелёного и золотистого цвета. Минарет перестраивали в конце девятнадцатого века на деньги купца Усманова, а ажурную ограду вокруг него поставили на средства Гизетуллина и Валишина.
По сведениям историков, в советские годы мечеть оставалась единственной действующей в городе, и сюда приходили молиться со всей Казани. Потом её реставрировали, а перед городским юбилеем привели в порядок особенно тщательно. Камень с ханской могилы стоит внутри и теперь, и рядом с ним особенно ясно, как долго может прожить вещь, которую вовремя не тронули.