Džamija je izgrađena na lijevoj obali rijeke Fojnice, na nekadašnjoj periferiji visočke čaršije, uz staru tabhanu. Razvojem visočke čaršije uzvodno, džamija je vremenom dospjela u samo njeno središte. U neposrednoj blizini džamije se nalazi novoizgrađeni most preko rijeke.
Današnje Visoko, odnosno današnja njegova matrica, potiče iz prvog, odnosno najranijeg perioda osmanske uprave. O tom periodu istorije grada ima vrlo malo podataka. Tračak svjetlosti unose dvije sarajevske zakladnice od kojih je jedna pisana 1477., a druga 1526. godine. Po prvoj zakladnici je Visoko selo, a po drugoj kasaba sarajevske nahije. Ovo novo Visoko zahvaljuje svoj nastanak srednjevjekovnoj utvrdi i naselju što se pod utvrdom bilo razvilo.
U Visokom postoji devet starih džamija, a kako ni na jednoj nema tariha i kako se ni od jedne nije sačuvala zakladnica, a budući da su sve jednostavne izrade, a i njihovi osnivači, ukoliko su im imena poznata, nisu bili poznati u našoj prošlosti, to nije moguće približno ni odrediti vrijeme njihovog nastanka. Od ovih devet objekata pet je sa kamenom, dok su ostale sa drvenom munarom. Najstarija visočka džamija je džamija u Perutac mahali koju je sagradio neki hadži Ibrahim.
Kao i u Sarajevu, Mostaru ili Tešnju, tako su i u Visokom tabaci pokraj tabhane sebi napravili džamiju, pošto se prva visočka tabhana nalazila u neposrednoj blizini mjesta na kome je kasnije podignuta džamija. Pretpostavlja se da je to bilo u prvoj polovini XVII vijeka.
Tabačka (Tabačica) džamija nastala je dakle u vrijeme ekspanzije tabačkog zanata, u vrijeme kad je esnaf tabačkih zanatlija dovoljno osnažio da bi zanatlije stekle dovoljno sredstava za izgradnju jednog takvog objekta. Džemat ove džamije sačinjavali su uglavnom zanatlije – tabaci.
Prvobitna džamija je tokom istorije nekoliko puta stradala, a uzroci njenog uništenja bili su uglavnom požari, koji su zahvatili Visoko početkom XVIII vijeka, i velike poplave. Posljednja poplava desila se 1871. godine kada je rijeka Fojnica odnijela i tabhanu i stupe i džamiju. Nakon poplave izgrađen je objekat u današnjem obliku koji su tabaci održavali svojim prilozima.
Tabaci su obrtnici koji se bave štavljenjem koža, a njihove radionice se zovu tabhane. U Bosni i Hercegovini je postojalo petnaestak mjesta sa razvijenim ovim zanatom, dok je do danas jedino u Visokom ostao prisutan bez ikakve promjene u radu (Kreševljaković, 1991., str. 695 – 697). Prisustvo ovog zanata zabilježeno je i u prvoj polovini XVII vijeka. Kasnije se razvijao pa je osnovan i tabački esnaf sa upravom, na čijem čelu je stajao esnaf-majstor ili ćehaja. Visočki tabaci su imali i svoj bajrak sa dva tuga, što je dokaz da je ovaj zanat bio jako brojan.
Objekat Tabačke (Tabačice) džamije u Visokom nalazi se upisan u Registar spomenika kulture.
Objekat je nekoliko puta obnavljan nakon velikih poplava i požara koje su zadesile Visoko. Zadnja velika poplava desila se 1870. godine kada je rijeka Fojnica odnijela i džamiju i tabhanu koja se nalazila neposredno uz džamiju i nakon koje je objekat izgrađen u današnjem obliku. Za manje intervencije, a koje su evidentne, nema nikakvih podataka ko i kada ih je izveo. U trijemu džamije je tako dio prostora pretvoren u abdesthanu sa izgrađenim koritom i česmom. Šerefe munare je prepravljeno 1961. godine. Sve ove intervencije obavljene su bez nadziranja službe zaštite. Nakon rata u BiH 1992. – 1995. godine kada je objekat džamije znatno oštećen, izvršeni su primarni sanacioni radovi na krovnoj konstrukciji objekta i na jugoistočnom zidu, koji je bio direktno pogođen artiljerijskim projektilom.
