Karena kondisi tanah yang kurang luas, pembangunan Pasar Johar dilakukan di sebagian tanah alun-alun, penjara kabupaten dan beberapa toko-toka tua di sekitarnya.
Baca juga: Gubernur Jateng dan Wali Kota Semarang Tinjau Langsung Kebakaran Relokasi Pasar Johar
Bangunan pasar ini terdiri dari empat blok bangunan yang disatukan oleh gang selebar 8.00 meter. Orientasi bangunan kearah timur. Pasar Johar merupakan bangunan dua lantai hanya pada bagian tepi, sedangkan bagian tengah berupa void.
Sisi melintang bangunan terdiri dari enam buah trafe, dan sisi membujur memiliki empat buah trafe.
Pondasi dari batu, struktur dari beton bertulang, dengan sistem cendawan pada kolom-kolom. Kolom memiliki modul 6.00 meter dengan penampang berupa persegi delapan. Kolom seperti ini dinamakan kontruksi jamur (mushroom). Atap berupa atap datar terbuat dari beton.
Pada bagian tertentu dari atap, ada peninggian sebagai lubang udara. Bangunan ini memenuhi tapak yang tersedia, sehingga tidak terdapat halaman ataupun ruang terbuka.
Baca juga: Kebakaran di Tempat Relokasi Pedagang Pasar Johar Semarang, Ratusan Kios Hangus
Hal ini sesuai dengan prinsip Thomas Karsten yaitu efisien ruang. Di tangan Karsten, Pasar Johar tak melulu menjadi tempat dagang, tapi juga menjadi tempat berkumpulnya berbagai macam budaya.
Di sebelah utara Pasar Johar terdapat Pasar Yaik Permai yang dibangun belakangan. Di sebelah timur terdapat SCJ (Shoping Center Johar) yang selesai tahun 1994 dan sebelah selatan terdapat Kali Semarang.
Pasar Johar pun tumbuh menjadi pusat perekonomian dan keramaian di Kota Semarang.
Bahkan selama 162 tahun, Pasar Johar menjadi bagian dari dinamika Kota Semarang dari dulu hingga sekarang.
Baca juga: Tempat Relokasi Pedagang Pasar Johar Semarang Dilanda Kebakaran
Pertempuran yang mencekam tersebut mempertemukan rakyat Semarang dengan mantan serdadu Jepang.
Saat pertempuran terjadi, Jepang ingin menguasai Pasar Johar. Terjadi tembak menembak. Rakyat berlindung di balik toko-toko.
Kala itu, Pasar Johar rusak parah karena ledakan granat. Pertahanan kemudian dipindah ke sekitar terminal yang ada di selatan Kantor Telepon.
Baca juga: Cerita Pedagang Jamu Tempati Lapak di Pasar Johar Semarang Usai Diresmikan Jokowi
Sementara Pasar Johar, terutama di bagian atas telah dikuasai Jepang. Pertempuran benar-benar berhenti setelah Sekutu mendarat di Semarang pada 19 Oktober 1945 dan langsung melucuti Jepang.
Sementara di Semarang Timur, bala bantuan datang dari luar kota seperti Pati Yogyakarta, Solo dan Pekalongan. Perlawanan pemuda semakin kuat sehingga pos Jepang di Semarang bagian timur berhasil didesak mundur.