Di balik hingar-bingar pekerja perusahaan kereta api, Lawang Sewu juga memiliki sisi kelam yang jauh dari kesan sebuah perkantoran lantai satu dan dua berfungsi sebagai perkantoran, kantor ini juga memiliki ruang bawah tanah dan lantai tiga. Lantai tiga berupa loteng dan ruang bawah tanah yang berfungsi sebagai penjara bagi para tahanan di masa penjajahan. Ketika Indonesia jatuh ke tangan Jepang, ruang bawah tanah dan loteng ini menjadi penjara paling kejam bagi orang Netherland.
Ketika tiba di lorong bangunan, pengunjung disuguhkan dengan ruangan penuh pintu. Di sudut lantai pertama, pengunjung akan menemukan sebuah tangga turun menuju ruang bawah tanah.