Keberadaan IAIN Madura (selanjutnya cukup disebut IAIN) bermula dari keinginan masyarakat Madura untuk memiliki perguruan tinggi Islam yang diawali dengan dibukanya Fakultas Tarbiyah Pamekasan IAIN Sunan Ampel. Fakultas Tarbiyah pada tanggal 20 Juli 1966 Masehi bertepatan dengan tanggal 2 Rabi’ul Akhir 1386 Hijriyah, berdasar Keputusan Menteri Agama RI Nomor 39 Tahun 1966. Lokasi kampus ini, pada awal berdirinya, masih menumpang di gedung Pendidikan Guru Agama Negeri/PGAN Pamekasan (sekarang Madrasah Aliyah

Negeri/MAN 2 Pamekasan) di Jalan KH. Wahid Hasyim 28 Pamekasan. Baru pada tahun 1977 memiliki lahan dan gedung kampus sendiri dengan luas tanah ±5.000 m² di Jalan Brawijaya Nomor 5 Pamekasan.

Fakultas Tarbiyah Pamekasan, awalnya hanya menyelenggara-kan satu jurusan, yaitu Jurusan Pendidikan Agama Islam (PAI) untuk Program Sarjana Muda, yang lulusannya bergelar Bachelor of Arts (BA). Kemudian, sejak

1988 program sarjana muda dihapus dan beralih ke Program Sarjana (S-1). Perubahan tersebut dimaksudkan untuk meningkatkan mutu lulusan sesuai kebutuhan masyarakat dan tuntutan zaman.

Setelah kurang lebih 31 tahun, pemerintah mengubah status Fakultas Tarbiyah menjadi perguruan tinggi mandiri, dengan nama Sekolah Tinggi Agama Islam Negeri Pamekasan (STAIN Pamekasan). Perubahan status ini berdasar Keputusan Presiden RI Nomor 11 tahun 1997 tentang Pendirian Sekolah Tinggi Agama Islam Negeri, tanggal 21 Maret 1997 bertepatan dengan 12 Dzulqa’dah 1417 Hijriyah. 

Perubahan fakultas cabang menjadi STAIN tidak bisa dipisahkan dengan keluarnya Peraturan Pemerintah Nomor 30/1990 tentang Pendidikan Tinggi, yang tidak memberi ruang berdirinya fakultas cabang di daerah. Jenis perguruan tinggi menurut peraturan tersebut, berbentuk universitas, institut, sekolah tinggi, akademi, dan politeknik. Selain itu, selama menjadi fakultas cabang, ruang geraknya sangat terbatas karena sebagian besar kebijakan ditentukan IAIN induk. Maka, setelah menjadi lembaga mandiri, STAIN memiliki hak otonom lebih luas dan lebih leluasa dalam merespon tuntutan masyarakat dan perkembangan zaman. Tugas pokoknya adalah menyelenggarakan pendidikan tinggi, penelitian, dan pengabdian kepada masyarakat di bidang ilmu pengetahuan agama Islam sesuai dengan peraturan perundang-undangan yang berlaku.

Sejak menjadi lembaga mandiri, STAIN Pamekasan terus berkembang menjawab kebutuhan masyarakat dan tuntutan zaman. Keberadaan kampus ini pun telah banyak melahirkan alumni dan beragam prestasi. Masyarakat pun merespon positif keberadaan kampus ini. Namun dengan status kelembagaan sebagai Sekolah Tinggi - menurut UndangUndang Nomor 2 Tahun 2012 tentang Pendidikan Tinggi – hanya bertugas menyelenggarakan pendidikan tinggi “dalam satu rumpun ilmu pengetahuan”. Hal tersebut dirasa tidak memadai lagi untuk menjawab kebutuhan masyarakat, kebutuhan pembangunan nasional, pertumbuhan jumlah mahasiswa, dan pesatnya perkembangan ilmu pengetahuan dan teknologi.Ikhtiar peningkatan alih status dari Sekolah Tinggi menjadi Institut membuahkan hasil dengan ditandatanganinya Peraturan Presiden RI Nomor 28 Tahun 2018 tanggal 5 April 2018 tentang IAIN Madura, dan diundangkan ke dalam Lembaran Negara oleh Menteri Hukum & HAM Nomor 51 tahun 2018, pada tanggal 7 April 2018. Dengan peningkatan status kelembagaan menjadi Institut, maka kewenangan IAIN Madura menjadi lebih luas, yakni berwenang menyelenggarakan pendidikan tinggi dalam “sejumlah rumpun ilmu pengetahuan tertentu”.

Seiring dengan sejarah IAIN Madura UPT Perpustakaan juga berdiri sejak dibukanya Fakultas Tarbiyah IAIN Sunan Ampel Pamekasan yang didirikan pada tanggal 20 Juli 1966 bertepatan dengan 02 Rabiul Akhir 1386 H. Unit Pelaksana

Teknis (UPT) Perpustakaan yang bertugas mendukung visi misi IAIN Madura dan menyediakan sumber informasi dalam memenuhi Tri Dharma Perguruan Tinggi yaitu informasi untuk pendidikan atau pengajaran, penelitian serta pengabdian masyarakat. UPT Perpustakaan di lingkungan IAIN Madura adalah Perpustakaan dan Perpustakaan Pascasarjana. Masingmasing mempunyai tugas dan fungsi yang sama yaitu menyediakan informasi bagi pemustaka di lingkungan IAIN Madura, perbedaannya mungkin hanya terletak pada layanan yaitu untuk layanan UPT Perpustakaan melayani semua sivitas akademika di IAIN Madura sedangkan untuk layanan perpustakaan pascasarjana hanya melayani mahasiswa dan dosen pascasarjana saja.

Peningkatan pengelolaan dan layanan UPT Perpustakaan IAIN Madura telah dilakukan secara berkesinambungan mengikuti pergantian kepemimpinan yang telah berlangsung di Perpustakaan IAIN Madura. Pada periode awal hingga saat ini, Kepala Perpustakaan yang pernah memimpin secara berurutan adalah: 

1. Ajat (.... – 1982)
2. Karimullah, M.Pd.I (1982 – 1994)
3. Mochtar, BA (1994 – 2002),
4. Abdus Syakur, S.Ag, M.Pd (2002 – 2004),
5. H. Saiful Hadi, M.Pd (2004 – 2006),
6. Ghofur, M.Pd (2006 – 2010),
7. Akhmad Zaini,M.Pd.I (2010 – 2015),
8. Abdus Syakur, M.Pd (2015 – 2019),
9. Hairul Agust Cahyono, M.Hum (2019 – 2023),
10. Mustajab, S. Ag., S. IPI., M. Pd. (2023 - Sekarang)