Keberadaan KAD Propinsi Jawa Timur pada hakekatnya merupakan implementasi dari amanat pasal 8 UU Nomor 7 tahun 1971, tentang pembentukan unit kearsipan di setiap pemerintah daerah.

Embrio terbentuknya KAD Propinsi Jawa Timur adalah Sub Bagian Arsip Statis, Bagian Arsip, Biro Umum, Sekretariat Wilayah Daerah Propinsi Jawa Timur sesuai Struktur Organisasi Pemerintah Propinsi Jawa Timur No. 2 tahun 1981. Oleh karena akumulasi arsip yang terus bertambah cepat, maka perlu perubahan eseloniering dan membentuk lembaga kearsipan setingkat lebih tinggi dan disesuaikan dengan kondisi kearsipan waktu itu, yaitu Kantor Arsip Daerah Propinsi Jawa Timur berdasarkan Peraturan Daerah nomor 10 tahun 1992. Namun secara defakto baru operasional tahun 1995. Hal ini dikarenakan kepala KAD baru diangkat tahun 1994. Pertama kali KAD dikepalai Drs. Soeprijanto HS (1994-1998). Sedangkan Kepala KAD yang kedua Dra. Joehartati, tahun 1999-2000. Kedudukan KAD berada di Jalan Jagir Wonokromo 350 Surabaya.

Sejak terbentuknya KAD Propinsi Jawa Timur telah mendapatkan warisan arsip yang harus ditangani dengan volume sekitar seratus (100) ton dalam kondisi tidak teratur (kacau). Arsip-arsip itu berasal dari lingkungan Sekretariat Daerah, Bappeda, Inspektorat, Koordinator Urusan Haji, dan Sekretariat DPRD.