Berdirinya Jurusan Pendidikan Teknik Mesin dimulai dengan dibukanya kursus BI/BII oleh Kementerian PD dan K pada tahun 1956 yang bertujuan untuk meningkatkan tenaga pengajar pada sekolah-sekolah teknik di seluruh Indonesia. Pada Tahun 1961, berdasarkan Surat Keputusan Menteri PD & K No.7/1961 tanggal 7 Februari 1961, kursus BI/BII berubah menjadi Fakultas Keguruan dan Ilmu Pendidikan Bagian Teknik (FKIP Bagian Teknik) dengan dua jurusan yaitu Jurusan Mesin dan Jurusan Bangunan. Berikutnya pada tahun 1963 sesuai dengan Surat Keputusan Menteri PTIP No. 55 Tahun 1963, FKIP Bagian Teknik secara resmi berubah menjadi Fakultas Keguruan Teknik (FKT) sebagai bagian dari Institut Keguruan dan Ilmu Pendidikan Yogyakarta (IKIP Yogyakarta). Sejalan dengan meningkatnya kebutuhan tenaga guru-guru Sekolah Teknologi Menengah (STM) dan instruktur untuk Balai Latihan Pendidikan Teknik (BLPT) bidang teknik mesin yang berdampak meningkatnya animo dan jumlah mahasiswa, maka pada tahun 1981 Jurusan Pendidikan Teknik Mesin sebagai bagian dari Fakultas Keguruan Teknik (FKT) berpindah lokasi ke sebelah utara gedung pusat IKIP Yogyakarta.

Penggunaan gedung baru tersebut diresmikan secara langsung oleh Presiden Soeharto. Pemindahan lokasi dilakukan karena adanya bantuan dari Proyek Bank Dunia untuk gedung yang meliputi ruang perkuliahan, laboratorium dan bengkel beserta  peralatan praktik. Dengan bantuan poyek bank dunia pula dilakukan perubahan kurikulum yang berorientasi pada kurikulum STM dengan menekankan pada kegiatan praktik bengkel dan laboratorium. Perubahan nama IKIP Yogyakarta menjadi Universitas Negeri Yogyakarta (UNY) Berdasarkan Keppres No. 39 Tahun 1999, memberikan suasana baru bagi Jurusan Pendidikan Teknik Mesin. Sebagai upaya menyongsong perubahan tersebut maka mulai tahun 1997 dibuka program studi baru yaitu Program Studi Teknik Mesin jenjang Diploma 3. Prodi di Jurusan Pendidikan terus berkembang dari masa ke masa. Hingga kini Jurusan Pendidikan Teknik Mesin memiliki lima program studi yaitu Program Studi Pendidikan Teknik Mesin (S1), Program Studi Teknik Mesin (D3), Program Studi Teknik Mesin Program Sarjana Terapan (D4), Program Studi Teknik Manufaktur (S1), dan Program Studi Magister Pendidikan Teknik Mesin (S2). 

Seiring bertransformasinya Universitas Negeri Yogyakarta yang semula Badan Layanan Umum (BLU) menjadi Perguruan Tinggi Negeri Berbadan Hukum (PTNBH) sesuai dengan Peraturan Pemerintah Nomor 35 Tahun 2022, maka nama Jurusan Pendidikan Teknik Mesin  juga ikut berubah menjadi Departemen Pendidikan Teknik Mesin. Seiring hal tersebut, maka pada Senin, 9 Januari 2023 bertempat di Ruang Sidang Utama Gedung Rektorat UNY, Rektor menyerahkan Keputusan Rektor tentang Ketua Depertemen (Kadep) dan Sekretaris Departemen (Sekdep) kepada 86 dosen di lingkungan Universitas Negeri Yogyakarta.