W latach 1974-1975, po przeniesieniu Instytutu Chemii do nowego gmachu w miasteczku uniwersyteckim na Bielanach oraz Instytutu Matematyki do obiektu przy ul. F. Chopina 12/18, cały budynek przy ul. Grudziądzkiej 5/7 stał się siedzibą działającego w ramach Wydziału Matematyki, Fizyki i Chemii – Instytutu Fizyki UMK. W 1981 r. Senat UMK na wniosek Rady Instytutu Fizyki podjął decyzję o nadaniu Instytutowi imienia Aleksandra Jabłońskiego, twórcy toruńskiej „szkoły fizyki”. Uroczystość nadania gmachowi Collegium Physicum nazwy „Instytut Aleksandra Jabłońskiego” odbyła się 26 lutego 1982 r.
W 1987 r. pojawiła się koncepcja wybudowania nowego pawilonu w postaci skrzydła dobudowanego do gmachu głównego. Pierwotnie miał to być dwukondygnacyjny obiekt, w rezultacie dzięki dotacjom ministerialnym wybudowano czterokondygnacyjny budynek dobudowany do pierwotnego obiektu od strony podwórza, który 31 grudnia 1992 r. uroczyście oddano do użytku. Na najniższej kondygnacji umieszczony został warsztat mechaniczny, na wyższych znajdowały się pracownie dydaktyczne miernictwa komputerowego i fizycznych podstaw mikroelektroniki oraz pracownie naukowe. W gruntownie przebudowanych w latach 2001-2002 pomieszczeniach piwnicznych Instytutu Fizyki zainstalowano Krajowe Laboratorium Fizyki Atomowej, Molekularnej i Optycznej (KL FAMO), które uroczyście otwarto 2 maja 2002 r.
Od 1 września 1993 r. w budynku mieści się powstały wówczas Wydział Fizyki i Astronomii (od 2001 Wydział Fizyki, Astronomii i Informatyki Stosowanej). W czerwcu 2008 r. podjęto decyzję o budowie Centrum Optyki Kwantowej UMK, które jest oddzielnym skrzydłem ulokowanym w podwórzu i połączonym od strony południowej ze środkową częścią pierwotnego gmachu Collegium Physicum. Budowę finansowaną z funduszy europejskich rozpoczęto w lipcu 2009 r., kamień węgielny pod nowy obiekt wmurowano 9 listopada tego roku. Uroczyste otwarcie Centrum odbyło się 30 września 2011 r., w 60 lat po otwarciu Collegium Physicum. W nowym obiekcie o powierzchni 2000 m2 znajduje się pięć nowoczesnych laboratoriów: Optycznej Manipulacji i Detekcji Nanostruktur, Optycznej Charakteryzacji Materiałów, Spektroskopii Ultraszybkiej i Ultraczułej oraz Optycznego Obrazowania Medycznego oraz trzy pracownie.
