Do Wielunia pijarów sprowadził w 1684 r. kasztelan wieluński Wojciech Urbański z podwieluńskich Urbanic. Początkowo prowadzili oni szkołę w domu przy ówczesnej ulicy Żołnierskiej (obecnie Sienkiewicza), później wybudowali klasztor (mieszczący również kolegium) dzięki fundacji kasztelana Urbańskiego i jego żony Katarzyny z Niezabitowskich z 1691 r. oraz hojności Andrzeja Wierusza-Walknowskiego, który przekazał działkę przy rynku (obecnym placu Legionów). Pierwsze zabudowania prowadzonej przez o. Hipolita Poradowskiego szkoły były drewniane i zostały spalone przez Szwedów w czasie wojny północnej. Nowe, murowane kolegium zbudowane zostało w l. 1737-42, jednocześnie zbudowano przyklasztorny kościół pw. św. Józefa (p. Zabytki > Wieluń > Kościół św. Józefa). W 1774 r. uczęszczało tu 306 uczniów, zarówno synów szlacheckich, jak i mieszczańskich. Dodatkowo pijarzy prowadzili nauczanie elementarne.
W latach funkcjonowania Komisji Edukacji Narodowej szkołę zreformowano przekształcając na podwydziałową, pozostawiając ją w rękach pijarów i ustanawiając nad nią nadzór KEN-u. Kolegium cieszyło się sławą wzorowej szkoły, realizowała nowoczesny pięcioletni program nauczania. Wykładano łacinę, historię, geografię, etykę, historię naturalną, arytmetykę, geometrię i fizykę, ponadto prowadzona była nauka zawodu (ogrodnictwa). Nauczycielami byli m.in. Kamil Jodłowski (rektor, autor podręczników dla szkół pijarskich), Zygmunt Linowski (autor prac z filozofii, etyki i teologii), Jan Kazimierz Maliszewski (członek Towarzystwa do Ksiąg Elementarnych, autor prac o mitologii, etnografii, archeologii, historii i literaturze), Józef Herman Osiński (autor podręcznika do fizyki i pierwszej polskiej publikacji o elektrotechnice) i Stanisław Karol Konarski (prefekt, pedagog, kaznodzieja). Wśród wychowanków warto wymienić Józefa Lompę (działacz polski na Śląsku), Kazimierza Stronczyńskiego (paleograf, numizmatyk, i sfragistyk) i Daniela Neufelda (dziennikarz, wydawca, poeta i publicysta). Należy również wspomnieć o jednym z zakonników, Hilarym z Wielunia, który jako jeden z pierwszych w Europie (ok. 1740 r.) komponował symfonie.
Szkoła cieszyła się wsparciem wieluńskiej szlachty, co owocowało licznymi darowiznami (np. zapisem na dobrach Naramice).
W klasztorze w 1777 r. było 10 zakonników, w 1793 r. przybył 1 laik, w 1825 r. było 3 kleryków i 3 kapłanów. Podczas wielkiego pożaru miasta w 1795 r. zespół zabudowań klasztornych spłonął. Odbudowa trwała aż do 1821 r. Przy tej okazji wnętrza ozdobiono w 1801 r. freskami autorstwa Roberta Stankiewicza. Wówczas też powiększono budynek kolegium o część dochodzącą do ulicy Barycz. W czasie prac renowacyjnych zajęcia odbywały się w wynajmowanych budynkach. Ówczesnym rektorem był pijar Bogusław Psarski, a następnie Stanisław Paszkowski. W czasach Księstwa Warszawskiego i później, aż do 1832 r. kolegium działało jako szkoła wydziałowa, a następnie świecka 4-klasowa szkoła obwodowa. W latach wojen napoleońskich 1812-13 mieściły się tu lazaret i koszary wojskowe. Liczba uczniów szkoły wydziałowej wahała się od ok. 140 do 250.
Klasztor spłonął częściowo w kolejnym wielkim pożarze miasta w 1858 r. W latach powstania styczniowego władze carskie w części pomieszczeń urządziły więzienie, a w 1864 r. na mocy będącego elementem represji popowstaniowych ukazu carskiego zlikwidowano klasztor umieszczając w jego zabudowaniach Wieluński Urząd Powiatowy, szkołę elementarną i mieszkania dla nauczycieli. Miała wtedy miejsce (w 1868 r.) przebudowa obiektu. W okresie międzywojennym mieściły się tu Powiatowa Komenda Uzupełnień i do 1929 r. Starostwo Powiatowe, a po jego przeniesieniu do dawnego zamku (p. Zabytki > Wieluń > Dawny zamek) Urząd Pocztowy. Ten ostatni zajmował budynek aż do l. 70-tych. Wówczas też (w 1930 r.) kolejny raz przebudowano dawny klasztor. Późniejsza prace budowlane miały miejsce po wojnie, w 1950 r. Budynek restaurowany w l. 90-tych XX w.
Obecnie w budynku tym mieszczą się Państwowa Szkoła Muzyczna, siedziby różnych organizacji (w tym Polskiego Czerwonego Krzyża), filia Banku Przemysłowego, kawiarnia, biuro podróży i sklepy.

Na dawne kolegium pijarskie składały się dwa (zachowane do dziś) piętrowe skrzydła, wzajemnie prostopadłe, na planie prostokątów. Budynek podpiwniczony. Do l. 70-tych były one połączone z przyklasztornym kościołem św. Józefa od strony prezbiterium kościoła (pozostawiono czytelnie oznaczone miejsce po łączniku), tworząc wewnętrzny dziedziniec. Skrzydło południowe, położone wzdłuż ulicy Królewskiej jest nieco załamane, co odpowiada biegowi tejże ulicy. Drugie skrzydło, zachodnie zajmuje całą wschodnią pierzeję rynku (pl. Legionów), składa się z dwóch części - starszej, połączonej z częścią południową, i młodszej, z pocz. XIX w., na rogu pl. Legionów i ulicy Barycz, przykrytej niższym dachem. W starszej części rytm elewacji wyznaczają lizeny. Pierwotny układ wnętrza był dwutraktowy, złożony z korytarza od strony dziedzińca i cel klasztornych. Do dziś zachował się on w sposób czytelny na pierwszym piętrze. Od strony rynku znajdowały się sale wspólne. W większości pomieszczeń budynku zachowały się sklepienia krzyżowe i kolebkowe z lunetami. Budynek kryty dachami dwuspadowymi. W pomieszczeniach zajmowanych przez Bank Przemysłowy zachowały się polichromie z 1801 r.

W roku 2000 odsłonięto wmurowaną w ścianę zachodnią tablicę poświęconą pamięci Hieronima z Wielunia (znanego również jako H. Polyconius i H. Spiczyński), człowieka renesansu - poety, pisarza, autora pierwszego drukowanego przekładu Biblii na język polski, a jednocześnie lekarza i astronoma, w 450. rocznicę śmierci.