История появления и утверждения этого феномена у Дюбюффе растянулась на десятилетия. «Сырое искусство», то, что было антикультурным, неприготовленным культурой, Дюбюффе начал собирать, объезжая французские и швейцарские клиники в середине 1940-х годов, устраивая выставки и придумывая как объединить союзников ар-брюта. Далее, в 1950-е, было десятилетие пребывания коллекции в Америке на Ист-Хэмптоне, на вилле художника Альфонсо Оссорио. Американский воздух принёс больше известности самому Дюбюффе, чем ар-брюту – выставки художника устраивали крупнейшие музеи Нью-Йорка, но ни одной большой выставки ар-брюта, ни каталога коллекции, на которые он уповал, так и не случилось. Дюбюффе позже сетовал, что американцы не поняли ар-брют. И коллекция «странного» искусства отправилась обратно в Париж. Там последовало еще одно десятилетие неясного статуса ар-брюта. Устраивая в 1967 году большую выставку в парижском Музее декоративного искусства, Дюбюффе рассчитывал, что Андре Мальро, в то время министр культуры Франции, а ранее член Общества Ар-брюта, даст возможность коллекции быть достойно представленной во Франции. Но этого не случилось. Так коллекция уже семидесятилетнего Дюбюффе, оказывается в Швейцарии и передается в дар Лозанне, а в 1976 году для публики открывается музей.