Zonder zich te realiseren wat de gevolgen zouden zijn, kocht Joost Bakker in de zomer van 1970 zijn eerste schilderij, een sepia van de Middelburgse marineschilder Jan Frederik Schütz (1817-1888) met daarop afgebeeld een afgemeerde bark aan een havenhoofd, waarschijnlijk langs de Westerschelde. Maar dat wist hij toen nog niet.
Zijn tweede schilderij was een olieverf van zijn zoon Willem Johannes (1855-1939) een gezicht op de Oranjemolen te Vlissingen. In de loop der jaren, kwamen daar werken van onder meer Dirk Koets, Jan Heyse, Maurice Góth, Alfons van Dijck, Gerard Jacobs en Reimond Kimpe bij.
Dat was nog maar het begin, maar zijn belangstelling voor Zeeuwse schilders was gewekt. Niet alleen het verzamelen van maar ook het onderzoek naar deze schilders hielden hem bezig. Het liep allemaal een beetje uit de hand. In juli 1996 besloot hij zelfs een eigen kunsthandel te beginnen.
De rode draad in zijn collectie bleef de zo goed als vergeten Veerse kunstenaarskolonie (1892-1992). Inmiddels verschoof zijn aandacht ook naar het publiceren over zijn Zeeuwse schilders, het maken van tentoonstellingen in Museum Veere en het geven van lezingen over vooral de Veerse kunstenaarskolonie. Na meer dan vijftig jaar is deze passie nog steeds niet gedoofd en er valt na al die jaren, regelmatig nog wat nieuws te ontdekken.
Zo is hij, waar hij ook gaat en staat, altijd op zoek. Je weet maar nooit wat je onderweg tegenkomt.