Od samego początku mówiło się o budowie nowej szkoły, jednak wg ówczesnych władz osiedle Bór było osiedlem nierozwojowym i zaniechano starania o jej budowę. Temat ten pojawił się ponownie w latach 80-tych, gdy powstawał projekt budowy nowego osiedla mieszkaniowego „Na Skarpie”. Wtedy to zaczęto wyburzać baraki – stare hotele robotnicze.
Na ich miejscu powstawały kolejno: Zespół Szkół Skórzanych im.Bohaterów Walki o Wolność i Demokracji przy NZPS „Podhale” – obecny Zespół Szkół nr 3 im Św. Jadwigi Królowej, później internat i basen. Z biegiem czasu otoczenie szkoły zmieniało się, a ona sama wciąż mieściła się w baraku. W związku z budownictwem mieszkaniowym na osiedlu Na Skarpie zawiązał się Społeczny Komitet Budowy Szkoły Podstawowej nr 6. Powołany Komitet Honorowy skupił przedstawicieli władz oświatowych, politycznych, NZPS „Podhale” i działaczy samorządowych. Ich działania, prośby dzieci oraz niewymierny wkład junaków z Ochotniczego Hufca Pracy zaowocowały wyburzeniem baraku, gdzie  dotychczas mieściła się szkoła i przeniesieniem sal lekcyjnych do Zakładowego Domu Kultury i internatu na osiedlu Bór. Nowy budynek zaczęto budować w roku szkolnym 1984/85. Powstawał on w sąsiedztwie Zespołu Szkół nr 3 i basenu. Prace budowlane nadzorował inż. Tadeusz Pajerski.
Miejska inauguracja nauki w nowym budynku szkolnym była zwieńczeniem prac budowlanych i jednocześnie uroczystym otwarciem roku szkolnego 1987/88. Zaproszonych gości witała dyrektor szkoły, pani Katarzyna Fryźlewicz, a uroczyste przemówienia wygłosili: Inspektor Oświaty i Wychowania w Nowym Targu Mieczysław Gottfried, Naczelnik Miasta Stanisław Ślimak, Wojewoda Nowosądecki Zbigniew Barylak oraz dyrektor NZPS „Podhale” Stanisław Pełka.
Początkowo funkcję kierownika szkoły jako filii, a póżniej jako samodzielnej placówki (jeszcze w baraku) pełniły panie: Helena Chrobak (od 1961r. do 1974r.) i Emilia Świder (od 1974r. do 1984r.). Od 1984r. do lutego 1991r. szkołą zarządzała pani Katarzyna Fryźlewicz, a od 20 lutego 1991r. do końca sierpnia 2008r. dyrektorem była mgr Maria Wąsowicz. Z dniem 1 września 2008r. funkcję dyrektora Szkoły Podstawowej nr 6 w Nowym Targu objął mgr Witold Zapiórkowski. W latach 2016-2022 funkcję dyrektora szkoły pełniła mgr Barbara Sukiennik.
Od początku istnienia w szkole funkcjonuje kuchnia ze stołówką. Przy niej działa świetlica szkolna zapewniająca młodszym dzieciom opiekę wychowawczo-dydaktyczną. Z okazji 10-lecia rocznicy wybudowania nowego budynku postanowiono nadać szkole imię Józefa Rajskiego, pierwszego burmistrza miasta Nowego Targu w odrodzonej Polsce. W pracy nad nadaniem szkole imienia zaangażowali się potomkowie patrona, jego syn Kazimierz Rajski i wnuczka Grażyna Steskal, która jest fundatorką sztandaru szkoły. Zaś tablicę pamiątkową szkoła zawdzięcza członkom Rady Miasta.