En stormig oktoberdag 1834 med snön piskande i ögonen anlände riksdagsmannen, Johan Jacob Rutberg från Kalix till sin hemort efter att hastigt ha lämnat sitt riksdagsarbete på grund av hustrun Maria Eneskölds svåra sjukdom. Resan som tog två veckor var tung att genomföra. Tidigare hade Johan Jacob via ett brev bett Maria packa sina saker och lämna gården, Rakelborg eller Rackelborg som den också benämndes, eftersom hon enligt uppgifter från bekanta, roade sig alltför mycket med officerarna på Kalix Compani medan Johan Jacob uträttade sitt arbete i Stockholm.
Vad han inte visste när han skrev brevet var att hustrun insjuknat i lungsot och var svårt sjuk. Beskedet tog honom hårt och han lämnade omedelbart sitt arbete för att starta den långa färden hemåt. Med häst och vagn avverkades mil efter mil, ju högre upp ekipaget kom desto sämre blev vädret. Så småningom närmade sig Johan Jacob Kalix och sitt hem, nuvarande Filipsborg. När han blickade mot sin bostad mötte honom en dyster syn. I procession på väg mot kyrkan kom ett begravningsfölje, på den första vagnen som drogs av hästar låg en kista. I kistan låg Maria, Johan Jacob hade kommit för sent. Efter hennes död sålde Johan Jacob Rakelborg till Kalix förste provinsialläkare, Philip Kleinschmied år 1837, han gav huset sitt nuvarande namn, Filipsborg men med stavningen Philipsborg.

Platsen där Filipsborg herrgård står kallades tidigare för Sjöbodbacken. Fram till början av 1810-talet fanns här ingen bebyggelse förutom några sjöbodar nere vid strandkanten. Det första hus som uppfördes här är idag den mellersta delen på herrgården. Det var fanjunkare Carl Gustaf Lundholm som efter att ha köpt in hemmanet av Johan Jacob Rutberg byggde huset på Sjöbodbacken. Johan Jacob Rutberg hade då ännu inte påbörjat sin politiska karriär utan arbetade vid den tidpunkten som sockenskrivare, det skulle dröja till 1817 innan riksdagsarbetet tog vid.
1820 köpte dock Johan Jacob Rutberg tillbaka hemmanet för 1 666 riksdaler, ett högt pris vilket tyder på att Carl Gustaf Lundholm då hade byggt ett hus på platsen.
När Johan Jacob köpte tillbaka huset kallades det Rackelborg som senare förändrades till Rakelborg. Ingen kvinna vid namn Rakel har hittats i sökandet efter betydelsen på namnet därför kan man anta att den första benämningen Rackelborg stämmer och syftar på byggnadens skick. Som tidigare nämnts bodde Johan Jacob Rutberg kvar på gården till 1837 då han sålde den till Philip Kleinschmeid.
1852 dog Philip Kleinschmied och två år senare sålde hans änka Fredrique gården till bonden Johan Petter Sundberg, men hon bodde kvar till 1862.

1868 såldes Filipsborg återigen. Köpare var Per-Adolf Svanberg från Ytterbyn, utanför Kalix. Per-Adolf Svanberg grundade Båtskärsnäs sågverk 1871 och sysselsatte 400 personer. Han kunde därmed titulera sig träpatron. Det var också han som gav Filipsborg sitt nuvarande utseende genom att bygga till två flyglar på det hus som redan stod på platsen. I den ståtliga byggnaden på höjden ovanför Kalix älv bodde han med sin hustru Johanna även kallad Filippa samt barnen Helen, David och Gustaf. Med sitt ståndsmässiga utseende som inte hade någons like i Kalix blev herrgården en del av industrialiseringen som tog fart vid samma tidpunkt.

Herrgården ägdes sedan av släkten Svanberg fram till 1984 då den såldes till Kalix Elektronik AB. Filipsborg hade då stått tomt sedan 1978 då dess sista ägare från släkten Svanberg, Ingrid Svanberg-Bergman avled. Under åren 1978 - 1984 vandaliserades herrgården svårt, väggar, fönster och kakelugnar slogs sönder och inventarier stals. Herrgården riskerade att rivas, kommunen ville inte åta sig att renovera den eftersom det skulle bli för dyrt. Försäljningen 1984 räddade ett historiskt minnesmärke och renoverade det förfallna huset till sitt ursprungsskick.

Vid renoveringen av herrgården som pågick mellan 1984-1986 målades byggnaden invändigt efter de kulörer som användes vid respektive sekel, 1700- och 1800-tal.
Hallen i entrén som tillhör den äldsta delen av byggnaden har den gröna färg som var vanlig från mitten av 1700-talet. Hallen är bevarad i sitt ursprungsskick för att visa hur miljön såg ut vid denna tid. Invändigt är flyglarna målade och tapetserade i nyanser från 1870-talet då dessa byggdes till. Totalt finns i byggnaden 10 kakelugnar som bidrog till att hålla värmen under kalla vintrar.

Filipsborg AB ägs av Jan-Erik Larsson