Holter Jeger og Fiskeforening ble stiftet 18. mars 1939 , og den første generalforsamling avholdt på Lyngås.
Derved var første styret valgt og Holter Jeger - og Fiskerforening var et faktum. På grunn av krigen ble foreningen oppløst 26. juni 1943 og lå i dvale til 28.juni 1945. Første store prosjektet i foreningen var bygging av klubbhytte, og 17. september 1947 fikk HJFF hyttetomt på Merrarød.
Hytta fikk navnet ”Fagerli” og innvielsesfesten var 25. august 1951. På årsmøte 24. mars 1956 fikk styret fullmakt til å melde foreningen inn i Norges Jeger og Fiskerforbund men medlemskapet varte bare til årsmøte 8.februar 1969. Men ildsjeler i HJFF fikk foreningen inn i Norges Jeger og Fiskerforbund igjen på årsmøte 30. mars 1979.
11. august 1963 var leirduebanen på Skurverudsmosen ferdig og første leirdustevnet avholdt. Mange stevner ble avviklet her men ny bane på Holtermyra overtok i 1982. Etter mange og vanskelige vurderinger gikk HJFF inn i RFA i 1987. I
1987 fikk HJFF leid Øyungsvillaen og Stallen på åremål. Villaen var i god stand, men Stallen måtte bygges opp på nytt. I 20006-07 ble det bygd nytt uthus og båthus ved Øyungsvillaen.
