H. A. Kebeikis taip pat buvo sporto meistras, kolekcininkas, metraštininkas, XXVII knygos mėgėjų draugijos narys, Kauno Veršvų gimnazijos garbės mokinys.

1996 m. jam suteiktas tarptautinis filatelisto vardas. Kelių statybos inžinierius surinko vertingą istorinę medžiagą apie Lietuvos tiltus.

2000−2003 m. H. A. Kebeikis buvo Kauno miesto savivaldybės tarybos narys, Biudžeto ir finansų komiteto pirmininko pavaduotojas, taip pat bendrovės „Kauno keliai“ valdybos pirmininkas. 2007 m. jis apdovanotas Santakos garbės ženklu. 

Kolekcionuoti pašto ženklus ir atvirlaiškius pradėjo studijų metais. Jį labiausiai domino dvi temos: žmogaus skrydžiai į kosmosą, pasaulio bei Lietuvos tiltai pašto ženkluose ir atvirukuose. 

Praėjusiais metais H. A. Kebeikis Vilniaus centriniame pašte pristatė didelio susidomėjimo sulaukusią pašto ženklų ir vokų parodą „Žmonės Mėnulyje“.

Unikalioje H. A. Kebeikio kolekcijoje įamžinta vieno iš svarbiausių JAV ir pasaulio kosmonautikos įvykių – „Apollo“ skrydžių į Mėnulį programa.

Filatelinė paroda „Žmonės Mėnulyje“ eksponuota ne tik Lietuvoje, bet ir JAV, Italijoje, kaimyninėje Baltarusijoje. Tarptautinėse filatelijos parodose ji buvo apdovanota net 9 medaliais.

Tarptautinėse filatelijos parodose H. A. Kebeikis iš viso yra pelnęs per 80 apdovanojimų – nuo bronzos iki aukso medalių.

Santuokoje gyveno su žmona Tatjana (g. 1936), vaikai – Šarūnas (g. 1969) ir Vytenė (g. 1972).