Prof. Henryk Skarżyński w pracy nigdy nie funkcjonuje od godziny do godziny, tylko tak długo, jak trzeba, dlatego wypoczynek i pasje odgrywają wielką rolę. Stara się być aktywny sportowo. Czasem znajduje trochę czasu na grę w piłkę nożną, jeździ na nartach, również gra w tenisa, choć rzadko, bo wymaga to pewnego wysiłku ręki i wpływa potem na precyzję ruchów. Bardzo lubi czytać dla przyjemności – wtedy sięga po książkę historyczną. Szczególne miejsce w Jego otoczeniu zajmują zwierzęta. Lubi z nimi przebywać, odpoczywać w ich towarzystwie, a nawet czerpać od nich energię.

Pisze wiersze, słucha muzyki, kolekcjonuje ślimaki. Ta ostatnia pasja stała się pretekstem do utworzenia „Muzeum Ślimaka” oraz pobicia Rekordu Guinnessa. W lipcu 2012 roku wynikiem 1377 sztuk rekord ten został pobity w kategorii „Największy zbiór przedmiotów z podobizną, wizerunkiem o wyglądzie ślimaka”.