پدر علاوه بر ورزش‌های زورخانه‌ای و کشتیِ آزاد، به پیاده‌روی و دوچرخه‌سواری، مخصوصاً به شنا نیز علاقه‌مند بودند. حتّی در روزهای سرد زمستان. ایشان به پیاده‌روی صبحگاهی هر روزه عادت داشتند و به همین منظور اغلب به خارج از شهر می‌رفتند و در روزهای تعطیل، بارها پای پیاده تا درگزین و سنگسر رفته و برمی‌گشتند.
پدر اغلب صبح‌های خیلی زود در استخر لتیبار و اکثراً در استخر شاهجو به شنای صبحگاهی می‌پرداختند. استخر لتیبار در میدان منوچهری واقع بود که متاسفانه این استخر بزرگ و زیبا و قدیمی، که می توانست نمادی برای شیوه تقسیم آب شهر سمنان باشد «به مانند بسیاری از آثار باستانی دیگر» تخریب و به جای آن میدان هفت تیر احداث گردید. در قسمت جنوبی استخر که مقابل خیابان منوچهری بود، در دو طرفِ تاق نمایِ خروجی آب، پله‌هایی وجود داشت که به پیاده‌روی بالای استخر منتهی می‌شد. همچنین در طرف شرق آن و مقابل چاه آبی که برای کمک به آب زراعی شهر حفر شده بود و در طرف غرب استخر مقابل خیابان یغما پله‌هایی وجود داشت که به بالای استخر منتهی می‌شد. قسمت شمالی استخر هم سطح خیابان فردوسی بود. نهر آب ورودی استخر لتیبار از وسط خیابان فردوسی می‌گذشت و وارد استخر می شد. در دو طرف پیاده رویِ بالایِ این استخر باغچه گلکاری شده با زمینه‌ای چمن‌کاری شده وجود داشت که درختان جوان و کهنسالی نیز در این باغچه‌ها خودنمایی می‌کردند که مردم بعد از پیاده روی، روی نیمکت‌هایی که توسط شهرداری وقت در کنار پیاده‌روی بالای استخر و زیر درختان نصب شده بود، به استراحت می‌پرداختند. این مکان زیبا، محل تجمع دانش‌آموزان و دانشجویان بود. بسیاری از دانش‌آموزان و دانشجویان آن زمان، از صحبت‌های پدر در همین مکان بهره می‌بردند.
باری، همان‌طوری که قبلاً بیان شد پدر صبح خیلی زود به ندرت در استخر لتیبار و اکثراً در استخر شاهجو به شنای صبحگاهی می‌پرداختند. استخر شاهجو در قسمت شمال شرق شهر و در حاشیه جاده تهران مشهد واقع است.
ایشان تعریف می‌کردند که در یکی از روزهای سرد زمستان سال 1335 در حالی که نم‌نم برفی هم می‌بارید، در حال شنا کردن در استخر شاهجو بودم. ناگهان متوجه می‌شدم که نفرات زیادی با پالتو و کلاه، در کنار استخر ایستاده و یکی از آنان با پرتاب طنابی در استخر، و با صدایی بلند از من می‌خواهد که سرِ این طناب را گرفته تا مرا از استخر بیرون بیاورند. من شنا کنان به کنار استخر آمده و پرسیدم چه می‌گوئید؟ آن شخص گفت مگر در استخر نافتاده و در حال غرق شدن نیستی؟ به ایشان گفتم من در حال شنا کردن در استخر هستم و غرق هم نشده‌ام. آنها تعجب کردند که در آن هوای سرد برفی در استخری با چنین آب سرد، در حال شنا کردن هستم. بعد مشخص شد که همگی آنان مسافران اتوبوسی هستند که از مشهد به تهران می‌رفتند و راننده اتوبوس با دیدن من در استخر، تصور کرده که در استخر افتاده و در حال غرق شدن هستم. بنابراین برای نجات من آمده بودند.
همچنین تعریف کردند، بعد از آن که از استخر بیرون آمدم همگی با کف زدن‌های ممتد مرا تشویق می‌کردند. من هم چند دوری دور استخر دویده تا بدنم با هوای خارج از آب عادت کند. آنگاه لباس‌های خود را از لابلای شاخه‌های درخت برداشته و پس از خشک کردن بدنم لباس‌هایم را پوشیده و ضمن تشکر از اقدام انسان دوستانه آنان با تک تک مسافران دست داده و با آنان خداحافظی کرده و عازم خانه شدم.
ذبیح‌الله وزیری «وزیری سمنانی»
