吃飯時，外省掛抬便桶到他家餐桌前

施崇棠是鹿港人，後來搬至北斗。父親當了十幾年的公務員，受限於早年濃厚省籍情結，只升任至小單位的總務而已。即使如此，還是有人看不慣他們一家人，有一次施家正在吃飯時，住在附近的「外省掛」抬了一個臭氣薰天的便桶放在餐桌前。「這樣的一個艱困環境，逼得你上進。」或許是基於一份不服輸心理，除了施崇棠畢業於台大電機系外，其他三位弟弟也均畢業於台大。

早年施崇棠的母親，在連生四位壯丁後，對於未能生育女兒深以為憾，因此又向親戚過繼一個女兒至名下撫養。以一份公務員薪水，要維持一家七口生計，自是食指浩繁。但是厄運的到來總是「屋漏偏逢連夜雨」。

當施崇棠國小六年級時，有一次施家所居住的宿舍突然發生火災，當時只見母親不顧熊熊烈火急著衝進屋內，救出屋內子女；而施崇棠則狂奔找回正在校園做運動的父親，所幸後來全家平安。不過浩劫後，原本便已顯得捉襟見肘的家計益發艱困。往後施崇棠隨著父母在外租房子四年，直到宿舍重建方才重返家園。雖然生活條件不如人，施崇棠父親的教育模式，並非講求「棒棍出孝子」型，施崇棠回憶說：「在課業上，老爸從不逼我們，即使考壞也沒關係，他給我們自由。」