吴琴木名吴桐，1894年2月16日生于江苏吴江县震泽镇慎德堂，1953年8月27日卒于上海。原名桐生，后改单名桐，字琴木。琴材，桐木也。号冷枫居士（源于唐代诗人崔信民的断句诗’枫落吴江冷’），别号苍梧生。室名志隐草堂。兄弟四人，他排行第四。吴江是著名的江南水乡，上溯頔塘河六公里处就是浙江吴兴之南浔镇。
琴木从小酷爱绘画，后在家乡做教师。他走上职业画家、鉴赏家之路，乃与邻乡著名书画鉴赏收藏家虚斋老伯（庞元济，字莱臣）的帮助、栽培密不可分的。1914年左右，琴木弃教就画，去南浔庞氏画室管理书画、从事临摹、修复古画。庞氏收藏在江南首屈一指，琴木在那里大开眼界，遂朝夕临摹，潜心研习。之后吴琴木卖画自给，先后移居苏州、常熟、上海。周庆云（字梦坡）也曾纳其馆下，从而结交了张乃燕（字君谋）等。