前身是1962年6月成立的电子学会的电子计算机专业委员会。1985年3月5日，经中国科协以及国家体改委批准成立“中国计算机学会”。原专业委员会改组为第三届理事会。首届理事长为胡启恒，副理事长为蒋士騛、王湘浩、刘世骅、吴几康、洪民光、郭平欣、徐家福、陈力为、陈仁甫、莫根生、张效祥、张梓昌、冯康、慈云桂，秘书长为陈树楷。1985年3月20日，加入中国科协。学会会址设在北京，历届理事长为：胡启恒、张效祥、李树贻、唐泽圣、李国杰、郑纬民、高文，目前为第十一届理事会