在1981年11月在四川成都灌县召开的全国图像仪会议期间提出成立并开始筹备，筹备委员会主任为张文奇。1987年6月12日获得原国家科委批准成立。1988年11月，在北京军事医学科学院召开“第五届体视学与图象分析学术会议”期间，成立第一届理事会，张文奇任理事长。成立后曾先后挂靠北京钢铁学院（现北京科技大学）、中国人民解放军总医院、深圳大学等单位，2004年开始挂靠到清华大学。2009年9月，加入中国科协。自2003年以来，一直是国际体视学与图像分析学会副主席单位。学会会址设在北京，历届理事长为：张文奇、李静波、马承宣、谢维信、赵荣椿、顾秉林、康克军，目前为第六届理事会。