基于图论聚类和色彩不变空间的目标跟踪方法，包括以下步骤：1)对视频流的图像进行色彩不变空间转换，用色彩不变特征CSIFT特征提取特征点；2)特征的图论运动聚类，具有相同运动趋势的特征点属于相同运动状态的目标，由特征点跟踪到视频帧中的目标。本发明采用局部不变特征，摒弃全局特征的盲目性；实现色彩不变特征CSIFT提取，在保持SIFT特征几何不变性优势的同时增加了色彩不变性，从灰度特征空间提升为彩色空间；针对静止背景下的运动物体，将图论思想融入匹配，将特征运动分类作为匹配的预处理，使匹配操作更加准确、快速。