本發明公開了一種基于改進膠囊網絡與算法的手勢圖像分割與識別方法，屬于計算機視覺與人工智能技術領域，在復雜背景下用提出的U形殘差膠囊網絡去掉背景，把手勢圖像分割出來，然后用圖像處理的方法去除噪聲并將其二值化圖像的手勢位置定位出來，第三，將定位出來的手勢區域作為掩膜把原圖的背景去掉，僅僅保留手勢圖像，最后將手勢圖像輸入到改進的矩陣膠囊網絡，采用改進算法進行識別。改進算法比U‑Net算法大大降低了參數量，提高了手勢圖像的分割性能，從而提高了手勢圖像的識別率。