「梯度消失å•é¡Œã€ï¼ˆvanishing gradient problem):å¸ç¿’çš„å饋éŽç¨‹ã€‚當å·ç©ç¥žç¶“ç¶²è·¯çš„ç¶²è·¯å±¤æ•¸æ„ˆå¤šï¼Œåœ¨è¨“ç·´éšŽæ®µï¼Œå› ç‚ºå饋計算方å¼ï¼Œæ¯å›žå‚³ä¸€å±¤å°±æœƒæ失一些資訊,越å‰é¢çš„網路層å¸ç¿’到的æ±è¥¿è¶Šå°‘。
2019 å¹´å¹´åˆï¼Œå»–弘æºèˆ‡çŽ‹å»ºå ¯åœ˜éšŠé¦–å…ˆç ”ç™¼å‡ºå±€éƒ¨æ®˜å·®ç¶²è·¯ PRNet(partial residual networks, PRNet),將資訊「分æµã€ï¼Œæ¸›å°‘無謂的計算é‡ï¼Œä½¿é‹ç®—é€Ÿåº¦å¢žåŠ å…©å€ã€‚「一開始åšå‡º PRNet,我還是覺得效果ä¸å¤ 好。雖然減少計算é‡ï¼Œå¤§å¹…åŠ å¿«äº†è¨ˆç®—çš„é€Ÿåº¦ï¼Œä½†æ˜¯æ£ç¢ºçŽ‡å’ŒåŽŸæœ¬ç›¸æ¯”並沒有什麼æå‡ã€‚ã€å»–弘æºè‡ªä¿¡çš„說:「我覺得這樣沒什麼æ„æ€ï¼Œå› 為我們的目標,是åšå‡ºå…¨ä¸–界最好的物件åµæ¸¬æŠ€è¡“ï¼ã€
2019 å¹´ 11 月,他們在 PRNet çš„åŸºç¤Žä¸Šï¼Œç·ŠæŽ¥è‘—ç ”ç™¼å‡ºè·¨éšŽæ®µå±€éƒ¨ç¶²è·¯ CSPNet(cross stage partial network, CSPNet),利用分割–分æµâ€“åˆä½µçš„路徑,æˆåŠŸé”到了大幅減少計算é‡ã€å»èƒ½å¢žåŠ å¸ç¿’多元性的目標。