OpenAI没说的秘密，Meta全揭了？华人一作GPT-4o同款技术，爆打扩散王者
鏂版櫤鍏冩姤閬�
缂栬緫锛欿ingHZ
銆愭柊鏅哄厓瀵艰�銆戣嚜鍥炲綊妯″瀷锛岄�娆＄敓鎴�2048脳2048鍒嗚鲸鐜囧浘鍍忥紒鏉ヨ嚜Meta銆佽タ鍖楀ぇ瀛︺€佹柊鍔犲潯鍥界珛澶у�绛夋満鏋勭殑鐮旂┒浜哄憳锛屼笓闂ㄤ负澶氭ā鎬佸ぇ璇�█妯″瀷锛圡LLMs锛夎�璁＄殑TokenShuffle锛屾樉钁楀噺灏戜簡璁＄畻涓�殑瑙嗚�Token鏁伴噺锛屾彁鍗囨晥鐜囧苟鏀�寔楂樺垎杈ㄧ巼鍥惧儚鍚堟垚銆�
鑷�洖褰掓ā鍨嬬殑鏂扮獊鐮达細棣栨�鐢熸垚2048脳2048鍒嗚鲸鐜囧浘鍍忥紒
鏉ヨ嚜Meta銆佽タ鍖楀ぇ瀛︺€佹柊鍔犲潯鍥界珛澶у�绛夋満鏋勭殑鐮旂┒浜哄憳锛屾彁鍑轰簡TokenShuffle锛屼负澶氭ā鎬佸ぇ璇�█妯″瀷锛圡LLMs锛夎�璁＄殑鍗虫彃鍗崇敤鎿嶄綔锛屾樉钁楀噺灏戜簡璁＄畻涓�殑瑙嗚�token鏁伴噺锛屾彁楂樻晥鐜囧苟淇冭繘楂樺垎杈ㄧ巼鍥惧儚鍚堟垚銆�
鍥�1锛氶噰鐢ㄦ柊鎶€鏈�殑27浜垮弬鏁拌嚜鍥炲綊妯″瀷鐢熸垚鐨勯珮鍒嗚鲸鐜囧浘鍍�
闄や簡瀹炵幇瓒呴珮鍒嗚鲸鐜囧浘鍍忕敓鎴愬�锛岀敓鎴愯川閲忎篃闈炲父鍑鸿壊銆�
鍩轰簬27浜垮弬鏁扮殑Llama妯″瀷锛屾柊鏂规硶鏄捐憲瓒呰秺鍚岀被鑷�洖褰掓ā鍨嬶紝鐢氳嚦浼樹簬寮烘墿鏁ｆā鍨嬶細
鍦℅enEval鍩哄噯娴嬭瘯涓�紝鑾峰緱0.62鐨勭患鍚堝緱鍒嗭紝
鍦℅enAI-Bench涓婏紝鍙栧緱0.77鐨刅QAScore锛屽垱閫犱簡鏂扮殑鎶€鏈�爣鏉嗐€�
姝ゅ�锛屽ぇ瑙勬ā浜虹被璇勪及锛屼篃楠岃瘉浜嗚�鏂规硶鐨勬湁鏁堟€с€�
閾炬帴锛歨ttps://arxiv.org/abs/2504.17789
涓庝紶缁熸柟娉曢€愪釜瀛︿範鍜岀敓鎴愭瘡涓��瑙塼oken涓嶅悓锛屾柊鏂规硶鍦ㄥ眬閮ㄧ獥鍙ｅ唴鎸夐『搴忓�鐞嗗拰鐢熸垚涓€缁則oken锛屽�鍥�2鎵€绀恒€�
鍥�2锛歍oken-Shuffle娴佺▼
Token-Shuffle鍖呮嫭锛�
token-shuffle鎿嶄綔锛岀敤浜庡湪Transformer杈撳叆闃舵�鍚堝苟灞€閮ㄧ┖闂村唴鐨勮�瑙塼oken锛�
浠ュ強token-unshuffle鎿嶄綔锛岀敤浜庡湪鎺ㄧ悊闃舵�杩樺師瑙嗚�token銆�
璇ユ柟娉曟樉钁楀噺灏戜簡璁＄畻涓�墍闇€鐨勮�瑙塼oken鏁伴噺锛屽悓鏃朵繚鎸佷簡楂樿川閲忕殑鐢熸垚鏁堟灉銆�
鑰屼笖锛孴oken-Shuffle灞曠幇鐨勬晥鑳戒笌鏁堢巼锛屾彮绀轰簡鍏跺湪璧嬭兘澶氭ā鎬佸ぇ璇�█妯″瀷锛圡LLMs锛夊疄鐜伴珮鍒嗚鲸鐜囥€侀珮淇濈湡鍥惧儚鐢熸垚鏂归潰鐨勫法澶ф綔鍔涳紝涓鸿秴瓒婂熀浜庢墿鏁ｇ殑鏂规硶寮€杈熶簡鏂拌矾寰勩€�
GPT-4o娌¤�鐨勭�瀵嗭細鑷�洖褰掑浘鍍忕敓鎴�
鍦ㄨ�瑷€鐢熸垚棰嗗煙锛岃嚜鍥炲綊锛圓utoregression锛夋ā鍨嬬О闇稿�鏃ャ€�
鍦ㄥ浘鍍忓悎鎴愶紝鑷�洖褰掔殑搴旂敤铏芥棩鐩婂�澶氾紝浣嗘櫘閬嶈�璁や负閫婅壊浜庢墿鏁ｆā鍨嬨€�
杩欎竴灞€闄愪富瑕佹簮浜嶢R妯″瀷闇€瑕佸�鐞嗗ぇ閲忓浘鍍弔oken锛屼弗閲嶅埗绾︿簡璁�粌/鎺ㄧ悊鏁堢巼浠ュ強鍥惧儚鍒嗚鲸鐜囥€�
姣斿�锛岋紝璁㎡penAI鐨凣PU閮姐€岃瀺鍖栥€嶄簡銆�
浣嗛仐鎲剧殑鏄�紝OpenAI骞舵病鏈夊叕寮€鑳屽悗鐨勬妧鏈�師鐞嗐€�
GPT-4o鐢熸垚鐨勭�涓€瑙嗚�鏈哄櫒浜烘墦瀛楀浘
杩欐�锛屾潵鑷狹eta绛夋満鏋勭殑鐮旂┒鑰咃紝鍙戠幇鍦ㄥ�妯℃€佸ぇ璇�█妯″瀷锛圡LLMs锛変腑锛岃�瑙夎瘝琛ㄥ瓨鍦ㄧ淮搴﹀啑浣欙細瑙嗚�缂栫爜鍣ㄨ緭鍑虹殑浣庣淮瑙嗚�鐗瑰緛锛岃�鐩存帴鏄犲皠鍒伴珮缁磋�瑷€璇嶈〃绌洪棿銆�
鐮旂┒鑰呮彁鍑轰簡涓€绉嶇畝鍗曡€屾柊棰栫殑Transformer鍥惧儚token鍘嬬缉鏂规硶锛歍oken-Shuffle銆�
浠栦滑璁捐�浜嗕袱椤瑰叧閿�搷浣滐細
token娣锋礂锛坱oken-shuffle锛夛細娌块€氶亾缁村害鍚堝苟绌洪棿灞€閮╰oken锛岀敤鏉ュ噺灏戣緭鍏�oken鏁帮紱
token瑙ｆ贩锛坱oken-unshuffle锛夛細鍦═ransformer鍧楀悗瑙ｆ瀯鎺ㄦ柇token锛岀敤鏉ユ仮澶嶈緭鍑虹┖闂寸粨鏋勩€�
鍦ㄨ緭鍏ュ噯澶囬樁娈碉紝閫氳繃涓€涓狹LP妯″潡灏嗙┖闂翠笂鐩搁偦鐨則oken杩涜�铻嶅悎锛屽舰鎴愪竴涓�帇缂╁悗鐨則oken锛屽悓鏃朵繚鐣欏眬閮ㄧ殑鍏抽敭淇℃伅銆�
瀵逛簬鎵撲贡绐楀彛澶у皬涓簊鐨勬儏鍐碉紝token鏁伴噺浼氭寜s鐨勫钩鏂瑰噺灏戯紝浠庤€屽ぇ骞呴檷浣嶵ransformer鐨勮繍绠楅噺銆�
鍥�3锛氳�瑙夎瘝姹囩淮搴﹀啑浣欑殑绀烘剰鍥俱€傚乏渚э細閫氳繃涓や釜MLP鎿嶄綔灏嗚�瑙塼oken鐨勭З闄嶄綆r鍊嶃€傚彸渚э細涓嶅悓r鍊间笅鐨勯�璁�粌鎹熷け锛堝�鏁板埢搴﹀洶鎯戝害锛�
鍦ㄧ粡杩嘥ransformer灞傚�鐞嗗悗锛宼oken-unshuffle鎿嶄綔閲嶆柊杩樺師鍑哄師鏈�殑绌洪棿鎺掑垪杩囩▼銆傝繖涓€闃舵�鍚屾牱鍊熷姪浜嗚交閲忕骇鐨凪LP妯″潡銆�
鏈�川涓婏紝鏂版柟娉曞湪璁�粌鍜屾帹鐞嗚繃绋嬩腑骞舵湭鐪熸�鍑忓皯搴忓垪闀垮害锛岃€屾槸鍦═ransformer璁＄畻杩囩▼涓�紝鏈夋晥鍑忓皯浜唗oken鏁伴噺锛屼粠鑰屽姞閫熻�绠椼€�
鍥�4鐩磋�鍦板睍绀轰簡鏂版柟娉曞湪鏁堢巼涓婄殑鎻愬崌銆�
鍥�4锛歍oken-Shuffle鑳藉�瀹炵幇璁＄畻鏁堢巼鐨勪簩娆℃彁鍗�
閫氳繃鍦═ransformer璁＄畻鏈熼棿鍘嬬缉token搴忓垪锛孴oken-Shuffle瀹炵幇浜嗛珮鏁堢殑楂樺垎杈ㄧ巼鍥惧儚鐢熸垚锛屽寘鎷�敮鎸�2048脳2048鍒嗚鲸鐜囩殑鍥惧儚銆�
閲嶈�鐨勬槸锛岃繖绉嶆柟娉曟棤闇€瀵筎ransformer鏋舵瀯鏈�韩杩涜�淇�敼锛屼篃涓嶅紩鍏ヨ緟鍔╂崯澶卞嚱鏁版垨闇€瑕侀�澶栭�璁�粌鐨勭紪鐮佸櫒銆�
姝ゅ�锛岃�鏂规硶杩橀泦鎴愪簡涓€涓�拡瀵硅嚜鍥炲綊鐢熸垚涓撻棬璋冩暣鐨勬棤鍒嗙被鍣ㄥ紩瀵硷紙Classifier-Free Guidance锛孋FG锛夎皟搴﹀櫒銆�
涓嶅悓浜庝紶缁熺殑鍥哄畾寮曞�寮哄害锛屾柊鐨凜FG璋冨害鍣ㄥ湪鎺ㄧ悊杩囩▼涓�€愭�璋冩暣寮曞�鍔涘害锛屽噺灏戞棭鏈焧oken鐢熸垚鐨勪吉褰遍棶棰橈紝骞惰繘涓€姝ユ彁鍗囨枃鏈�笌鍥惧儚鐨勫�榻愭晥鏋溿€�
鐮旂┒鑰呮帰绱�簡鍑犵�CFG璋冨害绛栫暐锛岀浉鍏崇粨鏋滃睍绀哄湪鍥�5涓�€�
鏍规嵁瑙嗚�璐ㄩ噺鍜屼汉绫昏瘎浼扮殑鍙嶉�锛岄粯璁ら噰鐢ㄣ€屽崐绾挎€с€嶏紙half-linear锛夎皟搴﹀櫒锛屼互鑾峰緱鏇村ソ鐨勭敓鎴愭晥鏋溿€�
鍥�5锛氫笉鍚孋FG璋冨害鍣ㄧ殑姣旇緝锛孋FG灏哄害浠�1鍗曡皟澧炲姞鍒�7.5
鍙充晶缁撴灉鏄剧ず锛岀浉杈冧簬鍦ㄦ墍鏈夎�瑙塼oken涓婁娇鐢ㄥ浐瀹�7.5鐨凜FG鍊硷紝閲囩敤CFG璋冨害鍣ㄨ兘澶熷悓鏃舵彁鍗囧浘鍍忕殑缇庡�璐ㄩ噺鍜屾枃鏈��榻愭晥鏋溿€�
涓嶅悓鏃犲垎绫诲櫒寮曞�锛圕FG锛夊昂搴︿笅鐨勭敓鎴愬浘鍍忕ず渚�
鑷�洖褰掔殑鍘嗗彶鎬х獊鐮�
璇ユ柟娉曢€氳繃涓庢枃鏈�彁绀鸿仈鍚堣�缁冿紝鏃犻渶棰濆�棰勮�缁冩枃鏈�紪鐮佸櫒锛屽氨鑳借�MLLMs鍦ㄤ笅涓€涓猼oken棰勬祴妗嗘灦涓嬶紝鏀�寔瓒呴珮鍒嗚鲸鐜囧浘鍍忓悎鎴愶紝鍚屾椂淇濇寔楂樻晥璁�粌鎺ㄧ悊銆�
杩欐槸鑷�洖褰掓ā鍨嬮�娆″疄鐜�2048脳2048鍒嗚鲸鐜囩殑鏂囩敓鍥俱€�
鍦℅enAI鍩哄噯娴嬭瘯涓�紝27浜垮弬鏁癓lama妯″瀷鍦ㄥ洶闅炬彁绀轰笅鍙栧緱0.77缁煎悎寰楀垎锛岃緝AR妯″瀷LlamaGen鎻愬崌0.18锛岃秴瓒婃墿鏁ｆā鍨婰DM杈�0.15銆�
澶ц�妯′汉宸ヨ瘎浼颁篃璇佸疄鏂版柟娉曞湪鏂囨湰瀵归綈搴︺€佽�瑙夌己闄风巼鍜岀編瀛﹁川閲忎笂鐨勫叏闈�紭鍔裤€�
鍦∕LLMs楂樻晥鐢熸垚楂樺垎杈ㄧ巼鍥惧儚棰嗗煙锛孴oken-Shuffle鏈夋湜鎴愪负鍩哄噯璁捐�鏂规�銆�
娑堣瀺瀹為獙绛夋洿澶氬唴瀹瑰拰缁嗚妭锛屽弬闃呭師璁烘枃銆�
妯″瀷璁�粌锛�3姝ユ洸
瀹為獙浣跨敤2.7B Llama妯″瀷锛岀淮搴︿负3072锛岀敱20涓�嚜鍥炲綊Transformer妯″潡缁勬垚銆�
妯″瀷鐨勯�璁�粌琚�垎涓�3涓�樁娈碉紝浠庝綆鍒嗚鲸鐜囧埌楂樺垎杈ㄧ巼鍥惧儚鐢熸垚銆�
棣栧厛锛岀爺绌惰€呬娇鐢�512脳512鍒嗚鲸鐜囩殑鍥惧儚杩涜�璁�粌锛屽湪姝ら樁娈典笉浣跨敤Token-Shuffle鎿嶄綔锛屽洜涓烘�鏃惰�瑙塼oken鐨勬暟閲忓苟涓嶅ぇ銆傚湪杩欎竴闃舵�锛屼粬浠��缁冧簡绾�50浜夸釜token锛屼娇鐢�4K鐨勫簭鍒楅暱搴︺€�512鐨勫叏灞€鎵归噺澶у皬鍜屾€诲叡211K姝ャ€�
鎺ヤ笅鏉ワ紝鐮旂┒鑰呭皢鍥惧儚鍒嗚鲸鐜囨彁鍗囧埌1024脳1024锛屽苟寮曞叆Token-Shuffle鎿嶄綔锛屽噺灏戣�瑙塼oken鏁伴噺锛屾彁楂樿�绠楁晥鐜囥€傚湪杩欎竴闃舵�锛屼粬浠�皢璁�粌token鏁伴噺鎵╁睍鍒�2TB銆�
鏈€鍚庯紝鐮旂┒鑰呬娇鐢ㄤ箣鍓嶈�缁冪殑checkpoint锛屽皢鍒嗚鲸鐜囪繘涓€姝ユ彁鍗囪嚦2048脳2048锛岃�缁冪害300浜夸釜token锛屽垵濮嬪�涔犵巼璁句负4e鈭�5銆�
浠栦滑寮曞叆浜唞-loss锛岀敤浜庣ǔ瀹氶珮鍒嗚鲸鐜囧浘鍍忕敓鎴愮殑璁�粌銆�
鍘熸枃鍥�11锛氬湪2048脳2048鍒嗚鲸鐜囦笅璁�粌鏃剁殑骞冲潎鎹熷け锛堝乏锛夊拰姊�害鑼冩暟锛堝彸锛夈€傚湪澶х害20K娆¤凯浠ｅ悗鍑虹幇璁�粌涓嶇ǔ瀹氱幇璞�
鍦ㄤ笉鍚岄樁娈碉紝鐮旂┒鑰呭�鎵€鏈夋ā鍨嬭繘琛屼簡寰�皟锛屽�涔犵巼涓�4e鈭�6锛屼娇鐢�1500寮犵簿閫夌殑楂樼編瀛﹁川閲忓浘鍍忚繘琛屽睍绀恒€�
榛樿�鎯呭喌涓嬶紝闄ら潪鍙︽湁璇存槑锛屽彲瑙嗗寲鍜岃瘎浼版槸鍩轰簬1024脳1024鍒嗚鲸鐜囧拰2澶у皬鐨則oken-shuffle绐楀彛鐨勫井璋冪粨鏋溿€�
閲忓寲璇勪及锛氬張蹇�張濂�
琛�1涓�殑缁撴灉绐佹樉浜員oken-Shuffle鐨勫己澶ф€ц兘銆�
涓庡叾浠栬嚜鍥炲綊妯″瀷鐩告瘮锛屾柊鏂规硶鍦ㄣ€屽熀鏈�€�(basic)鎻愮ず涓婃暣浣撳緱鍒嗚秴瓒奓lamaGen 0.14鍒嗭紝鍦ㄣ€岄珮闅惧害銆嶏紙hard锛夋彁绀轰笂瓒呰秺0.18鍒嗐€�
涓庢墿鏁ｅ熀鍑嗙浉姣旓紝鏂版柟娉曞湪銆岄珮闅惧害銆嶆彁绀轰笂瓒呰秺DALL-E 3 0.7鍒嗐€�
琛�1锛氬湪GenAI-Bench涓婄殑鍥惧儚鐢熸垚VQAScore璇勪及銆傘€屸€犮€嶈〃绀哄浘鍍忔槸閫氳繃Llama3閲嶅啓鎻愮ず鐢熸垚鐨勶紝淇濊瘉璁�粌涓庢帹鐞嗙殑涓€鑷存€�
闄や簡琛�1涓�姤鍛婄殑VQAScore缁撴灉澶栵紝鐮旂┒鑰呰繕杩涜�浜嗛�澶栫殑鑷�姩璇勪及GenEval锛屽苟鍦ㄨ〃2涓�姤鍛婁簡璇︾粏鐨勮瘎浼扮粨鏋溿€�
瀹為獙缁撴灉琛ㄦ槑锛岄櫎浜嗛珮鍒嗚鲸鐜囧�锛孴oken-Shuffle浣滀负涓€涓�函鑷�洖褰掓ā鍨嬶紝鑳藉�鍛堢幇鍑轰护浜烘弧鎰忕殑鐢熸垚璐ㄩ噺銆�
琛�2锛氬湪GenEval鍩哄噯娴嬭瘯涓婄殑璇勪及銆�
浜虹被璇勪及
灏界�鑷�姩鍖栬瘎浼版寚鏍囨彁渚涗簡鏃犲亸鐨勮瘎浼帮紝浣嗘渶杩戠殑鐮旂┒鎵€鎸囧嚭瀹冧滑鍙�兘骞朵笉鑳藉畬鍏ㄦ崟鎹夊埌浜虹被鍋忓ソ銆�
涓烘�锛岀爺绌惰€呰繕鍦℅enAI-Bench鎻愮ず闆嗕笂杩涜�浜嗗ぇ瑙勬ā鐨勪汉绫昏瘎浼帮紝灏嗘柊妯″瀷Token-Shuffle涓嶭lamaGen銆丩uminamGPT鍜孡DM杩涜�浜嗘瘮杈冿紝鍒嗗埆浠ｈ〃浜嗚嚜鍥炲綊妯″瀷銆丮LLM鍜屾墿鏁ｆā鍨嬨€�
鍦ㄤ汉绫昏瘎浼颁腑锛岄噸鐐瑰叧娉ㄤ笁涓�叧閿�寚鏍囷細
鏂囨湰瀵归綈锛岃瘎浼板浘鍍忎笌鏂囨湰鎻愮ず鐨勫尮閰嶅噯纭�害锛�
瑙嗚�缂洪櫡锛屾�鏌ラ€昏緫涓€鑷存€э紝閬垮厤鍑虹幇涓嶅畬鏁寸殑韬�綋鎴栧�浣欑殑鑲�綋绛夐棶棰橈紱
瑙嗚�澶栬�锛岃瘎浼板浘鍍忕殑缇庡�璐ㄩ噺銆�
瀛樺湪瑙嗚�缂洪櫡涓庣粨鏋勯敊璇�殑鐢熸垚鍥惧儚绀轰緥锛堢孩鑹插渾鍦堟爣璁板�锛�
鍥�6灞曠ず浜嗙粨鏋滐紝鏂版ā鍨嬪湪鎵€鏈夎瘎浼版柟闈㈠�缁堜紭浜庡熀浜庤嚜鍥炲綊鐨勬ā鍨婰lamaGen鍜孡uminamGPT銆�
杩欒〃鏄庯紝鍗充娇鍦ㄥぇ骞呭噺灏憈oken鏁伴噺浠ユ彁楂樻晥鐜囩殑鎯呭喌涓嬶紝Token-Shuffle涔熻兘鏈夋晥鍦颁繚鐣欑編瀛︾粏鑺傦紝骞朵笖鑳藉�绱у瘑閬靛惊鏂囨湰寮曞�锛屽墠鎻愭槸杩涜�浜嗗厖鍒嗙殑璁�粌銆�
鍦ㄧ敓鎴愮粨鏋滐紙鏃犺�鏄��瑙夊�瑙傝繕鏄�枃鏈��榻愶級涓婏紝鐮旂┒鑰呭睍绀轰簡鍩轰簬鑷�洖褰掔殑澶氭ā鎬佸ぇ璇�█妯″瀷锛圓R-based MLLMs锛夎兘澶熶笌鎵╂暎妯″瀷鐩稿�缇庢垨鏇磋儨涓€绛广€�
鐒惰€岋紝鐮旂┒鑰呰�瀵熷埌锛孴oken-Shuffle鍦ㄨ�瑙夌己闄锋柟闈㈢暐閫婁簬LDM銆�
鍥�6锛氫汉绫昏瘎浼扮粨鏋滐綔鍦ㄦ枃鏈��榻愩€佽�瑙夌己闄峰拰瑙嗚�澶栬�鏂归潰绛夋柟闈�紝姣旇緝浜員oken-Shuffle涓庢棤鏂囨湰鐨勮嚜鍥炲綊妯″瀷LlamaGen銆佸甫鏂囨湰鐨勮嚜鍥炲綊妯″瀷Lumina-mGPT浠ュ強鍩轰簬鎵╂暎鐨勬ā鍨婰DM鐨勮〃鐜�
鍙��鍖栫ず渚�
鐮旂┒鑰呭皢Token-Shuffle涓庡叾浠栨ā鍨嬭繘琛屼簡瑙嗚�鏁堟灉瀵规瘮锛屽寘鎷�袱绉嶅熀浜庢墿鏁ｇ殑妯″瀷LDM鍜孭ixart-LCM锛屼互鍙婁竴绉嶈嚜鍥炲綊妯″瀷LlamaGen銆�
鍥�7灞曠ず浜嗗彲瑙嗗寲渚嬪瓙銆�
铏界劧鎵€鏈夋ā鍨嬬殑鐢熸垚鏁堟灉閮戒笉閿欙紝浣員oken-Shuffle鍦ㄦ枃鏈��榻愭柟闈㈣〃鐜板緱鏇村姞鍑鸿壊銆�
涓庤嚜鍥炲綊妯″瀷LlamaGen鐩告瘮锛孴oken-Shuffle鍦ㄧ浉鍚屾帹鐞嗗紑閿€涓嬪疄鐜颁簡鏇撮珮鐨勫垎杈ㄧ巼锛屽甫鏉ヤ簡鏇村ソ鐨勮�瑙夎川閲忓拰鏂囨湰瀵归綈鏁堟灉銆�
涓庢墿鏁ｆā鍨嬬浉姣旓紝鑷�洖褰掓ā鍨婽oken-Shuffle鍦ㄧ敓鎴愭€ц兘涓婅〃鐜板嚭绔炰簤鍔涳紝鍚屾椂杩樿兘鏀�寔楂樺垎杈ㄧ巼杈撳嚭銆�
鍥�7锛氫笌鍏朵粬寮€婧愮殑鍩轰簬鎵╂暎妯″瀷鍜屽熀浜庤嚜鍥炲綊妯″瀷鐨勮�瑙夋晥鏋滃�姣�
涓€浣滅畝浠�
椹�棴锛圶u Ma锛�
浠栨槸缇庡浗涓滃寳澶у�宸ョ▼瀛﹂櫌鐨勫崥澹�爺绌剁敓銆�
鍦ㄦ�涔嬪墠锛屼粬鍦ㄧ編鍥藉痉鍏嬭惃鏂�ぇ瀛﹀寳閮ㄥ垎鏍¤�绠楁満绉戝�涓庡伐绋嬬郴宸ヤ綔浜嗕袱骞淬€�
鍦ㄥ崡浜�灄涓氬ぇ瀛︿俊鎭��瀛︿笌鎶€鏈��闄�紝 浠栬幏寰椾簡瀛﹀＋鍜岀�澹��浣嶃€�
浠栫殑鐮旂┒鍏磋叮鍖呮嫭锛氭ā鍨嬫晥鐜囥€佸�妯℃€佸ぇ璇�█妯″瀷锛圠LM锛夈€佺敓鎴愬紡浜哄伐鏅鸿兘锛圙enerative AI锛夈€�
鍦ㄥ崥澹��涔犳湡闂达紝浠栬幏寰椾簡涓€浜涘�椤癸紝鍖呮嫭ICME'20鏈€浣冲�鐢熻�鏂囧�銆丼EC'19鏈€浣宠�鏂囧�銆丯eurIPS'22鏉板嚭瀹＄ǹ浜哄�鍜孋VPR'23鏉板嚭瀹＄ǹ浜哄�銆�
鍙傝€冭祫鏂欙細
https://www.marktechpost.com/2025/04/25/meta-ai-introduces-token-shuffle-a-simple-ai-approach-to-reducing-image-tokens-in-transformers/
https://arxiv.org/abs/2504.17789