在自然語言處理與計(jì)算機(jī)視覺任務(wù)中，AI模型的開發(fā)主要分為模型預(yù)訓(xùn)練和模型微調(diào)兩個階段。預(yù)訓(xùn)練是指預(yù)先訓(xùn)練的一個模型或者指預(yù)先訓(xùn)練模型的過程，通常需要大量的數(shù)據(jù)集做訓(xùn)練。然而在實(shí)際情況中，我們很難擁有足夠大的數(shù)據(jù)量，基本也就幾百或者幾千張，不像ImageNet有120萬張圖片這樣的規(guī)模。
擁有的數(shù)據(jù)集不夠大，而又想使用很好的模型的話，很容易會造成過擬合。因此一般的操作是在一個大型的數(shù)據(jù)集上訓(xùn)練一個模型，然后然后使用該模型作為類似任務(wù)的初始化或者特征提取器，對訓(xùn)練參數(shù)進(jìn)行微調(diào)，以便在最小的資源下達(dá)到最好的模型效果。
當(dāng)然，實(shí)際任務(wù)的不同需求，模型的調(diào)參優(yōu)化技巧就顯得極為重要。為此，惠普在智東西公開課開設(shè)惠普AI工作站專場，由英偉達(dá)特約?，F(xiàn)階段推出兩講，特邀兩位Kaggle Grandmaster分別針對NLP和CV兩個領(lǐng)域，以Kaggle競賽項(xiàng)目為案例，為大家直播講解不同任務(wù)中的模型調(diào)參優(yōu)化技巧。（偷偷地說一下，根據(jù)Kaggle平臺的數(shù)據(jù)顯示，目前只有198名Kaggle Grandmaster）
BERT模型是Google在2018年提出的一個面向NLP的無監(jiān)督預(yù)訓(xùn)練模型，在結(jié)構(gòu)上是Transformer的編碼部分，每個block主要由多頭self-Attention、標(biāo)準(zhǔn)化(Norm)、殘差連接、Feed Fordawrd組成。BERT模型無疑是一個里程碑的模型，它證明了一個非常深的模型可以顯著提高NLP任務(wù)的準(zhǔn)確率，并且這個模型的訓(xùn)練可以是從無標(biāo)記數(shù)據(jù)集中預(yù)訓(xùn)練得到。
同時由于BERT模型是無監(jiān)督的，因此在實(shí)際的預(yù)訓(xùn)練過程中，只需要爬取或者使用開源數(shù)據(jù)集即可進(jìn)行預(yù)訓(xùn)練，極大的方便了BERT模型的遷移。而在模型微調(diào)階段，則需要針對具體的任務(wù)來進(jìn)行模型微調(diào)，以便達(dá)到較好的效果。
1月15日晚8點(diǎn)，英偉達(dá)特約·惠普AI工作站專場第1講上線，由特邀講師、Kaggle Grandmaster吳遠(yuǎn)皓參與。這一講定名為BERT模型調(diào)優(yōu)公開課，主題為《BERT模型的調(diào)參優(yōu)化與Kaggle競賽項(xiàng)目解析》。
Kaggle是一個非常流行的進(jìn)行數(shù)據(jù)發(fā)掘和預(yù)測競賽的在線平臺，平臺上有著種類豐富的項(xiàng)目，同時想要在Kaggle競賽中取得獎金乃至取得好名次的難度也非常高。在本次的專場講解中，Kaggle大神吳遠(yuǎn)皓將會以Kaggle競賽中的項(xiàng)目為例，如TensorFlow 2.0 Question Answering、Toxic Comment Classification Challenge等項(xiàng)目，向大家介紹傳統(tǒng)語言模型的局限性，以及目前非?；馃岬腡ransformer模型和BERT模型，同時重點(diǎn)解析BERT模型在實(shí)際應(yīng)用過程中的調(diào)參技巧和結(jié)構(gòu)優(yōu)化方案。
吳遠(yuǎn)皓分別于2014年和2017年在北京清華大學(xué)取得學(xué)士和碩士學(xué)位，現(xiàn)在是一名算法工程師，主要關(guān)注自然語言處理領(lǐng)域，具有豐富的算法研發(fā)和落地經(jīng)驗(yàn)。他在2017年底初識Kaggle，已參加超過20場Kaggle競賽，獲得8枚金牌，并于2019年成為Kaggle Competitions Grandmaster，全球最高排名第36位。
專場信息
專場主題
《BERT模型的調(diào)參優(yōu)化與Kaggle競賽項(xiàng)目解析》
專場提綱
1、傳統(tǒng)語言模型的局限性
2、從Transformer到BERT，大規(guī)模參數(shù)模型的結(jié)構(gòu)解析
3、BERT模型的Pipeline構(gòu)建及應(yīng)用
4、在Kaggle競賽項(xiàng)目中的調(diào)參技巧與結(jié)構(gòu)優(yōu)化
特邀講師
吳遠(yuǎn)皓，分別于2014年和2017年在北京清華大學(xué)取得學(xué)士和碩士學(xué)位。目前為算法工程師，主要關(guān)注自然語言處理領(lǐng)域，具有豐富的算法研發(fā)和落地經(jīng)驗(yàn)。在2017年底初識Kaggle，已參加超過20場Kaggle競賽，獲得8枚金牌，并于2019年成為Kaggle Competitions Grandmaster，全球最高排名第36位。
直播信息
直播時間：1月15日20:00
直播地點(diǎn)：智東西公開課小程序
專場議程
20:00-20:40：主講環(huán)節(jié)
20:40-20:45：惠普宣講環(huán)節(jié)
20:45-21:00：問答環(huán)節(jié)
入群方式
為了便于大家學(xué)習(xí)和交流，本次專場講解設(shè)有主講群，并將邀請講師入群。加入主講群，除了可以與講師直接請教和交流，還能提前獲得課件，且能結(jié)識更多的技術(shù)牛人。
歡迎添加小助手小語（ID：hilele20）進(jìn)行申請，備注“姓名-公司/學(xué)校-職位/專業(yè)”的朋友將優(yōu)先審核通過。
