智猩猩定位硬科技講解與服務(wù)平臺，提供公開課、在線研討會、講座、峰會等線上線下產(chǎn)品。
「AI新青年講座」由智猩猩出品，致力于邀請青年學(xué)者，主講他們在生成式AI、LLM、計算機(jī)視覺、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過程中遇到的問題，也能夠盡快解決。
「AI新青年講座」現(xiàn)已完結(jié)233講；有興趣分享學(xué)術(shù)成果的朋友，可以與智猩猩教研產(chǎn)品團(tuán)隊進(jìn)行郵件（class@m.loveliyi.com）聯(lián)系。
大語言模型在自然語言處理領(lǐng)域的卓越表現(xiàn)已引起廣泛矚目，然而其對計算資源和硬件設(shè)施的高要求成為了廣泛應(yīng)用的一大挑戰(zhàn)。
針對這一難題，來自莫納什大學(xué)、北航、商湯的研究者創(chuàng)新性地提出了一種名為 QLLM 的高效、精準(zhǔn)的低比特量化方法。QLLM 通過引入自適應(yīng)通道重組機(jī)制，巧妙地將離群值所攜帶的能量重新分布至其他通道，有效緩解了這些極端值對量化動態(tài)范圍的影響。
此外，為補(bǔ)償量化過程中的性能損失，研究者設(shè)計了一種僅涉及學(xué)習(xí)少量低秩權(quán)重的低成本微調(diào)方法。大量實驗表明，QLLM 不僅在性能上顯著優(yōu)于現(xiàn)有量化方法，而且在訓(xùn)練效率上實現(xiàn)了大幅提升。QLLM 現(xiàn)已被 ICLR 2024 收錄為 Poster。
2月26日晚7點(diǎn)，「AI新青年講座」第234講邀請到 QLLM 一作、莫納什大學(xué) ZIP Lab 在讀博士劉璟參與，主講《大語言模型的高效低比特量化》。
講者
劉璟，莫納什大學(xué)ZIPLab在讀博士；師從莊博涵和蔡劍飛教授，主要研究方向為 Efficient AI，在 NeurIPS、ICLR、CVPR、ICCV、ECCV、AAAI、TPAMI 等頂級會議和期刊上發(fā)表多篇論文，Google Scholar 引用1200+。
第234講
主 題
《大語言模型的高效低比特量化》
提 綱
1、大語言模型低比特量化難點(diǎn)
2、精確且高效的后訓(xùn)練量化方法 QLLM
3、低成本微調(diào)方法
4、在 LLaMA-1/2 上的量化性能評估
直 播 信 息
直播時間：2月26日19:00
直播地點(diǎn)：智東西公開課知識店鋪
成果
論文標(biāo)題：《QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models》
論文地址：https://arxiv.org/pdf/2310.08041.pdf
開源代碼：https://github.com/ModelTC/QLLM
