我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com

課程大綱：

一、課程介紹（30分鐘）

1. 課程目標(biāo)與期望

2. 自然語(yǔ)言處理（NLP）概述

3. BERT與Transformer在NLP中的地位與應(yīng)用

二、自然語(yǔ)言處理基礎(chǔ)（1小時(shí)）

1. NLP定義與任務(wù)分類

2. 文本表示：從詞袋模型到詞嵌入

3. 序列模型：RNN、LSTM與GRU

三、Transformer模型原理（1.5小時(shí)）

1. Transformer模型簡(jiǎn)介

2. 自注意力機(jī)制（Self-Attention）

- 注意力機(jī)制概述

- 自注意力機(jī)制的計(jì)算過(guò)程

- 多頭自注意力（Multi-Head Attention）

3. 位置編碼（Positional Encoding）

4. 編碼器（Encoder）與解碼器（Decoder）

- 編碼器結(jié)構(gòu)

- 解碼器結(jié)構(gòu)

- 編碼器-解碼器交互

四、BERT模型原理（1.5小時(shí)）

1. BERT模型簡(jiǎn)介

2. BERT的預(yù)訓(xùn)練任務(wù)

- 掩碼語(yǔ)言模型（Masked Language Model, MLM）

- 下一個(gè)句子預(yù)測(cè)（Next Sentence Prediction, NSP）

3. BERT模型架構(gòu)

- Transformer編碼器堆疊

- 輸入與輸出表示

4. BERT的微調(diào)與應(yīng)用

- BERT微調(diào)策略

- BERT在NLP任務(wù)中的性能與應(yīng)用案例

五、BERT與Transformer的工程化實(shí)踐經(jīng)驗(yàn)（2小時(shí)）

1. 環(huán)境搭建與準(zhǔn)備

- Python環(huán)境配置

- 深度學(xué)習(xí)框架（如TensorFlow或PyTorch）的安裝

- 文本處理庫(kù)（如NLTK、jieba等）的安裝

2. 數(shù)據(jù)預(yù)處理

- 數(shù)據(jù)清洗與標(biāo)準(zhǔn)化

- 分詞與編碼

- 數(shù)據(jù)集劃分

3. 模型訓(xùn)練與優(yōu)化

- 加載預(yù)訓(xùn)練模型

- 微調(diào)BERT或Transformer模型

- 超參數(shù)調(diào)整與模型優(yōu)化

4. 模型評(píng)估與部署

- 評(píng)估指標(biāo)與評(píng)估方法

- 模型保存與加載

- 模型部署策略與工具

5. 工程化挑戰(zhàn)與解決方案

- 計(jì)算資源優(yōu)化

- 模型壓縮與加速

- 分布式訓(xùn)練與部署

六、實(shí)戰(zhàn)演練與案例分析（30分鐘）

1. 使用BERT或Transformer進(jìn)行NLP任務(wù)的實(shí)戰(zhàn)演練

2. 案例分析：BERT與Transformer在特定任務(wù)中的工程化實(shí)踐

七、課程總結(jié)與未來(lái)展望（30分鐘）

1. 課程內(nèi)容總結(jié)

2. BERT與Transformer的優(yōu)缺點(diǎn)與局限性

3. NLP領(lǐng)域的未來(lái)趨勢(shì)與新技術(shù)展望

4. 學(xué)員提問(wèn)與討論

李老師

李海良簡(jiǎn)介

李海良，，暨南大學(xué)副教授，碩士生導(dǎo)師，九三學(xué)社社員，中山大學(xué)工學(xué)博士香港城市大學(xué)訪問(wèn)學(xué)者，廣東工業(yè)大學(xué)校外合作研究生導(dǎo)師。研究方向?yàn)樯疃葘W(xué)習(xí)、圖像識(shí)別、智慧綜合能源和能源大數(shù)據(jù)。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者發(fā)表SCI論文6篇，主持省級(jí)課題2項(xiàng)，參與國(guó)家自然科學(xué)基金1項(xiàng)。長(zhǎng)期擔(dān)任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊審稿人。曾獲得第六屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)二等獎(jiǎng)（2017），第七屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)三等獎(jiǎng)（2016），2020年12月在INSCRYPT 2020 國(guó)際會(huì)議擔(dān)任Session chair。

2018年獲得中山大學(xué)工學(xué)博士學(xué)位，2019年至2021年在暨南大學(xué)網(wǎng)絡(luò)安全學(xué)院做博后，合作導(dǎo)師為密碼學(xué)與信息安全領(lǐng)域?qū)＜?、?guó)家杰青翁健教授。

擅長(zhǎng)操作系統(tǒng)和數(shù)據(jù)庫(kù)的安全配置，針對(duì)注入式、篡改、偽造、流量分析以及竊聽等主流攻擊方式有深入研究，在人工智能領(lǐng)域，針對(duì)對(duì)抗樣本攻擊與防御方面發(fā)表多篇SCI論文。

曾參與基于聯(lián)邦學(xué)習(xí)的廣東海關(guān)數(shù)據(jù)隱私保護(hù)系統(tǒng)的研發(fā)工作，參與暨南大學(xué)與金山毒霸的校園網(wǎng)攻防安全軟件的研發(fā)工作

參與基于視頻圖像安全的珠海電力局電纜防外破項(xiàng)目

參與東軟集團(tuán)社保系統(tǒng)和醫(yī)院管理系統(tǒng)的研發(fā)工作

曾經(jīng)為廣東移動(dòng)、深圳市電力局、肇慶學(xué)院、嶺南師范學(xué)院、華南農(nóng)業(yè)大學(xué)、東莞城市學(xué)院、電子科技大學(xué)中山學(xué)院以及鄭州航空工業(yè)管理學(xué)院等知名企業(yè)院校提供培訓(xùn)服務(wù)，積累了大量的行業(yè)培訓(xùn)項(xiàng)目經(jīng)驗(yàn)。

擅長(zhǎng)主講課程：

《人工智能》《計(jì)算機(jī)網(wǎng)絡(luò)》《網(wǎng)絡(luò)與信息安全》《軟件工程》《物聯(lián)網(wǎng)》《大數(shù)據(jù)和數(shù)據(jù)科學(xué)》 《網(wǎng)絡(luò)安全》 《互聯(lián)網(wǎng)與人工智能》 《網(wǎng)絡(luò)信息安全與數(shù)據(jù)安全》 《 高級(jí)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)》 《物聯(lián)網(wǎng)技術(shù)》 《 云計(jì)算與大數(shù)據(jù)算法設(shè)計(jì)》 《軟件工程》 《 研究方法論》 《物聯(lián)網(wǎng)技術(shù)與發(fā)展趨勢(shì) 《網(wǎng)絡(luò)空間安全前沿問(wèn)題研究》 《智能人機(jī)交互》 《高級(jí)人工智能》 《大數(shù)據(jù)科學(xué)應(yīng)用》 《信息安全》 《高級(jí)軟件工程》 《高級(jí)算法設(shè)計(jì)與分析》

獲獎(jiǎng)經(jīng)歷：

2015年8月 第六屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)二等獎(jiǎng)

2016年8月 第七屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)三等獎(jiǎng)

2020年12月 INSCRYPT 2020 Session chair

學(xué)習(xí)經(jīng)歷

2014年9月-2018年6月，中山大學(xué)，信息與通信工程，博士研究生

2017年7月-2017年9月，香港城市大學(xué)，訪問(wèn)學(xué)者

工作經(jīng)歷

2019年2月至2021年2月，暨南大學(xué)信息科學(xué)技術(shù)學(xué)院，博士后

研究方向

基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，智慧綜合能源和能源大數(shù)據(jù)。

主要論文

1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles，IEEE Transactions on Neural Networks and Learning Systems，vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1區(qū),IF:10.451,TOP期刊

2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1區(qū)，IF:12.975，TOP期刊

3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images，Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引，第一作者，影響因子：4.314

4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images，Scientific Reprots,(2018) 8:6600，SCI索引，第一作者，影響因子：4.379

5.張宇,李海良*.基于RSA的圖像可識(shí)別對(duì)抗攻擊方法[J].網(wǎng)絡(luò)與信息安全學(xué)報(bào),2021,7(05):40-48.通信作者，中國(guó)科技核心期刊

承擔(dān)課題

1. 基于注意力機(jī)制的安全性圖像識(shí)別模型研究與應(yīng)用，2021廣東省普通高校特色創(chuàng)新項(xiàng)目，主持，17.12萬(wàn)元，項(xiàng)目編號(hào)：2021KTSCX006；

2. 基于 AIOT 的多維視覺(jué)下電力施工人員工作監(jiān)控與管理系統(tǒng)，廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金，主持，2萬(wàn)元，項(xiàng)目編號(hào)：PDJH2021b0058；

社會(huì)職務(wù)

廣東工業(yè)大學(xué)，校外合作碩士生導(dǎo)師

我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com