1.) SimCLR 是一種微調RestNet一種作法，使其 能夠對於類似的圖片產生相同的向量 至於如何"類似" 由自己定義。凡定義為相似的圖片, 例如把同一個圖片其經過角度旋轉、平移、亮度不同、加入些許雜點的細微變化， 仍視為相同的，故SimCLR 模型必須為相似的圖片建立相同的特徵向量。
從農業時代到工業時代，人類第一次大規模用「機器」取代「人力」。許多過去依靠體力與手工的工作逐漸消失。當世界進入資訊時代，自動化與電腦系統又接手了大量重複性的任務，像打字員、收費員、電話接線員等職業，也慢慢成為歷史。
而現在，我們正迎來下一個重大轉變——AI 時代。
很多人會問：「既然 AI 可以寫程式，我們為什麼還要學？」
其實，歷史早已給了答案：每一次科技進步，改變的是工作的方式，而不是人本身。真正被取代的，往往不是人，而是舊的思考方式與工作模式。
在 AI 時代學習程式設計，重要的不只是學會語法，而是建立一種新的學習態度。
生成式 AI（例如 ChatGPT）已經成為強大的工具，可以協助寫程式、解釋概念甚至幫助除錯。但對初學者來說，最重要的仍然是：
親自動手寫程式
理解邏輯與結構
培養獨立思考能力
如果一開始就完全依賴 AI，反而可能錯過真正理解問題的機會。當你具備基礎後，再將 AI 作為輔助工具，才能讓學習速度與深度同時提升。
即使 AI 越來越強，它在面對大型系統設計、複雜問題拆解，以及跨領域整合時，仍然需要人類的判斷與思考。
因此，在 AI 時代，你不只是「寫程式的人」，更應該把自己當成：
學會如何分析問題、選擇工具、與他人合作，將會比單純會寫某一種語言更加重要。
許多學生會覺得資料結構與演算法很抽象，但其實它們是一種「解決問題的思考方式」。
例如 Google 地圖如何預測交通狀況，就是透過資料結構、演算法與機器學習的結合，讓我們每天都能做出更好的路線選擇。
當你理解這些基礎概念時，你不只是學會寫程式，而是學會如何用系統化的方法看待世界。
AI 不會停止進化，因此學習也不能停止。真正重要的是：
持續培養邏輯思考能力
保持好奇心與實作精神
學會與 AI 協作，而不是依賴
當你能把 AI 當成夥伴，而不是替代者，你就已經站在未來的起點。
#Transformer #BERT # Self -Attention #Explainable AI #LIME #SHAP
在NLP中的文章分類或句子的情緒判別中，模型分類結果符合預期，但如何得知到底是這句話或文章那句話或詞語決定了分類的結果 ?
 |
| LIME 執行的結果 |
若使用的是Transformer 的BERT., 那可以透Attention weight distribution , 得知那模型主要關注了那一個字。但若分類模型不是BERT 這種具有Self -Attention 的機制，那作法可以用模型可解釋性 (Explainable AI) 的方法,，如LIME 或 SHAP ，他們會用分類模型結果去建立一個簡線性模型， 如Logistic Regression 的這種架構，Y=w1x1+w2x2+w3x3+....如此便可以透過這些權重值w1,w2,... 去了解每個字的重要性。
 |
| 不平衡資料集 |
生成式AI的崛起與發展
生成式AI（Generative AI）在2022年底隨著ChatGPT的問世而廣受關注。ChatGPT展現出近乎自然的人類對話能力，讓許多人驚嘆AI技術的進展。如今，ChatGPT的功能已不僅限於文字對話，更可解讀圖片、PDF文件分析，並能提供內容摘要與深度分析。市場上類似的工具還包括Microsoft Copilot、Claude和Notebook LLM等。除了文字生成，AI技術也延伸至音樂創作和圖像生成領域。 在圖像生成領域已有非常成熟的平台，例如 Stable Diffusion、Midjourney和DALL-E等。
判別式AI與生成式AI的本質差異
相較於2019年主流的判別式AI（Discriminative AI）——專注於圖像分類或文本分類等任務，生成式AI面對的是更具挑戰性的問題。判別式AI主要解決P(y=k|x)的問題，即在已知條件x下，預測標籤y為k的機率，而無需了解x的整體分布。
生成式AI則致力於估計P(x)，即從觀察到的樣本x1, x2, x3...中推測整體的機率分布。這個任務的複雜度遠超過判別式AI。理解P(x)分布的重要性在於：如果我們能找到一個近似分布Q(x)，使其接近真實分布P(x)，那麼從Q(x)中採樣得到的新樣本x將與真實數據具有相似的特徵。
舉例來說，在人臉生成的應用中，即使生成的面孔並不存在於原始訓練數據集中，但由於其符合真實人臉的分布特徵，因此看起來自然且真實，難以與真實人臉區分。這正是生成式AI的強大之處。
生成式AI的技術發展史
2023
