【AskSense 八部曲：第 2 篇】數字變身英雄：電腦怎麼用「數字」理解「人話」？

-

想像每一句話都是一張地圖，而向量就像一組 GPS 座標，告訴電腦這張地圖的輪廓、坡度、河流與山脈，才能拿來和其他地圖比對「相似度」。這條從最早只會「詞袋」（Bag-of-Words）、進階到 TF-IDF ，再到現在的 Sentence-BERT 之路，每一步都讓機器更靠近我們的思維，真正往「理解人話」邁進。

要做到這種「文字→向量→理解」的變身，背後藏著不少學問，以下就讓我們一一揭開電腦思考的神秘面紗吧！

第一招：詞袋大亂鬥，電腦怎麼「解讀」文字？

你有沒有想過，電腦其實不懂「我愛吃蘋果」這句話的意思，它只會把文字拆成一顆顆小字粒，然後數一數哪些字出現過、哪些沒出現。這個超直覺又超簡單的方法就叫做 Bag-of-Words（詞袋模型），想像把一句話的每個字都丟進一個大袋子，然後問：「袋子裡有這個字嗎？有就給 1，沒有就給 0。」

比方說，句子 A 是「我喜歡蘋果」，句子 B 是「他喜歡香蕉」，我們把所有字彙列成「我、他、喜歡、蘋果、香蕉」這五個字。接著，句子 A 變成 [1,0,1,1,0]，句子 B 變成 [0,1,1,0,1]，袋子裡只記錄「出現與否」，完全不管字在句子裡排哪個位置，也不管字跟字之間有什麼關聯。

這招聽起來簡單到爆炸，但它也有大麻煩：完全看不出字的「順序」跟「重要性」。像「我喜歡蘋果」和「蘋果喜歡我」，對 Bag-of-Words 來說是一模一樣的組合，完全分不清前因後果。當遇到詐騙簡訊：「立即驗證帳戶」跟「帳戶立即驗證」，字都一樣卻可能代表不同的風險程度，這方法就徹底暈船。

所以，雖然 Bag-of-Words 是文字轉數字的第一步，讓電腦有辦法「看到」有沒有特定字，但它就像只認識食材卻不會做菜，看得到「蘋果」和「香蕉」，卻不懂水果沙拉的真正滋味。接下來，我們才會進階到 TF-IDF、再到更聰明的語意模型，讓電腦不只是看字，還能「懂意思」，真正幫你在詐騙陷阱裡找出危險的那條線！

Bag-of-Words 很快就遇到瓶頸？為何它抓不到詐騙的「暗號」？

可別小看那看似厲害的 Bag-of-Words（詞袋模型），它就像拿著放大鏡只盯字不看句子：只管數「這個字有沒有出現」，卻不管「字跟字之間怎麼串起來說話」。想想詐騙簡訊千變萬化，今天用「退款」、明天改「領現金」，詞袋模型只會呆呆問「有沒有「退款」？」「有沒有「領現金」？」―遇到換湯不換藥的同義替換，它馬上手忙腳亂，根本抓不到真正的詐騙意圖。

在現實生活中，詐騙集團專門玩文字遊戲，像是在你的地毯底下換了張新花樣的陷阱：他們把「您已領取退款」變成「請先填寫資料以獲取退款」，詞袋模型只看到「請、先、填寫、資料、獲取、退款」這串字，有的字甚至還沒出現在它的大籃子裡，就直接漏抓。結果就是，同樣騙你點連結的詐騙，把它換個說法就能輕鬆過關。而且，詞袋模型並不理會詞彙「順序」：「退款請點擊」和「請點擊退款」它都當成同一串字，哪裡分得出先要點擊還是先退款？就好像你上菜只看食材表，卻不管要怎麼料理，做出來的菜肯定四不像。面對這種只拼字、不懂語意的老古董方法，防詐效果自然大打折扣。

所以啊，Bag-of-Words 雖然是邁向文字向量化的第一步，但碰到詐騙這種花招百出的「暗黑料理」，它根本只能當配角。下一招，我們要教電腦「品味整道菜」。也就是用 TF-IDF、再進階到能真正「懂一句話意思」的語意模型，才能在詐騙換湯不換藥時，穩穩揪出那隱藏的騙局！

第二招：TF-IDF 大顯神通，讓「重要字詞」亮起來

你以為把文字拆成一顆顆字粒、數一數有沒有出現就夠了？那只能算入門級偵探。TF-IDF（詞頻-逆文檔頻率）才是第二代神兵利器！它既會看「這個字在這篇文章裡出現幾次」（TF），也會考量「這個字在所有文章裡出現頻率有多高」（IDF）。換句話說，像「退款」、「補助金」這種關鍵卻不常見的詞，就會被自動加分；至於「的」、「是」、「您」這種到處都是的字，則自動被打折扣，變得不那麼搶眼。

想像你在一大堆文字裡找秘密密碼：Bag-of-Words 只管「有沒有密碼字串」，可 TF-IDF 卻像裝了雷達，直奔那些稀有又關鍵的密碼位置，一下就把詐騙關鍵字凸顯出來。當詐騙集團用「請點此領取補助金」或「您的帳戶已凍結，需驗證」等話術時，TF-IDF 會給「補助金」、「驗證」很高的權重，讓後續的比對模型一眼就注意到它們的重要性。

不過 TF-IDF 也不是萬靈丹，它依然沒辦法看出字詞之間的前後關係與整句話的「套路」，只能幫我們先把重要字變大、把雜訊字變小。就好比在夜店打光棒，TF-IDF 讓真正的詐騙字眼亮起來，卻還沒告訴你舞池裡的人到底在跳什麼舞。

簡單來說，TF-IDF 是通往語意世界的必經之路，它讓電腦先學會「什麼字最有料」，再交給更厲害的語意模型（例如 Sentence-BERT）去「看全場演出」。有了這兩招配合，詐騙話術再怎麼變花樣，都逃不過這道「重要字＋語意」雙重偵測！

「關鍵字雷達 TF-IDF」有時也抓不到的詐騙

你以為有了 TF-IDF 把「補助金」「驗證」之類的重要字眼通通點亮，詐騙訊息就無所遁形的嗎？千萬別高興太早！雖然 TF-IDF 確實比單純數字袋（Bag-of-Words）厲害多了，能幫我們剪掉「的」、「是」、「在」這種毫無情報量的字，卻還是只盯字，不看句子整體在說什麼。舉例來說，「立即申請政府補助」聽起來很像詐騙，但「政府通知：補助金到期」卻可能是官方公告；TF-IDF 只看到「政府」、「補助金」、「申請」、「到期」這幾個字都有出現，卻分不出到底是在騙你點連結，還是真要你去填表單。

此外，TF-IDF 的另一項挑戰是「同義詞」。「領取」和「拿取」明明意思差不多，可是在字典裡卻是兩個截然不同的詞彙；若詐騙集團把「領取補助」改成「拿取補助」，TF-IDF 雷達可能就失靈，因為它只認「領取」這個字有權重。這種只靠字面頻率，卻不會「理解」同一個意思可以有 N 種說法的模型，就好比拿著放大鏡只看字跡，卻不懂一句話的含意，面對老司機級的花招百出，常常只能眼睜睜看他過關。

這不禁讓我們思考，如果我們想要更進一步，就必須讓電腦不只「看到」、「理解」字詞，而要「懂句子」，深入語意分析的世界。想像你和朋友聊天，哪怕他換個措辭、加個口頭禪，你還是一秒明白他的意思；但 TF-IDF 就像只會認字不會聽話的機器人，永遠無法感受前後語境。為了解這些微妙差別，現代智能防詐系統才會導入能捕捉整句意圖的句子向量模型，讓「相似意思」比「相似字面」更有分量。

不過，TF-IDF 也並非完全沒用，它在巨量文件快速檢索、初步篩選時，依然是超級實用的第一道防線。你可以把它想像成夜市裡的路燈：先把大部分無關的攤位照亮過濾掉，再靠後面更精準的語意雷達（像 Sentence-BERT）去鎖定真正的詐騙陷阱。這樣「路燈＋雷達」雙管齊下，才能在速度與準確度之間取得最佳平衡，既不讓你等太久，也不放過任何陰險的文字陷阱。

所以，下次當你看到那句「請點此補助領取」時，別只靠關鍵字嚇自己一跳，而是交給 AskSense 這種懂語意的防詐小幫手，先用 TF-IDF 快篩，再用語意模型精判，讓詐騙無所遁形，保護你我的荷包與個資安全吧！

總結：從看到「字詞」到理解「語句」的進化之路

Bag-of-Words 和 TF-IDF 真的是文字向量化的兩大基石，像是語言世界的入門法寶。Bag-of-Words 速度快、實作簡單，能讓電腦第一次「看見文字裡有那些字」。TF-IDF 則進一步教它「哪些字比較重要」，把詐騙關鍵字放大、把虛詞縮小，效果立竿見影。

然而，當詐騙集團換個同義詞、調整句型或多加幾個贅詞，Bag-of-Words 會傻眼，TF-IDF 也只能抓到重要字，卻抓不到「這句話到底想騙你什麼」。就好比只知道食材清單，卻不知道料理步驟，做出來的菜口味肯定不對。

這就是為什麼我們的智能防詐 AskSense 不再只靠這些早期技術，而是進一步使用能真正理解句子語意的模型（像是 Sentence-BERT）把每一段話的「意思」也考慮進去，才能更精準地抓出那些偽裝得漂漂亮亮的詐騙訊息！

下一篇，我們將接續介紹 Sentence-BERT 為什麼革命性突破向量化，讓防詐系統升級，變得又快又準！想一起繼續冒險？ Let’s go! 🔥 

Comments

Post a Comment

Popular posts from this blog

【新聞挖掘工坊：第 2 篇】Google News RSS 祕密通道：怎麼抓新聞連結？

-
開啟 RSS 密道的初衷 那天，我們在討論如何快速收集海量新聞時，無意間發現 Google News 提供的 RSS 功能就像一條隱藏的捷徑。這條捷徑並非一般人手機、電腦上常用的新聞推播，而是基於開放標準的資訊分發管道。對於想要系統化蒐集新聞的我們來說，RSS 就像從地圖上挖出了一條秘密通道，能讓我們不必再一條條打開網站。 當我們第一次點入 RSS 的連結，映入眼簾的是一長串 XML 格式的內容，裡頭包含著最新的標題、摘要、連結與發佈時間。雖然對一般使用者而言顯得有些「科學怪人」，但對資深的數據偵探來說，這些條目就是每天新鮮出爐的「情報清單」。於是，我們決定用程式自動去讀這份清單，替後續的大規模分析打下基礎。 更妙的是，RSS 這條密道還有一個好處：它不需要登入、沒有人機介面互動，就能定時更新。只要我們把 RSS 的網址丟到程式中，它便會在固定間隔自動拉取最新條目。如此一來，我們不必再手動刷網頁，也能將所有符合關鍵字的新聞一網打盡，讓自動化腳本化身最貼心的「情報小幫手」。 RSS 的力量：從資訊洪流中擷取重點 在正式投入程式撰寫之前，我們先思考了一件事：每天媒體發出的新聞量龐大，要是從各個網站手動複製標題和連結，肯定力不從心。RSS 的出現，就像在資訊洪流中架設了一台水車，只要你預先定義好水車的濾網，源源不絕的資料就會被自動收集下來。 接著，我們將這條 RSS 線路視為「每日固定包裹」，包裹裡裝著符合「台灣警政」等條件的文章摘要。每次程式啟動，它就會向那條管道發訊號，取回最新的條目列表。從 JSON 轉成 DataFrame，再把每一列的  link  欄位存入清單，就是我們蒐集工作的第一步。這樣的做法不僅穩定，也避免了直接爬取所有媒體首頁所帶來的反爬風險。 值得一提的是，RSS 還能大幅減少網路流量與運算負擔。一般爬蟲要下載整頁 HTML，解析後再擷取標題與摘要，十分耗時。使用 RSS，我們只需要處理輕量化的 XML 結構，就能把重點欄位提取出來，真正做到「按需取材」，讓程式運行更有效率，也能更快地進入下一個分析階段。 when="1y" 的陷阱：粗篩無法滿足需求 帶著對 RSS 的信心，我們首先嘗試了 pygooglenews 套件提供的  when="1y"  參數，想要一次抓取過去一整年的新聞。理論上，一年內所有與警政...
Read more

【統計抽樣 × NLP 節能分析：第 3 篇】階層、系統、叢集：三大抽樣法一次搞懂

-
 分層抽樣的核心理念 分層抽樣就像先把一籃水果按顏色分好層，再從每一層挑選代表性的水果，確保不同類型的樣本都能被涵蓋。當新聞內容在犯罪類型或來源媒體上分布不均時，分層的概念能讓我們在每個重要子群中各自抽樣，以維持整體分析的平衡。 這種方法特別適合當母體中存在明顯差異時，而我們希望每個子群都有足夠的代表性。對於台灣刑案新聞來說，不同年份、地區或媒體可能呈現出不同的議題焦點，若未做分層，隨機抽樣可能過度集中於某些熱門報導，忽略其他關鍵線索。 分層抽樣也能靈活運用在分層標準的選擇上，研究者可依照分析目標決定分層依據，無論是時間、地理、案件種類等因素，都可以成為分層的維度。透過這一步驟，我們在抽樣前就已經預先考慮到資料的多樣性，讓後續的NLP分析更具代表性與全面性。 系統抽樣的操作流程 系統抽樣的做法猶如在整個資料集中，以固定間隔撿取樣本，彷彿每第二十篇新聞就是我們的研究對象。首先需要為每篇新聞排序，這個順序可以依照時間、編號或其他有意義的指標，確保抽樣的規律性。 一旦確定間隔值後，只需隨機決定一個起始位置，接著按照固定步長逐篇取樣即可。這樣的設計省去了繁複的隨機機制，快速且易於在程式中實踐，非常適合當新聞量龐大且排列規律時使用。 然而，系統抽樣也帶來週期性偏誤的風險。若新聞在某個週期內具有相似性，例如同一時間段的重大事件或系列報導，可能會影響樣本多樣度。因此，在排序方式與間隔設定上，需要謹慎評估，以避免取樣結果產生意外的偏差。 叢集抽樣的實戰考量 叢集抽樣有如先把所有新聞分成好幾個群組，再隨機挑選少數群組進行全面分析。若將每週或每月作為一個叢集，則只需對選中的週期內所有新聞做NLP處理，就能節省大量前置抽樣的成本。 這方法對於時間序列資料特別有效，因為它保留了群組內完整的內容脈絡，讓我們可以在同一時段內觀察新聞議題的變化與趨勢。對於想解讀事件發展動態的讀者，也能提供更連貫的分析視角。 該策略的挑戰在於群組劃分的合理性與選取比例。若每個叢集內差異過大，或是挑選的群組數過少，都可能導致分析結果的偏頗。因此，在實作前，須評估叢集規模是否與研究目標相符，並考慮結合其他抽樣方法加以補強。 三大抽樣方法的優劣比較 分層、系統與叢集三種方法各有特色，分層能精準照顧到不同子群，系統具備簡便且可編程的優勢，叢集則在群組內保留豐富資訊。但在實務操作中，單一方...
Read more

【統計抽樣 × NLP 節能分析：第 2 篇】你需要抽多少？輕鬆算出樣本數

-
抽樣計算的核心：從理論到實踐 在任何抽樣設計中，樣本數的決定都關乎結果的可信度和資源的斟酌。理論上，我們追求的是真實母體特性的最佳預估，卻又不希望為此耗費不必要的時間與電力。這就像選擇看電影，我們不需要花一整天去看每一部評價影片，而是透過影評或預告片挑出最值得觀賞的那幾部。 從統計學角度而言，樣本數不僅決定了估計值的穩定性，更代表了我們對結論的自信程度。抽樣公式中的參數彼此牽動，一旦調整，就會影響到後續分析所需的工作量。當我們用簡單卻強大的公式計算出約千篇的樣本數，就能在節省資源的同時，保留足夠的精確度。 理論的美妙在於它能讓我們在現實操作時，有據可依，也有彈性可調。當你理解了信心水準與誤差界限的角色，就能在不同場景下，靈活選擇所需的樣本規模，既不浪費，也不妥協。 信心水準與誤差界限的意義 信心水準是我們對結論可靠程度的背書，代表著在相同條件下，重複實驗後有多少機率能涵蓋真實值。選擇95%或99%信心水準，其實是兩種不同的信念：前者在多數情境下已足夠，而後者則在要求更高時才會使用。這種選擇背後，反映了我們願意為更大確定性付出多少額外樣本。 誤差界限則是對偏差範圍的宣告，它告訴我們抽樣估計可能與真實母體相差多少。當設定3%誤差時，我們允許結果在母體比例上下浮動這麼多。若將誤差調小，樣本數必然攀升，正如在鏡頭下看全球地圖，解析度越高，需要的像素就越多。 這兩者合力決定了最終樣本數，並構築出一個可量化的風險與資源分配框架。當我們換一種視角，將抽樣比作拍照對焦，就能更直觀地感受：信心水準是快門快慢，誤差界限是畫面清晰度，二者調和後，才能捕捉到最理想的瞬間。 無限母體樣本數的數學推導 在假設母體無限大的情況下，樣本數公式能夠以最直接的方式呈現。這個公式以信心水準的Z值、母體比例的保守估計，以及誤差界限為主要變數。當我們選擇最保守的母體比例0.5，其實是為了在不確定性最高時，也能保證估計的穩健性。 運算過程看似複雜，但其本質是衡量樣本變異度與誤差容許度的平衡。Z值對應著信心水準的嚴謹度，而誤差界限則映射了我們對離散性的容忍度。當你帶入1.96、0.5和0.03，就能得到「無限母體樣本數」大約1067的結果。 理解這個推導過程的意義，在於掌握樣本數與信心、誤差三者之間的數學關係。它讓我們在進行實際計算前，先理解背後的邏輯，進而避免盲目套用工具，而是成為公式的...
Read more