ContactLoop

內部上手指南 · 請先登入

沒有密碼?請向管理員索取。

工具

監控儀表板怎麼看

團隊有一個監控儀表板(CLP Monitor),集中顯示 SW 與 Ava 各環境的機器數據:服務有沒有在跑、佇列有沒有積壓、資料庫和快取吃不吃緊、簡訊供應商的帳號狀態等。它是唯讀看板,不會改動任何系統,放心點、放心切。網址和登入方式請向主管索取。

這頁是寫給不是工程師的人(PM、QA、新人)看的。你不需要懂每個技術名詞,只要學會回答三個問題:這個紅色是真的有事嗎?、客戶會不會感覺到?、要不要通知人?

1. 最重要的一件事:紅色「異常」標籤只看「最後一個點」

每張圖標題前的小標籤(正常 / 注意 / 異常),只看圖最右邊那一個點有沒有碰到紅線。它不知道現在是不是每天固定的忙碌時段,也不管這個狀況持續了多久。所以每天中午到傍晚,常常會一整排紅,大部分是正常的。標籤是「提醒你看一下」,不是「已經出事」。

🔍

實例:為什麼下午三點這三張圖都是「異常」?
・Horizon 機器數、ECS 服務容量:綠線在最右邊衝到 30、碰到紅色虛線「max 30」。30 是最多能開的台數,碰到上限就被標紅。但看整張圖:前一天下午也是 30、晚上慢慢降回個位數 —— 這是每天中午固定把機器開滿,準備處理每日排程的大量工作,是安排好的。
・Trigger 佇列等待:綠線在最右邊衝到 700–800 秒,超過紅線 300 秒。這是「每日工作排隊要等多久」,每天中午開跑後排隊時間會拉長。看最左邊:前一天同一時間也衝到快 1,000 秒,一小時內就降回 0。
結論:三張都是每天的固定型態,不用處理。
一天的節奏長這樣(台灣時間,以 2026-10 上旬實際資料為例):約 11:30 機器先開到上限(先準備好人手)→ 13:30 起工作開始大量進來 → 15:00 左右排隊最多 → 16:15 左右排完 → 約 17:30 才開始慢慢減少機器,一路降到晚上 22:30 左右剩個位數。所以白線會在高處停將近 6 小時,中間真正忙的是 13:30–16:15。這是安排好的,不是機器降不下來。
⏰ 這個排程是照美國時間設定的,美國夏令時間結束後(11 月初起),整段在台灣時間會晚 1 小時,不要以為是異常。
要擔心的是:過了傍晚還不降,或是比前一天同時段高很多、而且還在往上爬。

小技巧:點圖例(圖上方的色塊名稱)可以隱藏 / 顯示那條線,有刪除線的就是被隱藏了 —— 線很多時,一次只留要比的兩條最清楚。滑鼠停在標籤上,會顯示它是因為哪條線、哪個數字被判紅;停在圖上,會顯示那個時間點的台灣 / 美西時間和數值。把時間範圍切到 24h 或 3d,就能拿今天跟前幾天同一時段比。

2. 看到紅色時,問自己三個問題

flowchart TD
  A["看到紅色標籤"] --> Q1{"① 現在是不是<br>每天的忙碌時段?<br>(圖上淡灰底色)"}
  Q1 -->|是| Q1b{"前幾天同一時段<br>也長這樣嗎?"}
  Q1b -->|是| OK["固定型態,不用處理<br>傍晚再看一次有沒有降"]
  Q1b -->|比平常高很多| W["值得注意 → 第 6 節"]
  Q1 -->|不是| Q2{"② 是一下子<br>還是一直這樣?"}
  Q2 -->|一下子就回來| OK2["短暫波動,不用處理"]
  Q2 -->|持續 15 分鐘以上| Q3{"③ 是第 3 節<br>「客戶會感覺到」的那幾種嗎?"}
  Q3 -->|是| NOW["立刻通報 → 第 6 節"]
  Q3 -->|不是 / 不確定| W

文字版。① 現在是每日忙碌時段(淡灰底色,約台灣 12:00–17:00)嗎?是的話,跟前幾天同時段比,一樣就沒事。② 不是忙碌時段的話,是一下子就回來,還是持續 15 分鐘以上?一下子的不用管。③ 持續的話,對照第 3 節,是「客戶會感覺到」的就立刻通報,其他的整理好再回報。

圖上的底色意思
淡灰(約台灣 12:00–17:00)每日忙碌時段:系統在跑每天固定的大量工作(美國那邊是半夜)。數字衝高很正常,客戶通常感覺不到。
深灰(約台灣 22:00–翌日 06:00)美國上班時間:客戶正在用。這段出問題客戶會直接感覺到,要特別留意。
頂部狀態帶的空白格那 5 分鐘沒收到資料。不是「沒事」,是「不知道」。一大段空白要回報。

3. 客戶會感覺到的:看到就立刻通報

圖上看到白話客戶會怎樣
ALB Target 健康度的 healthy 掉到 0能接客的網站機器一台都沒有網站 / 系統打不開
ALB 的 p95 持續超過 3 秒(15 分鐘以上,單根尖峰不算),或 5xx 暴增且同時 healthy 掉到 0大部分人的頁面要等 3 秒以上;或系統大量回錯誤很慢、按了沒反應、出現錯誤頁
ECS 服務容量:desired 和 running 兩條線一直分開、合不起來「想要幾台」和「實際有幾台」對不上 —— 機器開不起來越來越慢,最後可能整個停擺(曾經因此中斷好幾個小時)
非忙碌時段,Queue Wait 的 high / highest 超過 300 秒紅線緊急的工作排隊超過 5 分鐘,可能開始有工作逾時失敗(對照「錯誤計數」的佇列逾時確認)簡訊、回覆、通話延遲或沒發出去
客戶流程 Flow:交接處一邊變 0、另一邊還在動;或即時觸發(realtime)有積壓SW 送出去了但 Ava 沒收到(或反過來);即時的工作卡住新名單進來沒有收到第一則訊息
Twilio:出現 32005 / 10005 或 disabled = yes電信商把某個帳號的打電話功能關掉了(就算標的是 warning 也是真的)那個帳號的客戶打不出 / 接不到電話

4. 值得回報、但不用半夜叫人的

  • 忙碌時段過了(傍晚以後)數字還不降,或比前幾天同時段高很多、還在爬。
  • Trigger 佇列長度一直往上漲,但旁邊的 worker 數沒有跟著增加 —— 代表系統沒有自動加人手。這個曾經導致暫存區被塞爆、整個系統出問題,如果在中午到傍晚看到,請不要等。
  • 資料庫的死鎖(deadlock)大於 0:兩件工作互相卡住,其中一件被系統取消了 —— 代表有工作失敗。
  • 錯誤計數裡的 blacklist 失敗大於 0:勿擾名單(DNC)檢查沒做到,有合規風險。
  • 搜尋引擎(Elasticsearch)狀態變 red,或寫入量掉到接近 0、但搜尋量還正常:資料寫不進去,查得到的會是舊資料。
  • 頂部狀態帶一大段空白:監控本身沒收到資料,我們看不到系統狀況。

5. 常見的「看起來很嚇人,其實沒事」

你看到的為什麼沒事
中午開始機器數衝到上限(30)、各種線一起衝高每天固定把機器開滿處理每日工作(見第 1 節實例)
Trigger 佇列等待:每天下午 daily wait 衝過「300s job timeout」紅線,最高到 1,000 秒左右每日工作排隊的固定型態(約 14:00–16:00 超過紅線,16:00 左右回到 0)。紅線名字叫「job timeout」容易嚇到人,但實際對照近 3 天的資料,這段時間「錯誤計數」裡的佇列逾時是 0,沒有看到工作因此失敗。要擔心的是傍晚以後還降不回 0,或同時「錯誤計數」裡的佇列逾時明顯變多。
RDS Serverless v2 reader:ACU% 永遠是 100%、永遠「異常」這是資料庫的「唯讀分身」。它被固定在一個容量,這個百分比的算法讓它永遠顯示 100%,所以標籤永遠是紅的 —— 這張圖不能拿來判斷健康(圖的說明也寫了「別再拿它判斷健康」)。近 3 天的資料是一條完全平的線,實際查詢量幾乎是 0,客戶不受影響。工程師已在 2026-10-05 結案追蹤,看到它紅可以忽略。
ALB p95 回應時間:標籤常在「注意」和「異常」之間跳,線大多在 1–3 秒、三不五時冒一根超過 3 秒這是過去一個月的常態(2026-09 至 10 月初:每天約一半以上的時間高於 1 秒「正常線」、約 2–10% 的時間單點超過 3 秒)。標籤只看最後一點,所以剛好落在尖峰上就會變紅、下一輪又回到「注意」。要看的是「突然比平常高很多,而且持續」,例如整段停在 3 秒以上 15 分鐘以上。
⚠️ 但 5xx 出現高柱時不要忽略:對照同時段「ALB Target 健康度」,如果 healthy 掉到 0,就是真的對外中斷,即使幾分鐘就恢復也要回報。
「daily delayed」有幾百萬筆那是預約在未來才做的工作,不是塞車。圖的標題也寫著「幾百萬是常態」
每個整點某條線跳一下整點固定有資料進來,幾分鐘內就消化完
ECS 服務容量:某個時段兩條線一直合不起來先看是不是比錯線。這張圖同時畫了兩個服務(horizon、backend),各有 desired / running 共 4 條線,顏色很接近。要比的是同一個服務的兩條:horizon desired ↔ horizon running、backend desired ↔ backend running。拿 horizon running 去比 backend desired,本來就不會一樣(一個是背景工人、一個是網站機器)。圖例上有刪除線的代表被點掉隱藏了,再點一次就會出現。實際查過近 3 天的資料,同一服務的兩條線最長只差約 3 分鐘(擴縮過渡)。
有工程師在部署時,線短暫分開、亮一下紅換版本的過渡期,幾分鐘就回來
圖上寫「Maximum」的那條線越過紅線紅線是給「Average 平均」用的;Maximum 是瞬間最高值,本來就比較高
STG 頁很吵、常有尖峰STG 是測試環境,通常是有人在測。客戶看不到
Ava 頁某些錯誤線永遠是 0(例如 blacklist)那是 SW 才有的功能,Ava 本來就沒有這筆資料。不代表 Ava 合規沒問題
Datadog 有一堆「No Data」大多是被暫停的檢查,根本沒在跑
Fin 今天的金額寫 Estimated、昨天的還在變雲端帳單隔天才結算
很久以前的圖是空的那時還沒開始收這個數據。空白是「不知道」,不是「當時很健康」

6. 有問題時怎麼做

  1. 先照第 2 節的三個問題判斷,排除資料中斷、批次窗口、部署過渡。也可以到「排程」頁看那個時間有沒有已知排程。
  2. 展開那張圖的「完整判讀」,很多圖都寫了下一步要看哪張圖一起判斷(例如容量線要配待啟動數、回應時間要配健康主機數)。
  3. 截圖時把時間範圍和分頁名稱一起截進去,記下開始時間(台灣時間)和現在是否還在持續。
  4. 通報:(通報管道與聯絡人待補)
⚠️

不要自己動手修 production。儀表板是唯讀的;重開服務、調整容量、刪資料都由負責的工程師處理。你的任務是早一點發現、講清楚看到什麼。如果是客戶尖峰時段(深底色)出現對外中斷的跡象(健康主機數 = 0、回應時間 > 3 秒、5xx 暴增),請不要等,立刻通報。

💡

看不懂也是有價值的回報。這個儀表板還在持續改進,如果某個名詞、某張圖看不懂,記下來回報給維護的人 —— 它直接告訴團隊哪裡標示得不夠清楚。

名詞白話對照

圖上寫的白話
desired / running系統「想要」開幾台機器 / 「實際」開了幾台。兩條線疊在一起 = 正常
task、worker processes、Horizon幫忙在背景做事的機器 / 工人(發簡訊、處理名單…)
max 30(紅色虛線)最多允許開幾台
Queue(佇列)/ Wait / Length待辦工作的排隊隊伍 / 要排多久 / 隊伍多長
delayed預約在未來才要做的工作(不算排隊)
Trigger(daily / realtime)依 Segment 規則觸發的工作;daily = 每天固定跑一次,realtime = 名單一進來就跑
Redis暫存區,放排隊中的工作和快取資料。塞滿了工作會寫不進去
RDS資料庫,存聯絡人、對話等正式資料
Elasticsearch(ES)搜尋引擎,Contacts / Actions 頁的查詢靠它
ALB、healthy / unhealthy網站的總機,把使用者分配到網站機器上 / 能接客的、不能接客的機器數
p95「100 個人裡第 95 慢的人」等了多久 —— 代表大多數人的感受
5xx系統內部出錯的回應
Average / Maximum平均值 / 瞬間最高值。紅線看 Average
CLO / CL1 / STG外部正式環境(真客戶)/ 內部正式環境 / 測試環境

分頁導覽:要看什麼去哪一頁

分頁看什麼
CLO / CL1SW 的外部 production / 內部 production:服務容量、佇列、快取、資料庫、網站回應、搜尋引擎
AVA CLO / AVA CL1Ava 的外部 / 內部 production,同一套圖
STGStaging。流量來自 QA 和開發,不是客戶
Twilio簡訊 / 語音供應商所有帳號的狀態:語音有沒有被關、告警代碼、通話失敗數
Datadog各告警監控的狀態總表,以及應用錯誤、5xx、逾時工作的摘要
客戶流程 Flow「建立聯絡人」這條主流程從進來到送出,每一段有沒有在動
排程 Schedule、維護時段 Hours每天固定什麼時候有批次、擴縮、備份 —— 判斷「這個尖峰是不是排程造成的」先來這裡;Hours 則建議哪個時段適合維護
差異 Diff各環境的資料庫、索引、版本、設定並排比較。紅 = 型別衝突、部署會出事;黃 = 某邊有某邊沒有
系統資訊、架構、資料、Fin、待辦裝置盤點、整體架構圖(新人了解系統很好用)、資料容量與備份、雲端成本、團隊待辦。日常判斷健康度用不太到
問診 Chat勾選資料來源後用文字問「現在狀況如何」。模型只看得到勾選的來源 ——回答出現你沒勾的數字,就是它在編。勾越多越慢,等 1–5 分鐘是正常的
進階:給工程師的完整判讀對照(含資料庫、快取、搜尋引擎細項)

共通元素

元素怎麼讀
頂部狀態帶過去 24 小時,每格 5 分鐘。
・空白格 = 那 5 分鐘沒收到資料,是「記錄中斷」,不是「沒事」。
・琥珀 = 重要佇列開始積壓;紅 = 積壓超過工作逾時,或關鍵服務掉到 0 台(依分頁不同)。
・點任一格,下面的圖會跳到那個時段前後各 30 分鐘。
圖上的灰色底色只是時間脈絡,不是健康狀態(所以刻意不上彩色):
・淡底色 = 每日批次窗口(約台灣 12:00–17:00):每日的大量排程工作在這時跑,各種數字衝高是常態,客戶通常無感。
・深底色 = 美國白天客戶尖峰(約台灣 22:00–翌日 06:00):客戶有感的時段,這時要特別盯「服務有沒有在跑」和「網站回應時間 / 錯誤」。
每張圖的狀態標籤「讀取中」= 還在載;變成彩色(例如「注意」)才是要看的;「無門檻」= 這張圖還沒量出可靠的基線,刻意不畫門檻線 —— 看形狀和趨勢,不要自己套數字。

時間軸是台灣時間(滑鼠停在圖上可看美西時間),頁面每 30 秒自動更新。上方可切 1 小時到 7 天的範圍。

逐項:真的有問題的型態

看哪裡正常有問題的型態
服務容量(要幾台 vs 實際幾台)兩條線重疊;短暫分開是擴縮中兩條線持續分開、不收斂 = 擴不起來。曾經造成數小時的對外中斷
待啟動數(Pending)貼著 0;部署時偶爾冒一下持續 > 0 而實際台數不動 = 服務一直起不來
佇列等待時間(高優先)接近 0 秒> 1 分鐘開始積壓;> 5 分鐘會超過工作逾時,工作直接失敗
每日 trigger 佇列 + 工作台數每天中午衝高,約一小時內排掉長度一路墊高,但工作台數沒跟著上去 = 自動擴縮沒觸發,要人工介入。曾經因此把快取塞爆
快取記憶體< 70%;觸頂但「逐出數」同步上升 = 正常回收≥ 95% 但逐出數沒跟上 = 塞滿了清不掉的東西,寫入會直接失敗;多個節點的線分岔 = 複寫異常
資料庫 CPU / 負載平均 < 70%(批次時偏高屬常態)平均 > 85% 持續;「每顆 CPU 的活躍連線」平均持續 ≥ 1.0 = 吃滿
資料庫死鎖0> 0 就是事故:交易已被回滾,代表有工作失敗了
資料庫複寫停止旗標0= 1 持續 10 分鐘(短暫一下見第 5 節)
網站健康主機數健康數 = 執行中數,不健康 = 0健康數 = 0 = 對外中斷;健康數持續少於執行中數
網站回應時間 / 5xxp95 < 1 秒1–3 秒劣化;> 3 秒嚴重;5xx 每 5 分鐘明顯變多
錯誤計數佇列逾時維持在日常背景值佇列逾時明顯上升;黑名單(DNC)檢查失敗 > 0 = 合規風險
搜尋引擎(ES)叢集綠燈、拒絕數 0、4xx/5xx 平穩red = 硬故障;拒絕數 > 0 = 已飽和;4xx/5xx 連續兩格越線(這組響了就是真問題);寫入量掉到接近 0 但搜尋量還在 = 寫入路徑壞了;磁碟餘裕低於 10% 線
主機狀態檢查0= 1 是機器層級故障,不是負載高,看到就要處理
Twilio語音被關告警為 0、disabled = no出現「語音被關」告警(32005 / 10005)或 disabled = yes。注意 32005 本身等級是 warning,warning 不代表沒事
客戶流程 Flow每一段都有在動交接處一邊變 0、另一邊還在動;即時觸發佇列有積壓(客戶當下就受影響)

逐項:看起來異常但沒事

你看到的為什麼沒事
淡底色時段裡各種數字衝高(台數、佇列、資料庫 CPU)每日批次窗口的已知型態。要看的是窗口結束後有沒有回落
每天中午 trigger 佇列衝到很高每日排程開跑,一小時內排掉就正常。工作台數上去後長度還漲一下也正常(每筆工作會再派出新工作)
「延遲中 delayed」的工作有幾百萬筆那是排在未來執行的工作,不是積壓。真正的積壓看「等待中 waiting」
每個整點佇列跳一下整點的資料上傳 / 重新平衡,幾分鐘內清空屬預期
部署時容量線短暫分開、待啟動數冒一下、健康主機數暫時變少滾動部署的過渡態。要看有沒有「持續」
某條「Maximum」線越過門檻門檻只對 Average 有效。Maximum 是瞬間最大值,天生比較高(例如搜尋引擎記憶體的 Max 天天摸到門檻)。這個誤判團隊踩過好幾次
資料庫 swap 大於 0swap 是存量不是速率,大多數主機都 > 0。只有「swap 持續增加 + 可用記憶體很低」才是真壓力
「被阻塞的交易」常常 > 0正常的等鎖。只有死鎖 > 0 才是事故
複寫停止旗標短暫出現 -1每週例行維護時會出現,刻意設計成不告警
某條告警線一直是 100%、一直響有些比例指標的設計本來就會貼頂(圖下說明會寫「不要再拿它判斷健康」),改看旁邊的實際值
低流量環境的回應時間、搜尋延遲忽高忽低樣本少,一個慢請求就會讓線跳起來,不代表容量問題
STG 的尖峰、錯誤很吵通常是有人在測或灌測試資料。STG 的價值是部署前後對照:平常吵吵的曲線突然變成持續的高原,才是真的壞了
某些錯誤線在 Ava 頁永遠是 0(例如黑名單、佇列逾時)那是 SW 才有的功能,在 Ava 是「無資料」。不要讀成「Ava 合規檢查正常」
Datadog 有一堆「No Data」大多是標了「已暫停」的檢查 —— 檢查根本沒在跑,不是服務沒回應
Twilio 告警的「內容」欄空白、或只掃了少數帳號供應商本來就沒填說明;「focus 掃」只掃部分帳號,完整資料等下一輪(約 15 分鐘)。數字後面有「+」代表被截斷,不是確切值
Flow 頁某些數字比預期小,或 CLO 是 CL1 的兩倍那是日誌事件數,不是筆數(一個工作可能帶很多聯絡人);排程類數字只證明排程還活著;兩台主機都跑排程會變兩倍。超過 5 分鐘沒更新的讀數會變黃底,不要當現在的值
Fin 今天的成本是 Estimated、昨天的還會變雲端帳單隔天才結算,本來就會變
很早以前的圖是空的很多指標是後來才開始收的。更早的空白是「盲區」,不是「當時健康」