2019年11月，Milkie Way公司開始開發(fā)一個叫Announce的產(chǎn)品。
2020年3月，這家初創(chuàng)公司就差點兒破產(chǎn)關(guān)門。

一個云上的小測試項目，使用了數(shù)據(jù)庫和Serverless服務(wù)，幾個小時，在1000個實例上進(jìn)行了1160億次讀取和3300萬次寫入，他們不小心燒掉了將近72000 美元（折合人民幣約47萬元）！

EXO ME ？？？？？？？

我們大概講過一萬次（bushi）：用戶用云是有一定的學(xué)習(xí)成本和難度的。在應(yīng)用和基礎(chǔ)架構(gòu)，加上豐富多樣的云產(chǎn)品和服務(wù)之間，是存在GAP的。

但一直沒有合適的案例。

這次的「Milkie Way公司破產(chǎn)未遂事件」，當(dāng)事人Sudeep Chauhan的一手復(fù)盤分析和經(jīng)驗總結(jié)，我們覺得非常有代表性和參考性，值得跟大家分享。

盡管文中的示例是關(guān)于GCP（Google Cloud Platform）的，但所有云服務(wù)都具有相似的功能，只不過具有不同的名稱、價格和使用策略。

事情是怎么發(fā)生的？

作為一家初創(chuàng)企業(yè)，一開始團(tuán)隊就是簡單快速創(chuàng)建了MVP（最小可行性產(chǎn)品），把產(chǎn)品部署在Google App引擎上。工作的重點都放在寫產(chǎn)品代碼和UI設(shè)計上，對云的關(guān)心程度僅限于“能用就行”。

這，就為后面發(fā)生的事情埋下了導(dǎo)火索。

2020年，隨著新冠疫情的爆發(fā)，Sudeep Chauhan認(rèn)為這可能是他們的產(chǎn)品走向世界的好機(jī)會。于是，創(chuàng)建了Announce-AI項目。

團(tuán)隊在沒有徹底研究清楚Cloud Run（Serverless服務(wù)）到底是怎么個玩法的情況下就在上面部署了“測試版”Announce-AI，想看看效果怎么樣。

由于這個測試版只是一個非常小的站點，所以團(tuán)隊選擇了Firebase的數(shù)據(jù)庫。

他們創(chuàng)建了一個新的GCP項目，設(shè)置了7美元的云資源使用預(yù)算，選擇了Firebase免費計劃，想著最壞不過是超過每天的免費額度（該計劃免費提供5GB的存儲空間，以及每天免費提供5萬次讀取和2萬次寫入操作）。

3月26日，一切都很好。
到了第二天晚上，噩夢就開始了。
Sudeep Chauhan在郵箱中發(fā)現(xiàn)了幾封來自GCP的提醒郵件：
第一封郵件：您的Firebase Project已自動升級為收費賬戶。
第二封郵件：您在GCP的7美元云資源使用預(yù)算已超支。
第三封郵件：由于信用卡支付失敗，您的GCP賬戶已暫停使用。

由于Sudeep Chauhan的信用卡設(shè)置了100美元的消費限額，他以為此時此刻的花費最多不過100美元。
然而，他登錄后臺查看賬單時卻看到一張約5000美元的賬單。

就在他還在思考如何付清這筆“巨款”的時候，更可怕的事發(fā)生了：賬單金額還在不停增長！

5 分鐘后，賬單顯示15000美元。
20分鐘后，賬單顯示25000美元。

…………

他整個人都懵了。

直到兩個小時以后（這大概是他人生最漫長的兩個小時，期間，他們禁用了計費功能，并關(guān)閉了所有服務(wù)），賬單金額最終停在接近72000美元。

由于在所有GCP項目中都綁定了相同的銀行卡，因此他們所有的帳戶和項目都已被Google暫停。
產(chǎn)品開發(fā)工作被迫停止，公司前途未卜。
他開始瘋狂研究破產(chǎn)法，因為，沒錢。

他們到底做錯了什么？

他們主要犯了兩方面的錯：
一、在云上部署了有缺陷的算法；
二、對GCP產(chǎn)品和服務(wù)的認(rèn)知不足，使用默認(rèn)選項。

(一). 有缺陷的算法

團(tuán)隊使用POST請求將URL作為數(shù)據(jù)發(fā)送到某一實例，且并發(fā)使用多個實例以替代串行使用單一實例（這是發(fā)揮云上彈性優(yōu)勢的常見操作）。由于Cloud Run的處理操作能夠精確到毫秒，所以全部頁面都將得到并發(fā)處理，整體性能得到了高度優(yōu)化。

但在具體的編碼過程中，由于缺少break語句，實例無法中斷。而POST請求可以具有相同的URL，如果其中存在指向上一頁的反射鏈接，那么Cloud Run服務(wù)就會陷入無限遞歸中，而且這個遞歸會呈指數(shù)增長。

團(tuán)隊將最大實例數(shù)設(shè)置為1000，這意味著當(dāng)測試開始后，這1000個實例會不斷進(jìn)行查詢，并且每幾毫秒就向Firebase數(shù)據(jù)庫寫入一次。高峰時，F(xiàn)irebase每分鐘的請求數(shù)甚至高達(dá)10億個。

24小時內(nèi)，Cloud Run進(jìn)入后臺進(jìn)程，在1000個實例上，一共消耗了16022個小時。

最終，在賬戶被GCP停用前，該項目共執(zhí)行了1160億次讀取和3300萬次寫入。而Firebase上的讀取成本是每十萬次0.06美元，僅此項花費就接近7萬美元。

(二). 不了解GCP產(chǎn)品和服務(wù)

1、不了解Firebase就直接用了，也沒注意賬戶會自動升級成付費賬戶

Firebase不是一種可以學(xué)習(xí)的語言，是Google提供的一種Serverless服務(wù)，有特定的規(guī)則，而不是由自然法則或特定用戶可能會認(rèn)為的規(guī)則來定義。

而且雖然他們使用的是Firebase的免費計劃，但他們并沒有注意到GCP剛剛更新了和Firebase的深度集成，一旦接受了GCP項目的結(jié)算條款，F(xiàn)irebase賬戶默認(rèn)可以自動升級為付費賬戶。

2、不知道GCP賬單有延遲

團(tuán)隊過于依賴GCP自帶的預(yù)算超支通知，由于需要先進(jìn)行結(jié)算，該通知在結(jié)算完成后才會發(fā)出，當(dāng)預(yù)算超支，觸發(fā)云功能關(guān)閉的時候，大量賬單費用已經(jīng)產(chǎn)生了。

3、沒有意識到Firebase儀表盤數(shù)據(jù)存在延遲可能造成的后果

雖然Firebase控制臺文檔明確表明儀表板數(shù)字和GCP賬單數(shù)據(jù)略有不同。但在發(fā)生每分鐘10億次請求時，這個延遲將非常致命。

4、信用卡支付限額并不能阻止巨額賬單的生成

GCP的賬單結(jié)算與支付之間同樣存在延遲，因此100美元的信用卡支付限額并不能阻止巨額賬單的生成。當(dāng)GCP發(fā)現(xiàn)無法扣款后，用戶賬號被停用，但此時已經(jīng)產(chǎn)生了大量的欠費。

完美的故事結(jié)局

幸運的是，他們還活著。
在等待、咨詢、冗長的電子郵件和查找BUG上花費了無數(shù)的時間后，Google最終免掉了他們的賬單。

一般來說，故事到了這里就結(jié)束了。
就像王子和公主幸福地生活在一起了一樣。

但我們更想問一句：后來呢？

后來，Milkie Way公司花了幾個月的時間來了解云和自己的產(chǎn)品體系架構(gòu)，報廢了V1版的產(chǎn)品，構(gòu)建了可擴(kuò)展的架構(gòu)來為產(chǎn)品提供動力，在云上建立了一個可以快速迭代、安全的平臺，而不僅僅是一個MVP。

7個月后，他們發(fā)布了V2版產(chǎn)品。

去年年底，創(chuàng)始人Sudeep Chauhan在公司博客上復(fù)盤了這次事件，說：
“云就像一把雙刃劍。如果使用得當(dāng)，它可能會很有用，但是如果使用不當(dāng)，則可能會導(dǎo)致后果。如果您算一下GCP文檔中的頁數(shù)，則可能比幾本小說中的頁數(shù)還多。了解定價和用法不僅耗時，而且需要深入了解云服務(wù)的工作方式。

怪不得有人專門做這個！（沒錯，說的就是我們。）

Firebase和Cloud Run確實強(qiáng)大。
在高峰期，F(xiàn)irebase能夠處理每分鐘約10億次讀取。這是異常強(qiáng)大的。我們已經(jīng)在Firebase上玩了2-3個月，并且仍在學(xué)習(xí)它，但是直到現(xiàn)在我仍然完全不知道它有多強(qiáng)大。

Cloud Run也是如此！并發(fā)==60，max_containers == 1000，每個請求占用400毫秒，Cloud Run的請求數(shù)每分鐘可以處理900萬個請求！60 * 1000 * 2.5 * 60 = 9,000,000個請求/分鐘

相比之下，Google搜索每分鐘可獲得380萬次搜索。

Sudeep Chauhan的云實踐一手經(jīng)驗

(一). 多花點時間學(xué)習(xí)

1.1、上云之前請先閱讀說明書

幾乎所有云產(chǎn)品都有非常完整且不斷更新的操作指南，里面包含了一系列需要做或不應(yīng)該做的事情。

強(qiáng)烈建議閱讀即將使用的每項云服務(wù)的操作指南，這不僅能夠得到幫助，也可以避免不必要的麻煩。

1.2、不要直接挑戰(zhàn)多云HARD模式

不同的云廠商有各自不同的優(yōu)缺點，如果你有專門的開發(fā)團(tuán)隊和SRE（就是DevOps），你可以使用多云。但如果你是獨立開發(fā)人員或小型創(chuàng)業(yè)公司，建議你不要一上來就使用多云，除非你確實需要其他云平臺的某個獨有功能。

因為每個云平臺都有豐富的產(chǎn)品類型和大量的工具資料，多花一些時間研究這些東西，可以確保你對整個云平臺和即將使用的產(chǎn)品服務(wù)有一個清晰的認(rèn)識。

我們的fastone多云平臺，5分鐘快速上手的可視化界面免去了大量學(xué)習(xí)成本，
掃碼免費試用現(xiàn)在還送200元體驗金，了解一下？入股不虧。

1.3、了解錢是怎么花出去的

大多數(shù)云服務(wù)都會提供成本計算器，多花一些時間測試成本，確保你知道錢都花到哪里了，再開始部署。

比較可靠的做法是，先在安全的環(huán)境（開發(fā)帳戶）中測試服務(wù)一到兩天，等待完整帳單處理完畢，并且你能夠正確理解帳單上的每一項之后，再將其集成到產(chǎn)品中。

我們有一份六大云廠商服務(wù)器資源價格多維度對比報告，對云上資源的靈活計費模式做了深度科普，掃碼添加小F微信號（ID：imfastone）即可免費獲取。

(二). 不要做這兩件事

2.1、不要下載密鑰

保護(hù)密鑰和令牌的最簡單解決方案是永遠(yuǎn)不要下載它們。

2.2、不要把雞蛋放在一個籃子里

理想情況下，在任何項目中，你都應(yīng)該具有dev、test、staging、prod環(huán)境。即便項目非常小，你也應(yīng)該至少擁有相互之間完全分離的dev和prod環(huán)境。

(三). 捂緊你的錢包

3.1、設(shè)置云廠商的服務(wù)配額

大多數(shù)云服務(wù)都可以設(shè)置配額，也就是支付上限，可以從每天、每分鐘、每用戶每分鐘使用等多個維度來進(jìn)行該設(shè)置。
當(dāng)你的實際使用情況達(dá)到配額上限時，平臺就會自動切斷服務(wù)。

在設(shè)置配額時，需要注意兩點：

某些默認(rèn)配額是針對大客戶的，在普通用戶看來會非常離譜，比如每天一百萬美元的云資源預(yù)算，必須重新對其進(jìn)行設(shè)置；

并非所有服務(wù)都有配額限制，比如在本次事件中起主要因素的Firebase讀寫操作。

3.2、強(qiáng)烈建議開啟云監(jiān)控功能

當(dāng)云服務(wù)的使用情況超出用戶設(shè)置的配額時，云監(jiān)控可以觸發(fā)包括短信、電子郵件和應(yīng)用程序通知在內(nèi)的警報，云監(jiān)控的大多數(shù)指標(biāo)僅有幾分鐘的延遲。

GCP把這項服務(wù)稱為Cloud Monitoring，AWS叫Cloud Watch，Microsoft叫Azure Monitor，國內(nèi)包括阿里云、華為云、騰訊云在內(nèi)的主流云廠商均稱其為云監(jiān)控。

這個服務(wù)一般是免費的，或者只收取極低的價格，建議時刻開啟這項服務(wù)。

3.3、設(shè)置預(yù)算超支通知

幾乎所有云平臺的文檔都會都建議用戶設(shè)置預(yù)算超支通知，但由于整個“結(jié)算-賬單-通知”流程存在延遲，當(dāng)你收到預(yù)算超支的通知時，你可能已經(jīng)積累了相當(dāng)大金額的賬單，你應(yīng)該開啟這個功能，但不要過于依賴它。

云在提供海量資源的同時也在考驗著用戶的技術(shù)能力，不管是普通的云上部署/數(shù)據(jù)傳輸，還是高階的彈性動態(tài)使用資源，再進(jìn)一步根據(jù)用戶策略的智能自動化調(diào)度，很多事情手動做和自動化做的差別很大，甚至手動根本無法完成，比如——

集群自動化部署：從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
基于用戶策略智能調(diào)度：提速2920倍！用AutoDock Vina對接2800萬個分子
GPU/CPU異構(gòu)資源：155個GPU！多云場景下的Amber自由能計算

3.4、使用多種付款方式，并設(shè)置支出限額

首先，你必須給開發(fā)和生產(chǎn)環(huán)境分配不同的付款方式，避免兩者混用。

這樣當(dāng)其中一個付款方式出現(xiàn)問題后，它只會影響其綁定的環(huán)境，而不會對其他工作產(chǎn)生影響。

其次，對付款方式設(shè)置支出限額，支出限額可以設(shè)置在你預(yù)計費用的120-150％之間。

我們在3.1中設(shè)置了服務(wù)配額，如果某個服務(wù)達(dá)到了這個配額，那么云平臺會立即扣費，扣款會失敗，你的服務(wù)會被暫停。

如果你沒有對付款方式設(shè)置支出限額，或者你綁定的壓根就是一張無限信用卡，那費用就會被成功扣除，可能會從你的卡里扣除一筆遠(yuǎn)遠(yuǎn)超過你預(yù)期的費用。

這是最后一道防線了，如果你嚴(yán)格按照本文中的建議操作，應(yīng)該用不到這一步。

如果這些都做到了，你應(yīng)該能睡個好覺。

- END -

更多電子書
歡迎掃碼關(guān)注小F（ID：imfastone）獲取

你也許想了解具體的落地場景：

155個GPU！多云場景下的Amber自由能計算
怎么把需要45天的突發(fā)性Fluent仿真計算縮短到4天之內(nèi)？
5000核大規(guī)模OPC上云，效率提升53倍
提速2920倍！用AutoDock Vina對接2800萬個分子
從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
從30天到17小時，如何讓HSPICE仿真效率提升42倍？

關(guān)于為應(yīng)用定義的云平臺：

【2021】全球44家頂尖藥企AI輔助藥物研發(fā)行動白皮書
EDA云平臺49問
國內(nèi)超算發(fā)展近40年，終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思，看這篇就夠了
靈魂畫師，在線科普多云平臺/CMP云管平臺/中間件/虛擬化/容器是個啥
花費4小時5500美元，速石科技躋身全球超算TOP500