最近給團隊來了一個三卡2080Ti、雙CPU、512GB記憶體的訓練機，大概46000左右。配置單如下，詳細見如何配置一台5W左右的深度學習工作站？。
======= 03/09/2019 的分割線和更新 =======
挺感慨的。上次寫這個問題的答案還是在快2年前（2017年）。現在（2019年）2年過去了，人也從美國搬回了北京，C'est la vie...
好了不偏題。再重申一遍，主要就 還是以下幾點 ：
- 如果是自己做深度學習工作站的話，適當撿一下洋垃圾能夠 非常有效 地降低系統成本。
- 除非在過去型號的GPU上已有投資，否則對於新的配置請 無腦上最新版 。
- GPU上的投資回報比基本 呈線性變化 ，因此可以按照自己的（視訊記憶體）需要量力而行。
- 最容易被忽視的是電源，一定要註意總體功耗，不可 過載 。
基於上面的回復，有篇好文章（Roison An：洋垃圾工作站 惠普 HP Z420 Z620 裝機經驗記錄，你想知道的都在這裏），這裏主要有幾個有意思的點，平時大家不太會註意到的：
- BIOS請上3.91版。這樣可以回避CPU安全修補程式帶來的效能影響。
- NVMe啟動請上對應品牌有Option ROM的SSD。
最後，我做了一個偏重型工作站的配置（時間02/04/2019），以供大家參考：
- 準系統 HP Z820 x1 原生支持V2系列CPU，且1125w大功率電源
- CPU Intel E5-2697v2 12核24線 2.7/3.5G x2
- 記憶體 32GB DDR3 1600 x16 = 512GB
- 顯卡 GeForce RTX 2080 (8GB) 渦輪版 x3
- 系統磁碟機 Samsung P953 960GB x1 加個轉接卡
- 數據盤 Seagate ST6000NM0034 6TB x4 (RAID10) = 12TB
這個配置有以下幾個特點：
- CPU和RAM都配得比較足，為的是a) 盡量把模型帶進記憶體；b) 做GBDT、隨機行走等CPU計算密集的操作，c) 用CPU做模型推理。
- 顯卡上的是RTX 2080，為的是平衡性價比。這裏視訊記憶體上有些吃虧。
- 空間、電源都發掘到了極致。這套系統最多支持3塊全速PCI-E 3x16（CPU0 x2, CPU1 x1），這下全用上了。另外官方手冊上明確說明，支持至多2塊共600w顯卡、或3塊<225w顯卡，這裏也是極致。
- 總價格較低，大概是3萬元出頭吧。
我打算給團隊先配個2-3台，之後能充分使用了，再給他們上10卡伺服器（配置以後寫）...
另外我還有個兩卡1萬出頭的配置，回頭有空了再放上來。
======= 02/04/2019 的分割線和更新，以下為原回答 =======
謝邀。以下答案只針對工作站的情況。
在具體的論述之前，先說幾個結論：
- 如果是自己做深度學習工作站的話，適當撿一下洋垃圾能夠 非常有效 地降低系統成本。
- 除非在過去型號的GPU上已有投資，否則對於新的配置請 無腦上Pascal 。
- GPU上的投資回報比基本 呈線性變化 ，因此可以按照自己的需要量力而行。
- 最容易被忽視的是電源，一定要註意總體功耗，不可 過載 。
關於洋垃圾
洋垃圾是個好東西，價格便宜量又足。尤其是在淘汰下來的工作站上常用Xeon級別的單/多路CPU，而它在極其低廉的成本下提供了：a) 多核大緩存，b) 大記憶體支持，c) 多PCI-E通道，以及 d) 多路NUMA支持。牙膏廠（Intel）體系架構更新對於效能的最佳化已經很微小了，它主要是制程帶來的能耗最佳化。所以哪怕是早個一兩代的CPU，比如2012年釋出的Sandy Bridge EP，做個深度學習的主機CPU也是綽綽有余。
現在（2017.04）我強烈推薦HP的Z420和Z620。前者帶上單路E5-1650（6核3.2Ghz）、32G記憶體和600w高質素電源大概$380，後者在這個基礎上再加個$20-$40同時把電源更新成800w。這兩款洋垃圾均支持雙PCI-E x16 Gen3卡，而且你基本上不會碰到任何PCI-E通道之類的坑。
關於GPU的代際更新
黃老板在Pascal這一代上發飆了。我收集整理了Kepler (GTX 7xx)，Maxwell (GTX 9xx)，Pascal (GTX 10xx) 這三代的效能數據（數據來源主要是wikipedia）如下：https:// docs.google.com/spreads heets/d/111PwO4C4Clp6nUaAKACx46scQKaEntd6QGua8_pyIw/edit#gid=968981801 。各位伸手黨們可自取。
從能耗比上看，Kepler到Maxwell基本上是個漸進式的變化，越往高端走改進越不明顯。這也從一個側面說明了為啥在Maxwell的時代有人還用著老Kepler Titan「再戰幾年」。新的Pascal架構甩了上兩代幾條街，在能耗比上完全碾壓。有人會問——我在實驗室電費不要錢，是不是就可以用舊架構了？完全不是。第一，除去Titan Z這樣的2合1怪物以外，前兩代的單卡效能被從GTX 1070到Titan Xp全線碾壓，而每個工作站上能插的 PCI-E通路數量是有限的 。第二， 電源的功率輸出是有限的 ；在同等算力下老架構需要更多電力，因此如果是洋垃圾或者自組平台的極端情況（4槽全滿）下，電源根本沒法提供這樣的功率輸出。
從價格上看，常常有一些小夥伴猜測，在同等算力的情況下，上一代產品或許會更便宜。很不幸，上圖反駁了這種觀點。本圖中的價格（橫軸，取了log以方便顯示）來自於eBay上二手賣家的出價，或者 http:// Jet.com (一個奇葩購物網站) 上的新品折扣價格。可以明顯地看出， 在同等算力的情況下新一代Pascal架構產品的二手價格要低於老架構產品的二手價格 。
另外，在上圖中沒有顯示的是，新架構的產品往往具有 更大的視訊記憶體容量 ，例如GTX 1060有6G視訊記憶體，GTX 980有4G視訊記憶體，而GTX 780 Ti/GTX Titan分別提供了3G和6G的視訊記憶體。最後，新架構的產品支持更新的CUDA功能集以及GPU加速庫版本，從而也會獲得另一些額外的效能提升。因此在不同GPU架構間，無腦選Pascal。
關於量力而行
前兩圖中的直線（第二張圖因為橫軸是log scale所以有變形）是對於各點的線性擬合。可以看出無論是功耗還是定價，它們基本上都和計算能力保持了線性相依。這也就意味著老黃的刀砍得非常的準，除了Titan這類高端貨外完全是 一分錢一分貨 ，不大存在撿便宜的可能。另外，在GPU的世界裏投資折舊率很高（看看這三代GPU就知道了），因此有多大的需要就弄多大的卡吧。如果是嚴肅的科研工作者建議還是上大一些的卡，畢竟在現在多機分布式訓練擴充套件性做得還不大好的時候，什麽也比不過在一個卡上算起來快。
關於電源
電源是 最容易被忽視 的一個問題！很多小夥伴常常是滿心歡喜地把大把顯卡、CPU裝好，然後發現——電源過載了。而最蛋疼的是一般工作站主機的電源是最高1600w到頭，也就是將將撐住4塊250w不超頻的顯卡。關於電源功率的計算我推薦 OuterVision Power Supply Calculator。它的Expert模式極其強大。
說回到Z420/Z620上的電源，Z420上搭配的是台灣台達電子生產的DPS-600UB A電源，這裏（ DPS-600UB A - Plug Load Solutions ）有它的介紹。不得不說工作站上的電源就是紮實，不虛標且穩定。
總結
最後，總結一下整個配置。
希望對你有幫助。
