"Times New Roman", Times, serif; align="center">Craigslist 數(shù)據(jù)庫架構(gòu)

Craigslist 絕對 互聯(lián)網(wǎng) 一個傳奇公司. 根據(jù)以前 一則報道：

每月超過 1000 萬人使用該站服務(wù), 月瀏覽量超過 30 億次, (Craigslist每月新增 帖子近 10 億條??)網(wǎng)站 網(wǎng)頁數(shù)量在以每年近百倍 速度增長. Craigslist 至今卻只有 18 名員工(現(xiàn)在可能會多一些了).

Tim O'reilly 采訪了 Craigslist Eric Scheide , 于 通過這篇 Database War Stories #5: craigslist 我們能了解一下 Craigslist 數(shù)據(jù)庫架構(gòu)以及數(shù)據(jù)量信息.

數(shù)據(jù)庫軟件使用 MySQL . 充分發(fā)揮 MySQL 能力, 數(shù)據(jù)庫都使用 64 位 Linux 服務(wù)器, 14 塊 本地磁盤(72*14=1T ?), 16G 內(nèi)存.

不同 服務(wù)使用不同方式 數(shù)據(jù)庫集群.

論壇
1 主(master) 1 從(slave). Slave 大多用于備份. myIsam 表. 索引達(dá)到 17G. 大 表接近 4200 萬行.

分類信息
1 主 12 從. Slave 各有個 用途. 當(dāng)前數(shù)據(jù)包括索引有 114 G , 大表有 5600 萬行(該表數(shù)據(jù)會定期歸檔). 使用 myIsam. 分類信息量有多大? "Craigslist每月新增 帖子近 10 億條", 這句話似乎似乎有些夸張, Eric Scheide 說昨日就超過 330000 條數(shù)據(jù), 如果這樣估計 話, 每個月 新帖子信息大約在 1 億多一些.

歸檔數(shù)據(jù)庫
1 主 1 從. 放置所有超過 3 個月 帖子. 與分類信息庫結(jié)構(gòu)相似但 更大, 數(shù)據(jù)有 238G, 大表有 9600 萬行. 大量使用 Merge 表, 便于管理.
搜索數(shù)據(jù)庫
4 個 集群用了 16 臺服務(wù)器. 活動 帖子根據(jù) 地區(qū)/種類劃分, 并使用 myIsam 全文索引, 每個只包含一個子集數(shù)據(jù). 該索引方案目前還能撐住, 未來幾年恐怕就不成了.

Authdb
1 主 1 從, 很小.
目前 Craigslist 在 Alexa 上 排名 30, 上面 數(shù)據(jù)只 反映采訪當(dāng)時(April 28, 2006) 情況, 畢竟, Craigslist 數(shù)據(jù)量還在每年 200% 速度增長.

Craigslist 采用 數(shù)據(jù)解決方案從軟硬件上來看還 低成本 . 優(yōu)秀 MySQL 數(shù)據(jù)庫管理員對于 Web 2.0 項目 一個關(guān)鍵因素.