<wbr id="tp3ty"><input id="tp3ty"></input></wbr>
  • <acronym id="tp3ty"></acronym>
  • <ins id="tp3ty"></ins>
    <video id="tp3ty"><input id="tp3ty"></input></video>

  • 企業空間 采購商城 存儲論壇
    華為全閃存陣列 IBM云計算 Acronis 安克諾斯 安騰普 騰保數據
    首頁 > 技術園地 > 文件系統 > 正文

    TFS(淘寶文件系統)介紹篇

    2011-07-25 16:29來源:中國存儲網
    導讀:TFS淘寶文件系統,淘寶內部使用的分布式文件系統,TFS主要解決海量小文件的分布式存儲,2007 TFS1.0發布,2008 TFS1.3發布。
    什么是TFS?
    TFS,Taobao File System,淘寶文件系統,淘寶內部使用的分布式文件系統,主要針對海量小文件的隨機讀寫訪問性能做了特殊優化,承載著淘寶主站所有圖片、商品描述等數據的存儲。
    TFS有什么特點
    完全扁平化的數據組織結構,拋棄了傳統文件系統的目錄結構。
    在塊設備基礎上建立自有的文件系統,減少EXT3等文件系統數據碎片帶來的性能損耗
    單進程管理單塊磁盤的方式,摒除RAID5機制
    帶有HA機制的中央控制節點,在安全穩定和性能復雜度之間取得平衡。
    盡量縮減元數據大小,將元數據全部加載入內存,提升訪問速度。
    跨機架和IDC的負載均衡和冗余安全策略。
    完全平滑擴容
    TFS在淘寶的應用規模
    • 數百臺PCServer
    • PB級數據量
    • 百億數據級別
    TFS的性能參數
    TFS在淘寶的部署環境中前端有兩層緩沖,到達TFS系統的請求非常離散,所以TFS內部是沒有任何數據的內存緩沖的,包括傳統文件系統的內存緩沖也不存在。我們主要的性能參數不是IO吞吐量,而是單臺PCServer提供隨機讀寫IOPS。由于大家硬件型號不同,當然也是因為一些技術保密的原因,我們很難給出一個參考值來說明性能。但基本上我們可以達到單塊磁盤隨機IOPS理論最大值的60%左右,整機的輸出隨盤數增加而線性增加。 
    TFS的邏輯架構圖
    TFS(淘寶文件系統)介紹篇
    • TFS尚未對最終用戶提供傳統文件系統API,需要通過TFSClient進行接口訪問,現有JAVA、JNI、C、PHP的客戶端
    • TFS的NameServer作為中心控制節點,監控所有數據節點的運行狀況,負責讀寫調度的負載均衡,同時管理一級元數據用來幫助客戶端定位需要訪問的數據節點
    • TFS的DataServer作為數據節點,負責數據實際發生的負載均衡和數據冗余,同時管理二級元數據幫助客戶端獲取真實的業務數據。 
    TFS發展歷史
    TFS1.0簡介
    2007年6月,淘寶自主開發的分布式的文件系統, TFS(Taobao File System)1.0上線運行,主要解決海量小文件的分布式存儲
    集群規模:200臺PC Server(146G*6 SAS 15K Raid5) 
    文件數量: 億級別
    系統部署存儲容量: 140 TB
    實際使用存儲容量: 50 TB
    單臺支持隨機IOPS200+,流量3MBps
    TFS1.0的特性
    •集群由一對Name Server和多臺Data Server構成 
    •Data Server運行在掛很多硬盤的Linux主機上
    •以block文件的形式存放數據文件(一般64M一個block)
    •文件名內置元數據信息,用戶自己保存TFS文件名與實際文件的對照關系–使得元數據量特別小
    •如T2auNFXXBaXXXXXXXX_!!140680281.jpg,名字中含有邏輯的block_no和object_no等 
    •block存多份保證數據安全
    •利用ext3文件系統存放數據文件
    •磁盤raid5做數據冗余
    TFS1.3簡介
    2009年6月,TFS(TaobaoFile System)1.3上線運行
    集群規模440臺PC Server (300G*12 SAS 15K RPM) + 30臺PC Server (600G*12 SAS 15K RPM) 
    文件數量:百億級別
    系統部署存儲容量:1800 TB
    當前實際存儲容量:995TB
    單臺Data Server支持隨機IOPS900+,流量15MB+
    目前Name Server運行的物理內存是217MB(服務器使用千兆網卡)
    2010下半年開始部署PC Server (1T SATA * 12) 
    TFS1.3的特性
    所有的元數據全部都內存化
    清理磁盤空洞
    容量和負載的均衡策略
    平滑的擴容
    數據安全性的冗余保證
    幾秒內完成Name Server故障自動切換
    容災策略
    性能大幅提升
    繼續閱讀
    關鍵詞 :
    TFS
    中國存儲網聲明:此文觀點不代表本站立場,如有版權疑問請聯系我們。
    相關閱讀
    產品推薦

    頭條閱讀
    欄目熱點

    Copyright @ 2006-2019 ChinaStor.COM 版權所有 京ICP備14047533號

    中國存儲網

    存儲第一站,存儲門戶,存儲在線交流平臺

    俺去也导航