(Translated by https://www.hiragana.jp/)
Google File System - Wikipedia コンテンツにスキップ

Google File System

出典しゅってん: フリー百科ひゃっか事典じてん『ウィキペディア(Wikipedia)』
Google File System
対応たいおうOS Linux
種別しゅべつ 分散ぶんさんファイルシステム
ライセンス プロプライエタリソフトウェア
テンプレートを表示ひょうじ

Google File SystemGFSGoogleFS)は、Google自社じしゃのシステムのために開発かいはつした分散ぶんさんファイルシステムである。だい規模きぼデータセンターとくした、効率こうりつてき信頼しんらいせいたかいシステムとして設計せっけいされている[1]。2010ねんには後継こうけいColossusというファイルシステムが利用りようされている[2]

概要がいよう

[編集へんしゅう]

Google File System(GFS)は、同社どうしゃ主要しゅようなサービスである検索けんさくエンジン各種かくしゅサービスのデータストレージとして利用りようされている。創業そうぎょうしゃであるラリー・ペイジおよびサーゲイ・ブリン同社どうしゃ初期しょき開発かいはつしたデータベースであるBigFilesから発展はってんしてまれた[1]通常つうじょうファイルシステムており、データは64メガバイトにサイズを固定こてい(チャンクとばれる)して分割ぶんかつ保存ほぞんされる。ファイルに上書うわがきをすることはほとんどく、通常つうじょう追記ついきみを中心ちゅうしん利用りようされる。

オープンソースHadoop Distributed File System(HDFS)は、GFSとほぼおな仕組しくみを採用さいようしている。

設計せっけい

[編集へんしゅう]
Google File Systemの構成こうせい

Googleでは、一般いっぱんてき利用りようされている安価あんかな、いわゆるコモディティなパーソナルコンピュータ部品ぶひん利用りようしてだい規模きぼなデータセンターを構築こうちくしている。このため、個々ここのサーバーが故障こしょうしてもデータが損失そんしつせず、また自動的じどうてき復旧ふっきゅうできるシステムとして設計せっけいされている。実際じっさいにGFSは複数ふくすうサーバノード)から構成こうせいされる[3]具体ぐたいてきには1だいのMasterノードと複数ふくすうだい(10-1000だい[4])のChunkサーバーである。

クライアントもしくはアプリケーションがGFS領域りょういきにデータをむことをかんがえる。データは前述ぜんじゅつとおりチャンクに分割ぶんかつされる。Masterノードは、チャンクが生成せいせいされたときかくチャンクに64 bitのユニークなIDをける[3]。そのLinuxがインストールされたChunkノードはローカルディスクにチャンクをむ。このとき可用性かようせい確保かくほのために複数ふくすう別々べつべつのChunkノードに、おなじチャンクをむ。デフォルトでは3つのレプリカを作成さくせいする。

つぎに、データのしをかんがえる。Masterノードはアクセスに必要ひつようすべてのメタデータ情報じょうほうメモリうえたくわえている[4]たとえば、「名前なまえ空間くうかん(ディレクトリ構造こうぞう)」、「アクセス権限けんげん」、「原本げんぽんファイルとチャンクの対応たいおうひょう」、「チャンクが保存ほぞんされているサーバの場所ばしょとうである。クライアントはまずMasterノードと通信つうしんし、チャンクのIDと場所ばしょわせる。つづけてクライアントはChunkサーバーに直接ちょくせつアクセスし、チャンクをる。最終さいしゅうてきにデータを結合けつごうしてもとのファイルを復元ふくげんする。

このように、メタデータがメモリにあるため高速こうそく探索たんさく可能かのうであること、データのきはクライアントとChunkサーバーあいだ直接ちょくせつおこなわれておりキャッシュ介在かいざいしないこと、最終さいしゅうてきなチャンク (データ) の記録きろくにはLinuxのファイルシステムを利用りようしていることが特徴とくちょうえる。

データのみやしはAPIとおしておこなわれ[3]標準ひょうじゅんてきな"Write"、"Read"、"Open"、"Close"、"Delete"とう命令めいれいそろえられている。ただし、POSIX準拠じゅんきょではない。オブジェクトストレージとはことなりディレクトリ構造こうぞうもある。

Masterノードはメタデータ保持ほじ以外いがいにも、Chunkサーバーの状態じょうたい監視かんしする役目やくめもある。

関連かんれん事項じこう

[編集へんしゅう]

参照さんしょう

[編集へんしゅう]
  1. ^ a b 英語えいごばんWikipediaより
  2. ^ Colossus: Successor to the Google File System (GFS)”. 2018ねん1がつ1にち閲覧えつらん
  3. ^ a b c The Google File System”. 2018ねん1がつ1にち閲覧えつらん
  4. ^ a b GFS: The Google File System”. 2018ねん1がつ1にち閲覧えつらん