出典 しゅってん : フリー百科 ひゃっか 事典 じてん 『ウィキペディア(Wikipedia)』
Google File System (GFS 、GoogleFS )は、Google が自社 じしゃ のシステムのために開発 かいはつ した分散 ぶんさん ファイルシステム である。大 だい 規模 きぼ なデータセンター に特 とく 化 か した、効率 こうりつ 的 てき で信頼 しんらい 性 せい の高 たか いシステムとして設計 せっけい されている[1] 。2010年 ねん には後継 こうけい のColossus というファイルシステムが利用 りよう されている[2] 。
Google File System(GFS)は、同社 どうしゃ の主要 しゅよう なサービスである検索 けんさく エンジン や各種 かくしゅ サービスのデータストレージとして利用 りよう されている。創業 そうぎょう 者 しゃ であるラリー・ペイジ およびサーゲイ・ブリン が同社 どうしゃ の初期 しょき に開発 かいはつ したデータベース であるBigFilesから発展 はってん して生 う まれた[1] 。通常 つうじょう のファイルシステム と似 に ており、データは64メガバイト にサイズを固定 こてい (チャンクと呼 よ ばれる)して分割 ぶんかつ し保存 ほぞん される。ファイルに上書 うわが きをすることはほとんど無 な く、通常 つうじょう は追記 ついき と読 よ み込 こ みを中心 ちゅうしん に利用 りよう される。
オープンソース のHadoop Distributed File System(HDFS) は、GFSとほぼ同 おな じ仕組 しく みを採用 さいよう している。
Google File Systemの構成 こうせい
Googleでは、一般 いっぱん 的 てき に利用 りよう されている安価 あんか な、いわゆるコモディティなパーソナルコンピュータ の部品 ぶひん を利用 りよう して大 だい 規模 きぼ なデータセンターを構築 こうちく している。このため、個々 ここ のサーバーが故障 こしょう してもデータが損失 そんしつ せず、また自動的 じどうてき に復旧 ふっきゅう できるシステムとして設計 せっけい されている。実際 じっさい にGFSは複数 ふくすう のサーバ (ノード )から構成 こうせい される[3] 。具体 ぐたい 的 てき には1台 だい のMasterノードと複数 ふくすう 台 だい (10-1000台 だい [4] )のChunkサーバーである。
クライアント もしくはアプリケーション がGFS領域 りょういき にデータを書 か き込 こ むことを考 かんが える。データは前述 ぜんじゅつ の通 とお りチャンクに分割 ぶんかつ される。Masterノードは、チャンクが生成 せいせい された時 とき 、各 かく チャンクに64 bitのユニークなIDを付 つ ける[3] 。その後 ご 、Linux がインストールされたChunkノードはローカルディスクにチャンクを書 か き込 こ む。この時 とき 、可用性 かようせい 確保 かくほ のために複数 ふくすう の別々 べつべつ のChunkノードに、同 おな じチャンクを書 か き込 こ む。デフォルトでは3つのレプリカを作成 さくせい する。
次 つぎ に、データの読 よ み出 だ しを考 かんが える。Masterノードはアクセスに必要 ひつよう な全 すべ てのメタデータ 情報 じょうほう をメモリ 上 うえ に蓄 たくわ えている[4] 。例 たと えば、「名前 なまえ 空間 くうかん (ディレクトリ構造 こうぞう )」、「アクセス権限 けんげん 」、「原本 げんぽん ファイルとチャンクの対応 たいおう 表 ひょう 」、「チャンクが保存 ほぞん されているサーバの場所 ばしょ 」等 とう である。クライアントはまずMasterノードと通信 つうしん し、チャンクのIDと場所 ばしょ を問 と い合 あ わせる。続 つづ けてクライアントはChunkサーバーに直接 ちょくせつ アクセスし、チャンクを受 う け取 と る。最終 さいしゅう 的 てき にデータを結合 けつごう して元 もと のファイルを復元 ふくげん する。
このように、メタデータがメモリにあるため高速 こうそく な探索 たんさく が可能 かのう であること、データの読 よ み書 か きはクライアントとChunkサーバー間 あいだ で直接 ちょくせつ 行 おこな われておりキャッシュ が介在 かいざい しないこと、最終 さいしゅう 的 てき なチャンク (データ) の記録 きろく にはLinuxのファイルシステムを利用 りよう していることが特徴 とくちょう と言 い える。
データの書 か き込 こ みや読 よ み出 だ しはAPI を通 とお して行 おこな われ[3] 、標準 ひょうじゅん 的 てき な"Write"、"Read"、"Open"、"Close"、"Delete"等 とう の命令 めいれい が揃 そろ えられている。ただし、POSIX 準拠 じゅんきょ ではない。オブジェクトストレージ とは異 こと なりディレクトリ 構造 こうぞう もある。
Masterノードはメタデータ保持 ほじ 以外 いがい にも、Chunkサーバーの状態 じょうたい を監視 かんし する役目 やくめ もある。
^ a b 英語 えいご 版 ばん Wikipediaより
^ “Colossus: Successor to the Google File System (GFS) ”. 2018年 ねん 1月 がつ 1日 にち 閲覧 えつらん 。
^ a b c “The Google File System ”. 2018年 ねん 1月 がつ 1日 にち 閲覧 えつらん 。
^ a b “GFS: The Google File System ”. 2018年 ねん 1月 がつ 1日 にち 閲覧 えつらん 。
Alphabet ・歴史 れきし ・サービス 企業 きぎょう
開発 かいはつ
オペレーティングシステム ライブラリ・ フレームワーク ツール 探索 たんさく アルゴリズムファイルフォーマット その他 た
サービス
娯楽 ごらく 伝達 でんたつ ・交流 こうりゅう 検索 けんさく 組織 そしき ・管理 かんり ビジネス・金融 きんゆう その他 た
ハードウェア
X
* : 開発 かいはつ ・サポートを終了 しゅうりょう した製品 せいひん およびサービス
カテゴリ
コモンズ
ディスク
ネットワーク型 がた 特殊 とくしゅ 用途 ようと
その他 た
カテゴリ