WEKO3
アイテム
広域分散環境での効率的なデータ集約的アプリケーション実行システム
http://hdl.handle.net/2261/54212
http://hdl.handle.net/2261/54212f27aba06-aefd-4832-aedc-01d4cd76876a
名前 / ファイル | ライセンス | アクション |
---|---|---|
48116457.pdf (5.3 MB)
|
|
Item type | 学位論文 / Thesis or Dissertation(1) | |||||
---|---|---|---|---|---|---|
公開日 | 2013-05-07 | |||||
タイトル | ||||||
タイトル | 広域分散環境での効率的なデータ集約的アプリケーション実行システム | |||||
言語 | ||||||
言語 | jpn | |||||
資源タイプ | ||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_46ec | |||||
資源タイプ | thesis | |||||
その他のタイトル | ||||||
その他のタイトル | An Efficient Execution System of Data-Intensive Applications in Wide-Area and Distributed Environments | |||||
著者 |
堀内, 美希
× 堀内, 美希 |
|||||
著者所属 | ||||||
値 | 東京大学大学院情報理工学系研究科電子情報学専攻 | |||||
著者所属 | ||||||
値 | Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo | |||||
Abstract | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | マルチプロセッサ環境,広帯域なスループットを達成するネットワークの普及により,並列計算はより身近なものとなりつつある.中でも近年では,大量のデータを処理し,解析を行う大規模データ集約的アプリケーションが至るところで用いられるようになった.アプリケーションが計算中に扱うデータ量は益々増大し,有限の資源を用いてデータを効率的に扱うシステムへの要請が高まっている.特に,資源が複数拠点にまたがった状態で計算を行うと,非効率なデータ転送により性能低下が顕著となる.本研究では,データ集約的アプリケーションを分散環境で簡単に行うためのシステムを提案する.提案システムは,既存のワークフロー実行エンジンGXP Make と,本論文で提案する分散ファイルシステムMogami により成る.ユーザがデータ集約的ワークフローアプリケーションを,手軽に実行,開発可能なシステムを目指している.なかでも,本研究で提案するシステムは,(1) 各ジョブ間のデータの流れ(各ジョブのノード間で共有するファイルへの読み込み,書き込み)をプログラマが記述せずとも,一度のプロファイルにより自動でノード間データ転送を効率化する,(2) 高遅延環境のネットワークを介したノード間データ転送でも,アクセスパターンを自動検知して先読みを行うことでスループットを低下させない,といった特徴を有する.評価では,各提案手法に対するベンチマークによる評価と,実際に実用化されている5 つのワークフローアプリケーションを用いて実験を行った.評価の結果,提案手法によりontage などのファイルアクセス比率が高いアプリケーションでは,アプリケーション全体実行時間を50%以下に短縮するなど,提案システムの有用性を示すことができた. | |||||
書誌情報 | 発行日 2013-03-25 | |||||
学位名 | ||||||
学位名 | 修士(情報理工学) | |||||
学位 | ||||||
値 | master | |||||
研究科・専攻 | ||||||
値 | 情報理工学系研究科・電子情報学専攻 | |||||
学位授与年月日 | ||||||
学位授与年月日 | 2013-03-25 |