WEKO3
アイテム
広域分散環境での効率的なデータ集約的アプリケーション実行システム
http://hdl.handle.net/2261/54212
http://hdl.handle.net/2261/54212f27aba06-aefd-4832-aedc-01d4cd76876a
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
48116457.pdf (5.3 MB)
|
|
| Item type | 学位論文 / Thesis or Dissertation(1) | |||||
|---|---|---|---|---|---|---|
| 公開日 | 2013-05-07 | |||||
| タイトル | ||||||
| タイトル | 広域分散環境での効率的なデータ集約的アプリケーション実行システム | |||||
| 言語 | ||||||
| 言語 | jpn | |||||
| 資源タイプ | ||||||
| 資源 | http://purl.org/coar/resource_type/c_46ec | |||||
| タイプ | thesis | |||||
| その他のタイトル | ||||||
| その他のタイトル | An Efficient Execution System of Data-Intensive Applications in Wide-Area and Distributed Environments | |||||
| 著者 |
堀内, 美希
× 堀内, 美希 |
|||||
| 著者所属 | ||||||
| 著者所属 | 東京大学大学院情報理工学系研究科電子情報学専攻 | |||||
| 著者所属 | ||||||
| 著者所属 | Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo | |||||
| Abstract | ||||||
| 内容記述タイプ | Abstract | |||||
| 内容記述 | マルチプロセッサ環境，広帯域なスループットを達成するネットワークの普及により，並列計算はより身近なものとなりつつある．中でも近年では，大量のデータを処理し，解析を行う大規模データ集約的アプリケーションが至るところで用いられるようになった．アプリケーションが計算中に扱うデータ量は益々増大し，有限の資源を用いてデータを効率的に扱うシステムへの要請が高まっている．特に，資源が複数拠点にまたがった状態で計算を行うと，非効率なデータ転送により性能低下が顕著となる．本研究では，データ集約的アプリケーションを分散環境で簡単に行うためのシステムを提案する．提案システムは，既存のワークフロー実行エンジンGXP Make と，本論文で提案する分散ファイルシステムMogami により成る．ユーザがデータ集約的ワークフローアプリケーションを，手軽に実行，開発可能なシステムを目指している．なかでも，本研究で提案するシステムは，(1) 各ジョブ間のデータの流れ（各ジョブのノード間で共有するファイルへの読み込み，書き込み）をプログラマが記述せずとも，一度のプロファイルにより自動でノード間データ転送を効率化する，(2) 高遅延環境のネットワークを介したノード間データ転送でも，アクセスパターンを自動検知して先読みを行うことでスループットを低下させない，といった特徴を有する．評価では，各提案手法に対するベンチマークによる評価と，実際に実用化されている5 つのワークフローアプリケーションを用いて実験を行った．評価の結果，提案手法によりontage などのファイルアクセス比率が高いアプリケーションでは，アプリケーション全体実行時間を50%以下に短縮するなど，提案システムの有用性を示すことができた． | |||||
| 書誌情報 | 発行日 2013-03-25 | |||||
| 学位名 | ||||||
| 学位名 | 修士(情報理工学) | |||||
| 学位 | ||||||
| 値 | master | |||||
| 研究科・専攻 | ||||||
| 情報理工学系研究科・電子情報学専攻 | ||||||
| 学位授与年月日 | ||||||
| 学位授与年月日 | 2013-03-25 | |||||
