WEKO3
アイテム
{"_buckets": {"deposit": "3f9175e3-fb11-47c1-ba08-5291c1c7bcdf"}, "_deposit": {"id": "4867", "owners": [], "pid": {"revision_id": 0, "type": "depid", "value": "4867"}, "status": "published"}, "_oai": {"id": "oai:repository.dl.itc.u-tokyo.ac.jp:00004867", "sets": ["234", "262"]}, "item_7_alternative_title_1": {"attribute_name": "その他のタイトル", "attribute_value_mlt": [{"subitem_alternative_title": "An Efficient Execution System of Data-Intensive Applications in Wide-Area and Distributed Environments"}]}, "item_7_biblio_info_7": {"attribute_name": "書誌情報", "attribute_value_mlt": [{"bibliographicIssueDates": {"bibliographicIssueDate": "2013-03-25", "bibliographicIssueDateType": "Issued"}, "bibliographic_titles": [{}]}]}, "item_7_date_granted_25": {"attribute_name": "学位授与年月日", "attribute_value_mlt": [{"subitem_dategranted": "2013-03-25"}]}, "item_7_degree_name_20": {"attribute_name": "学位名", "attribute_value_mlt": [{"subitem_degreename": "修士(情報理工学)"}]}, "item_7_description_5": {"attribute_name": "抄録", "attribute_value_mlt": [{"subitem_description": "マルチプロセッサ環境,広帯域なスループットを達成するネットワークの普及により,並列計算はより身近なものとなりつつある.中でも近年では,大量のデータを処理し,解析を行う大規模データ集約的アプリケーションが至るところで用いられるようになった.アプリケーションが計算中に扱うデータ量は益々増大し,有限の資源を用いてデータを効率的に扱うシステムへの要請が高まっている.特に,資源が複数拠点にまたがった状態で計算を行うと,非効率なデータ転送により性能低下が顕著となる.本研究では,データ集約的アプリケーションを分散環境で簡単に行うためのシステムを提案する.提案システムは,既存のワークフロー実行エンジンGXP Make と,本論文で提案する分散ファイルシステムMogami により成る.ユーザがデータ集約的ワークフローアプリケーションを,手軽に実行,開発可能なシステムを目指している.なかでも,本研究で提案するシステムは,(1) 各ジョブ間のデータの流れ(各ジョブのノード間で共有するファイルへの読み込み,書き込み)をプログラマが記述せずとも,一度のプロファイルにより自動でノード間データ転送を効率化する,(2) 高遅延環境のネットワークを介したノード間データ転送でも,アクセスパターンを自動検知して先読みを行うことでスループットを低下させない,といった特徴を有する.評価では,各提案手法に対するベンチマークによる評価と,実際に実用化されている5 つのワークフローアプリケーションを用いて実験を行った.評価の結果,提案手法によりontage などのファイルアクセス比率が高いアプリケーションでは,アプリケーション全体実行時間を50%以下に短縮するなど,提案システムの有用性を示すことができた.", "subitem_description_type": "Abstract"}]}, "item_7_select_21": {"attribute_name": "学位", "attribute_value_mlt": [{"subitem_select_item": "master"}]}, "item_7_text_24": {"attribute_name": "研究科・専攻", "attribute_value_mlt": [{"subitem_text_value": "情報理工学系研究科・電子情報学専攻"}]}, "item_7_text_36": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"subitem_text_value": "Thesis"}]}, "item_7_text_4": {"attribute_name": "著者所属", "attribute_value_mlt": [{"subitem_text_value": "東京大学大学院情報理工学系研究科電子情報学専攻"}, {"subitem_text_value": "Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "堀内, 美希"}], "nameIdentifiers": [{"nameIdentifier": "10569", "nameIdentifierScheme": "WEKO"}]}]}, "item_files": {"attribute_name": "ファイル情報", "attribute_type": "file", "attribute_value_mlt": [{"accessrole": "open_date", "date": [{"dateType": "Available", "dateValue": "2017-06-01"}], "displaytype": "detail", "download_preview_message": "", "file_order": 0, "filename": "48116457.pdf", "filesize": [{"value": "5.3 MB"}], "format": "application/pdf", "future_date_message": "", "is_thumbnail": false, "licensetype": "license_free", "mimetype": "application/pdf", "size": 5300000.0, "url": {"label": "48116457.pdf", "url": "https://repository.dl.itc.u-tokyo.ac.jp/record/4867/files/48116457.pdf"}, "version_id": "d71fd1dc-5a09-4ace-9fb3-e34bd7c9ab2b"}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "jpn"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "thesis", "resourceuri": "http://purl.org/coar/resource_type/c_46ec"}]}, "item_title": "広域分散環境での効率的なデータ集約的アプリケーション実行システム", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "広域分散環境での効率的なデータ集約的アプリケーション実行システム"}]}, "item_type_id": "7", "owner": "1", "path": ["234", "262"], "permalink_uri": "http://hdl.handle.net/2261/54212", "pubdate": {"attribute_name": "公開日", "attribute_value": "2013-05-07"}, "publish_date": "2013-05-07", "publish_status": "0", "recid": "4867", "relation": {}, "relation_version_is_last": true, "title": ["広域分散環境での効率的なデータ集約的アプリケーション実行システム"], "weko_shared_id": null}
広域分散環境での効率的なデータ集約的アプリケーション実行システム
http://hdl.handle.net/2261/54212
http://hdl.handle.net/2261/54212f27aba06-aefd-4832-aedc-01d4cd76876a
名前 / ファイル | ライセンス | アクション |
---|---|---|
48116457.pdf (5.3 MB)
|
|
Item type | 学位論文 / Thesis or Dissertation(1) | |||||
---|---|---|---|---|---|---|
公開日 | 2013-05-07 | |||||
タイトル | ||||||
タイトル | 広域分散環境での効率的なデータ集約的アプリケーション実行システム | |||||
言語 | ||||||
言語 | jpn | |||||
資源タイプ | ||||||
資源 | http://purl.org/coar/resource_type/c_46ec | |||||
タイプ | thesis | |||||
その他のタイトル | ||||||
その他のタイトル | An Efficient Execution System of Data-Intensive Applications in Wide-Area and Distributed Environments | |||||
著者 |
堀内, 美希
× 堀内, 美希 |
|||||
著者所属 | ||||||
著者所属 | 東京大学大学院情報理工学系研究科電子情報学専攻 | |||||
著者所属 | ||||||
著者所属 | Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo | |||||
Abstract | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | マルチプロセッサ環境,広帯域なスループットを達成するネットワークの普及により,並列計算はより身近なものとなりつつある.中でも近年では,大量のデータを処理し,解析を行う大規模データ集約的アプリケーションが至るところで用いられるようになった.アプリケーションが計算中に扱うデータ量は益々増大し,有限の資源を用いてデータを効率的に扱うシステムへの要請が高まっている.特に,資源が複数拠点にまたがった状態で計算を行うと,非効率なデータ転送により性能低下が顕著となる.本研究では,データ集約的アプリケーションを分散環境で簡単に行うためのシステムを提案する.提案システムは,既存のワークフロー実行エンジンGXP Make と,本論文で提案する分散ファイルシステムMogami により成る.ユーザがデータ集約的ワークフローアプリケーションを,手軽に実行,開発可能なシステムを目指している.なかでも,本研究で提案するシステムは,(1) 各ジョブ間のデータの流れ(各ジョブのノード間で共有するファイルへの読み込み,書き込み)をプログラマが記述せずとも,一度のプロファイルにより自動でノード間データ転送を効率化する,(2) 高遅延環境のネットワークを介したノード間データ転送でも,アクセスパターンを自動検知して先読みを行うことでスループットを低下させない,といった特徴を有する.評価では,各提案手法に対するベンチマークによる評価と,実際に実用化されている5 つのワークフローアプリケーションを用いて実験を行った.評価の結果,提案手法によりontage などのファイルアクセス比率が高いアプリケーションでは,アプリケーション全体実行時間を50%以下に短縮するなど,提案システムの有用性を示すことができた. | |||||
書誌情報 | 発行日 2013-03-25 | |||||
学位名 | ||||||
学位名 | 修士(情報理工学) | |||||
学位 | ||||||
値 | master | |||||
研究科・専攻 | ||||||
情報理工学系研究科・電子情報学専攻 | ||||||
学位授与年月日 | ||||||
学位授与年月日 | 2013-03-25 |