#ディザスタリカバリ | Explore Tumblr posts and blogs

trattoriainutano · 5 years ago

Text

パブリックなNGSデータをダウンロードするのにお金がかかるようになる（かも）

タイトルは意図的なミスリーディングを狙っており、それが事実の一部であるとしても、これをタイトルに掲げることは非常に悪質なものです。誤解されそうなタイトルで釣らないとブログ��読者を集められないのは、ひとえに書き手の怠慢であり、能力不足であり、卑怯さ、姑息さ、誠意のなさ、低俗さ、魂の汚れ、負け犬根性をこれ以上ないほどに示しており、書き手の信頼を大きく損なうものです。「そうは言ってもこうでもしないと見てもらえないでしょ」というのはテロリストの言い分です。普段から誠実に良質なブログ記事を書き続けて信頼を得ていればこんな煽りタイトルを掲げなくても読者は見てくれます。

ごめんなさいね。懺悔終わり。

ほんとは「パブリックなNGSデータのダウンロードが有料になります」というタイトルでしたが、人間は愚かなのでタイトルだけしか読まず本文を読まないので、少しだけ柔らかい表現にしました。大事な話なので最後までちゃんと読んでほしい。

tl;dr

まじで長くなったので忙しい人向けに三行で解説します：

「NCBIの」SRAがクラウドに移行しました��オンプレと並行で運用するよ

NCBI��データ量多すぎてやってられないので配列データからクオリティ情報(BQS)削るよ」

オンプレにはBQS削ったやつだけ置いとくよ

BQS持ったやつもクラウドに置いとくけど、クラウドからオンプレにダウンロードすると転送料かかるよ

NCBIがこの件でパブコメ募集してるので、みんなの意見を教えてね

パブコメ書くの面倒くせえって人はtwitterで教えてね

EBIとDDBJは今まで通りなのでお金かからないよ

本当にtoo longな解説

Sequence Read Archive (SRA) は大規模DNAシーケンス装置（いわゆるNGS）から得られたデータを登録する公共のレポジトリです。米国NCBI, 欧州EBI, 日本DDBJの3つの組織によって共同で運用しています。詳しくはこちら。

この度その3つのうちの1つ、米国が運用する NCBI SRA において、場合によって、ダウンロードする人がお金を払う必要があるケースが発生するようになる見込みです。このことについて、経緯と概要を説明します。

数年前より米国NIHは、ファンドしている研究プロジェクトで用いられる計算機インフラをクラウドに移行しようとしています。NIH配下のNCBIも、このとんでもなくでかいデータ量を誇るSRAを、一体どんなトリックを使ったのか、全てコマーシャルクラウド上に置くことにして、それが実行されました。ここでいうコマーシャルクラウドとは Amazon Web Service (AWS) と Google Cloud Platform (GCP) です。

コマーシャルクラウドは各社共通して、「クラウド上にデータをアップロードするのは無料」だけれども「クラウドの外にデータを持ち出すためには通信料を払う必要がある」のが特徴です(egress charge, イグレスチャージと呼ばれます)。GBあたりの従量課金制で、事業者によって、また月間のトータルの利用量によって単価が変わります（AWSの場合, GCPの場合）が、だいたい1GBあたり0.1USD前後です。クラウド事業者としては、自社クラウド内で計算機を借りてもらった方がビジネス上都合がいいわけですからね。ここで転送にかかる料金を払うのは「データを置いている人」もしくは「データを外に持っていく人」のどちらかになり、これはデータを置く人が決めます。

つまり、NCBIがSRAのデータをクラウドストレージに置くようになると、利用者がデータをクラウドの外にある、自身の管理するコンピュータにダウンロードする場合「誰かが」お金を払わなくてはいけません。そして、NCBIが利用者全員分の通信量を負担するとなると、とても維持できないので、利用者に負担してもらいます、ということだそうです。通信料を払いたくなければ、データ利用者がAWSないしGCPを使ってクラウド上に計算機を立ち上げ、そこにデータを引っ張ってくるようにしなければいけません。ただしクラウドと言っても、同じ事業者の、同じリージョン（クラウドのデータセンターをまとめる単位）でなければいけません。AWS N. virginia に置かれたSRAデータを転送料なしでダウンロードするには、同じ N. virginia リージョンにEC2インスタンス（仮想サーバ）を立ち上げて、そこにダウンロードして計算する必要があります。いずれにせよ、そうすると今度は計算機を立ち上げた分のお金がかかり、いずれにせよお金がかかります。まじかよ。

え、USの人たちはそれでいいわけ？と思うわけですが、先に述べたようにNIHでは米国内の研究者によるクラウド利用をプッシュしており、徐々にクラウドを利用する人が増えているそうです。今既に2割くらいはクラウドからSRAにアクセスしているという話でした。

これで話が終われば「公共データが有料になるとは何事か！」という話ですが、実はもうちょっと話は複雑です。

そもそも、なんでNIH以下合衆国の組織ががクラウドに移行しているのでしょう。まず、巨大なストレージシステムを自前の計算機環境でメンテナンスするのは非常にコストがかかります。大容量ストレージを構築する、ストレージ機器の故障をモニタリングする、ストレージが故障したときにすぐ対応する、そのための人員を確保して給料を払う、サーバルームの空調を含めて安定した電力を供給するための仕組みを作る、そして電気代を払う、万一故障したときや停電のとき、メンテナンスのときのためのバックアップを構築しておく、ストレージシステムへのアクセスのためのネット��ークを整備する、ネットワークの故障に対応する、などなど。大規模な計算機システムのメンテナンスをまるごとアウトソースできるコマーシャルクラウドは、餅は餅屋という意味でも、大きなメリットがあります。金銭的なことだけでなく、メンテナンスのノウハウや、最新機器へのアップデート、適切な人員を見つけて雇用することなど、運用のためのコストは実際に払う金額以上になることは普通です。NGSデータがある日突然なくなることは考えられませんし、このまま増え続けるデータのためのシステムを自前で管理するには限界があります。なので、クラウドに移したい。GoogleとAmazonは米国を基盤とする企業なので、米国政府が運営するNIHとその傘下のNCBIが利用しようと考えるのは自然なことです。

しかし、クラウドにぽんと移せば巨大なデータを抱えるSRAの運用の問題が解決するかというと、そういうわけでもありません。INSDCは配列データを研究活動のエビデンスとして保持し続けなければなりませんが、とにかく大量のデータが出てくるので、できることなら使うストレージの量は節約したい。増え続けるデータをそのままストレージに入れ続けていたら、いくらクラウドと言えど、いずれ（容量的にあるいは経済的に）破綻してしまいます。そこで以前から議論されている2つのポイントが「hot/coldストレージの利用」と「クオリティ情報 (base quality score, BQS)の削除」です。それぞれ解説します。

hot/coldストレージ

「hotストレージ」、すなわちHDDやSSDで構成された、データをすぐに取り出せるストレージと、「coldストレージ」、すなわちデータの取り出しに時間がかかる代わりにHDD/SDDに対して容量あたりの価格を抑えられるテープストレージの2つを使い分けるやり方のことを指します。これはクラウドでなくてもオンプレの環境でも行われているテクニックです。つまり、大量に登録されたSRAのデータの中でも、頻繁に利用されるのはごく一部であり、それらをより高価だがすぐにデータを取り出せるhotストレージに置いておき、あまりアクセスされないデータをcoldストレージに置いてストレージ料金を節約するわけです。AWSの月額料金でいうと、hotストレージ（汎用S3）が0.021-0.023USD/GBなのに対して、coldストレージであるGlacier(グレイシアーと読みます、氷河という意味)では0.004USD/GBです。ちなみに、さらにアクセスが低頻度になり、より取り出しに時間がかかるオプションGlacier Deep Archiveというものもあって、こちらは0.00099USD/GBです。なので、運用側としてはなるべくデータをcoldストレージに置いておいてストレージ料金を抑えたいわけです。ただし、coldストレージはテープからの読み出しにお金がかかります。そこで、このシステムでは何をcoldに入れて、何をhotに入れるかという判断がストレージ料金の節約において重要です。

クオリティ情報 (base quality score, BQS)の削除

文字通り配列データからベースコール精度の情報をなくしてしまうということです。SRAに登録されるデータはFASTQもしくはBAMであり、フラットファイルであるFASTQは1塩基ごとにベースコール精度の情報を持ちます。最大94種類のASCIIで��されるBQSを削って配列だけにできれば、圧縮効率が上がってさらにストレージを節約できます。これまでに、BQSを完全に削除するのではなく、binningしてより少ない文字種で保持するアプローチもいくつか提案されていますが、「コミュニティでのコンセンサスは得られていない」とNCBI SRAのdata working groupは述べています(Wan et al, 2012, Ochoa et al, 2013, Janin et al, 2014, Yu et al, 2015)。また、NCBIではBQSの削除だけでなく、これまでにも行われてきたsratoolkitのアラインメント情報を利用してさらに配列データを圧縮する技術も、引き続き併用していくということです。

今回、hot/cold戦略とBQSの削除、この2つを組み合わせてストレージ料金と利便性のバランスを取るため、NCBI SRAは以下のような方針を立てました。

データは「オリジナル」と「SRA+BQS」と「SRA-BQS」の3種類のフォーマットで提供する

オリジナル: 登録者が送信したオリジナルのフォーマット。FASTQ, BAM, SFFなど

SRA+BQS: NCBIのsratoolkitでBQSを保持したまま圧縮する。利用者はsratoolkitを使ってFASTQやオリジナルなどのフォーマットに変換できる。インデックスを持つので一部のみ取り出しも可能。

SRA-BQS: 同じくsratoolkitで圧縮しているが、BQSは削除されている

ストレージはオンプレとクラウドの両方を使う

オンプレ: これまでと同じNCBIが運用するローカルのストレージ。ユーザはFTPでデータを取得する

クラウド: AWSとGCPのクラウドストレージ。クラウドの外にデータを持ち出す(ダウンロードする)ときにユーザは転送料を払う必要がある。同じリージョンのクラウド上で利用すれば転送料金はかからない

クラウドストレージでは、hot/coldの2種類のストレージを使う

各ストレージに、それぞれ異なるタイプのデータを置く

オンプレ

SRA+BQS (一部のみ: 登録から一定期間が経つと削除される)

SRA-BQS (登録された全てのデータ)

クラウド hotストレージ

SRA-BQS (登録された全てのデータ)

SRA+BQS (利用頻度が高いデータ, 全体の50%)

オリジナル　(1000genomes public datasetのみ、例外的に転送料は事業者持ち)

クラウド coldストレージ

SRA+BQS (利用頻度が高いデータ, 全体の50%)

オリジナル (1000genomes以外全部)

テープからの読み出し料金はNCBIが負担する

無限に負担はできないので、coldストレージからの読み出しはデータ量を制限する

図にするとこんな感じ。

複雑！

ところが事態をもっと複雑にするのは前述の通り SRAはNCBIのみによって運営されるに非�� ということです。はいここテストに出まーす。

NCBI, EBI, DDBJ 3つの組織��それぞれが配列データの登録を受け付けます。3つのうち1つの窓口から登録されたデータは他の2つにもコピー（ミラー）されます。EBIから登録してもDDBJでダウンロードできるし、DDBJで登録してもNCBIからダウンロードできるし、以下省略。ただし、配列データの圧縮フォーマットに微妙な違いがありますし、タイムラグや組織間の移行に関して技術的なトラブルもあるので常に完璧にミラーされているわけではありません（ここが重要です）。常に100%完璧にミラーができていればいいのですが、無限に人員と資金があるわけではないので、優先順位を付けざるを得ないのが公共サービスを運用する上で難しいところです。

ではEBIとDDBJはどうするんだというと、これまで通りです。 EBIとDDBJはこれまで通りオンプレで運用します。厳密なことを言うと、EBIはプライベートクラウド環境をインフラに構築しているのですが、コマーシャルクラウドと違って転送料もかかりませんし、利用者から見ると特に何も変わっていないように見えます。余談ですが、EBIのインフラはすごいです。10年かけて(!!)モダンな環境を構築し、データセンターの分散と同期を実現してディザスタリカバリまでできています。我らがDDBJも、資金、人員共に欧米と比較して厳しいリソースで運営していますが、自慢のスパコンシステムにどんどこストレージを増やして対応しています（技術的な問題等々でミラーリングが遅れてしまうこともありますが）。

つまりこういうことになります。

つまり、日本国内のオンプレ環境でSRAデータを利用するユーザ目線で、イグレスチャージ払いたくないぞ！となると、このような感じになります：

BQSが必要？

YES:

DDBJ/EBIに取りに行く。でもミラーリングのタイムラグで最新のものがすぐに取得できないかも。

NCBIのオンプレに取りに行く。登録されたばかりの最新のものしかない。

NO:

DDBJ/EBI/NCBIどこでもOK。

というわけで、考慮すべきは「BQS要るか要らないか」になるわけです。要るならDDBJ/EBIにちゃんとミラーリングされていないと困るし、要らないなら今回の変更は特に影響がない。マッピングやアラインメントでクオリティスコアを考慮するツールやアプリケーションは山程ありますし、RNA-SeqでBQS使ってリードの除去したりも当然するわけなんですが、「多少の精度は落ちるかもしれないけど、ディスクが節約できるメリットを考えたら無視できる」とするケースもあれば「でもBQSないと結果が信頼できない」とするケースもあると思います。

ただし、懸念すべき点はこの

タイムラグや組織間の移行に関して技術的なトラブルもあるので常に完璧にミラーされているわけではありません

という点です。NCBIからちゃんと全部さくさくミラーされていればいいんですが、オペレーションの問題、ネットワークの問題、技術的な問題、データが壊れていた、遺伝研スパコンがメンテで止まっている（メンテいつも長すぎるよね！）、などなどの理由でDDBJからダウンロードができなかった場合、まあEBIに行けばいいんですが、アジアからEBIに繋ぐとネットワーク的に遠くて遅いこともあるし、NCBIに取りに行ったほうが…というケースはままあります。そのときにBQSなくてもいいのか？という話になるわけです。

まとめ

……というような内容がこの Request for Information: Use of Cloud Resources and New File Formats for Sequence Read Archive Data に書いてあります。それを解説するのがこのブログエントリの主旨なのでした。EBI/DDBJの話までは書いてないですが。

個人的な意見を述べると、ストレージの空き領域とネットワークの帯域は何にも代えられないと思っているので、データ量が節約できるならBQSをばっさり落としてもよいと思っています。しかし、ChIP-Atlasのように底引き網方式でSRAのデータを解析している身としては、少なくとも「完全に失敗しているシーケンス」かどうかは見極められないと厳しいなと思います（そういうものがSRAには山程あります。詳しくはおれの力作を読んでくれ）。そういう意味では「SRAのデータ全部FASTQCかけるプロジェクト」ことQuantoの重要性が高まりそうなので、これを構造化したデータとしてメタデータの一部として簡単に取得できるよう改良したいと思っています。（それから、計算が最新の登録に全然追いついていないので、いかにタイムラグをなくすかということも考えていく必要があります）

また、この先もシーケンス装置の進歩は続いていくでしょうから、かつての Oxford Nanopore がそうであったように、リード数やリード長、キャプチャの技術や値段などは非常に優れているが、ベースコール精度を考慮しなければ使えない、という技術がまた出てきたときに、BQSがないとだめ、という状況になることはあるのかなと思います。

というわけで、みなさん是非、日頃SRAのデータを使って研究をする上で（してますよね？）、BQSは絶対にあったほうがいいのか、なくてもまあなんとかなるのか、「NCBIのBQS付きデータが全部クラウド上に行っちゃっても問題ないよ」「いやめっちゃ問題でしょ、DDBJにちゃんとミラーされることが保証されんの？」などなど、ちょっと考えてみてほしいのです。そして、NIHがこのプランについてパブリックコメントを募集していますので、意見を送ってみてください。7/17が〆切です。

Request for Information (RFI): Use of Cloud Resources and New File Formats for Sequence Read Archive Data https://datascience.nih.gov/sra-rfi-submission

RFIでは以下のような質問についての回答を求めています:

研究者がどのようにSRAと関わっているか

SRAデータと一緒に使っているパイプラインやツール

利用している配列データのフォーマット、特にBQSｃを必要とするかどうか

BQSを除去したSRAフォーマットデータの潜在的な利便性

BQSを除去しアラインメントとして保持されるSRAデータの潜在的なユースケース

登録者が送信したオリジナルフォーマットの研究における具体的な価値

SRAデータを利用しているユーザが、SRAデータがクラウドに置かれることによって、クラウドを利用するようになるかどうか

提案されているアプローチが、現在もしくはこの先の研究にどのように影響を与えるか

その他、クラウド上に置かれたSRAデータの価値を最大化するためにNIHが考慮すべきトピック

意見送るの面倒くさいけどBQSいるやろ、あるいはいらんやろという意思を表明したい方は僕宛にtwitterで@を送ってください。代わりにとりまとめて送っときます。

Acknowledgement

DDBJでDRAをリードしてくださっており、いつも大変お世話になっているDDBJデータベース部門コーディネータの児玉さんにこの記事をレビューしてもらいました。どうもありがとうございます。塩基配列データが欧米だけでなく日本にもちゃんとミラーされており、それを30年に渡り維持し、日々運用してくださっているDDBJの人たちがいて、それを使うのに最高な桃月なしこちゃんこと遺伝研スパコンをメンテしてくださる人たちがいて、こんなに恵まれている国で研究開発ができることに感謝して、このエントリを締めたいと思います。

追記: SRA Toolkit の使い勝手はどうなるのか

SRAをこれまで使っている人であれば、SRAからデータをダウンロードするのに sratoolkit を使っているかもしれません。sratoolkitはNCBIのtechチームによって開発されている配列データをsraフォーマットで圧縮/展開するためのツールです。このツールをインストールするとバンドルされている prefetch というコマンドを使ってダウンロードするか、 fastq-dump というコマンドにアクセッション番号を入力として与えて実行し、該当するデータのFASTQデータを手に入れるというのが一般的なやり方になるかと思います。

sratoolkitのwiki によると、2019-08-19にリリースされた 2.10.0 から既にクラウド対応が実装されており vdb-config コマンドでクラウドアカウントのcredential(認証情報)を設定しなければダウンロードできないとなっています。実際に2.10系のsratoolkitをインストールし、起動すると vdb-config --interactive を実行せよと怒られます。ここで AWS や GCP という設定があり、ここにイグレスチャージを支払うかどうかを設定することができるようです（試してないので実際に設定した場合の挙動はわからない）。

vdb-config --interactive を実行するとこんなんが出てきまして、ハイライトされている文字のキーを押すと切り替えられる。AをタイプするとAWSの設定になります。

上記の方針に移行するのは今夏以降と聞いています。実際のところ、この記事を書いている2020-06-10現在では、"accept charges"をチェックしなくても、たとえば DRR000001 (納豆菌ゲノム)のデータはチャージなしでBQS付きのデータがダウンロードできます。

ところで最新のSRAtoolkitはこの vdb-config --interactive を ��動で実行しないとツールが実行できないようになっています。自動的に使うようにすると競合状態が発生する可能性があるため、と説明されていますが、コマンドライン上でnon-interactiveに設定できないのは明らかなソフトウェア設計上のミスといえるでしょう。チームもこれを認識はしているようで、対応予定だとしていますが、現時点(2020-06-10)ではまだ対応されておらず、全世界の人がみな手動でポチポチ対応している模様。90年代かよ。「Dockerコンテナを作って配ろうとしてるけど、コンテナとかやったことなくて慣れてなくてね」とそんな誰も信じないことを言われても。アップデートが来るまでは2.9系を使いましょう。

SRAtoolkitのアップデートはめんどくさいので僕は以前よりDockerコンテナ作ってたんですが、このような理由で今はインタラクティブシェルでしか動かないんですけれども、よろしければぜひ→ github.com/inutano/docker-sra-toolkit, quay.io/inutano/sra-toolkit:v2.10.7

ちなみに、fastq-dump が遅いというかねてよりのクレームを受けてNCBIのチームは fasterq-dump というより高速でfastq変換に特化したツールを作っております。まだ fastq-dump を使っている方は是非アップデートしてくださいね。遅すぎるfastq-dumpに業を煮やしてかつて実装した pfastq-dump というラッパーツールもあるんですが、大きなファイルになると fasterq-dump の方が速いかもしれません（小さいファイルだとそんなに変わらない: 600MBの DRR000001.sra を共に30秒ほどで4000万リードのペアエンドFASTQに展開）。ディスクI/Oが顕著に効くので、圧縮と展開は速いディスクの上でやりましょう。遺伝研スパコンだと計算ノードの /data1 にSSDが刺さっているのでそこで作業すると爆速です。

1 note · View note

lievilorans · 3 years ago

Text

Windows 10 update stuck 無料ダウンロード.Windows 11へのアップデートが終わらない場合の4つの対策

Windows 10 update stuck 無料ダウンロード.【４選】Windows updateが０％でスタップするのを修正する方法

対処法：Windows updateが０％でスタップした.Windows 11へのアップデートが終わらない場合の4つの対策

Jul 02, · Windows 10は、Microsoft Serverから重要な更新プログラムを自動的にダウンロードしてインストールしますが、起動時の更新プログラムの構成中には、更新プログラムのインストールが止まったり、フリーズしたりすることがあります。 Dec 16, · 普通は、Windowsの「アップデートチェック」機能を利用し、新しくリリースされたアップデートを検索、ダウンロードが可能です。. しかし時に、アップデートをチェックすると、画面が「更新プログラムをチェックしています」表示のまま固まってしまうこともあります。. その問題に悩んでいる方々には、Windows 10アップデートチェック「更新プログラ to download the Media Creation Tool (Click on Download Tool Now), with that you can download the latest Windows 10 ISO (Select Create Installation Media for Another PC), then choose ISO, not USB When the ISO file completes downloading Disconnect from the Internet Temporarily disable any 3rd party Anti-virus you may have installed

Windows 10 update stuck 無料ダウンロード.Windows 10アップデートチェック「更新プログラムをチェックしています」にから進まない時の対処法

to download the Media Creation Tool (Click on Download Tool Now), with that you can download the latest Windows 10 ISO (Select Create Installation Media for Another PC), then choose ISO, not USB When the ISO file completes downloading Disconnect from the Internet Temporarily disable any 3rd party Anti-virus you may have installed Dec 16, · 普通は、Windowsの「アップデートチェック」機能を利用し、新しくリリースされたアップデートを検索、ダウンロードが可能です。. しかし時に、アップデートをチェックすると、画面が「更新プログラムをチェックしています」表示のまま固まってしまうこともあります。. その問題に悩んでいる方々には、Windows 10アップデートチェック「更新プログラ Windows 10 Update Assistant. The Windows 10 Update Assistant downloads and installs feature updates on your device. Feature updates like Windows 10, version (a.k.a. the Windows 10 November Update) offer new functionality and help keep your systems secure. You’ll get these updates automatically after you download the Update Assistant

Bak カテゴリ：バックアップと復元年12月16日に更新. Windows 10アップデートをチェックすると、画面が「更新プログラムをチェックしています」表示のまま止まってしまい、先に進めません。このような場合、どう対応すればいいでしょうか？その方法を皆さんに紹介します。. Windows 10がリリースされて以来、累積アップデートやパッチのリリースも頻繁です。普通は、Windowsの「アップデートチェック」機能を利用し、新しくリリースされたアップデートを検索、ダウンロードが可能です。しかし時に、アップデートをチェックすると、画面が「更新プログラムをチェックしています」表示のまま固まってしまうこともあります。その問題に悩んでいる方々には、Windows 10アップデートチェック「更新プログラムをチェックしています」から進まない時の対処法を紹介します。.

無料のWindows 10ディザスタリカバリ対策. 対処法：Windows 10でPCを初期状態に戻すときに問題が発生しました。. リセラーアカウントにログイン製品の再販売に関するお問い合わせはこちら. プライバシーポリシーライセンス契約アンインストールお問い合わせ. 製品ダウンロードパートナーオンラインチャット  サポートセンター  オンラインヘルプお支払い方法ダウンロードセンターお問い合わせ返金ポリシー非営利団体割引.

データ復旧 Windows向けデータ復旧 Data Recovery Wizard Free 購入ダウンロード Data Recovery Wizard Pro 購入ダウンロード Data Recovery Wizard WinPE 購入ダウンロード Partition Recovery 購入ダウンロード Email Recovery Wizard 購入ダウンロードおまかせデータ復旧サービス業者向けデータ復旧 Data Recovery Wizard for Win Technician 購入ダウンロード Data Recovery Wizard for Mac Technician 購入ダウンロード MS SQL Recovery 購入ダウンロード Exchange Recovery 購入ダウンロード Mac向けデータ復旧 Data Recovery Wizard for Mac Free 購入ダウンロード Data Recovery Wizard for Mac Pro 購入ダウンロードスマホ向けデータ復旧 Mobisaver for iPhone 購入ダウンロード Mobisaver for Android 購入ダウンロード Mobisaver for Androidアプリ.

バックアップソフト個人ユーザー用 Todo Backup Free 購入ダウンロード Todo Backup Home 購入ダウンロード Todo Backup for Mac 購入ダウンロードご法人様用 Todo Backup 企業版購入ダウンロード Backup Center（集中管理）購入ダウンロード OS2Go ポータブルOS作成購入ダウンロード Disk Copy ディスクコピー購入ダウンロード.

ディスク・パーティション管理個人ユーザー用 Partition Master Free 購入ダウンロード Partition Master Pro 購入ダウンロードご法人様用 Partition Master Server 購入ダウンロード Partition Master Unlimited 購入ダウンロード Partition Master Technician 購入ダウンロード. PC引越し・データ移行 Todo PCTrans Free 購入ダウンロード Todo PCTrans Pro 購入ダウンロード Todo PCTrans Technician 購入ダウンロードＭobimover iOSデータ管理・移行購入ダウンロード Everysync PCデータ同期購入ダウンロード.

その他のユーティリティ MobiUnlock iPhoneロック解除購入ダウンロード MobiAnyGo iOS位置情報変更購入ダウンロード NTFS For Mac MacでNTFSの書き込み購入ダウンロード PDF Editor PDFドキュメント編集購入ダウンロード LockMyFile ファイル暗号化・保護購入ダウンロード CleanGenius for Mac Macクリーンアップ購入ダウンロード. Windows 10アップデートチェック「更新プログラムをチェックしています」から進まない時の対処法.

概要: Windows 10アップデートをチェックすると、画面が「更新プログラムをチェックしています」表示のまま止まってしまい、先に進めません。このような場合、どう対応すればいいでしょうか？その方法を皆さんに紹介します。. Todo Backup 機能一覧ディスク・パーティションのバックアップシステムバックアップファイルバックアップスマートバックアップメールバックアップスケジュールバックアップクラウドへバックアップシステム移行パーティション・ディスククローンシステムクローン WinPE起動ディスクを作成増分・差分バックアップディスク・パーティションを消去目次. EaseUS Todo Backup PC中のデータのセキュリティのため、完全・自動的にバックアップを実行できるバックアップソフトでもあり、ハードディスク・OSを完璧にクローニングできる高度なクローンソフトでもあります。無料ダウンロード.

EaseUSにご連絡お問い合わせ・ヘルプはこちら製品の購入の事前相談. How to Use 記憶媒体復旧ファイル復旧パーティション管理バックアップと復元 PC引越し動画作成・編集 PC画面録画 iOSロック解除. EaseUSについて会社情報パートナー登録リセラー一覧サポートセンター. ALL RIGHTS RESERVED. プライバシーポリシーライセンス契約アンインストールお問い合わせ   .

0 notes

alpaca1 · 4 years ago

Text

Cohesity、バックアップとCDPを一体化した自動DRソリューション

スケールアウト型分散ストレージを提供するCohesityが、バックアップと継続的データ保護（CDP）の機能を単一プラットフォームに統合したシンプルな自動ディザスタリカバリ（DR）ソリューション「Cohesity SiteContinuity」を発表した。 Source: ASCII.jp

View On WordPress

0 notes

tak4hir0 · 4 years ago

Link

原文(投稿日：2020/09/04)へのリンクマルチクラウドアーキテクチャで永続的なデータワークロードを管理することは、オンプレミスおよびパブリッククラウド環境でアプリケーションをホスティングしている組織にとって非常に重要だ。VMware の Aditya Tripathi 氏と Judy Wang 氏は、水曜日に開催された SpringOne 2020 カンファレンスで、マルチクラウド戦略を簡素化するためのアーキテクチャのベストプラクティスについて講演した。いくつかの組織では、マルチクラウドアーキテクチャを活用して、堅牢なディザスタリカバリおよび事業継続戦略を構築している。ステートフルなワークロードをマルチクラウド環境に移行することは複雑だ。そして、企業はこの新しいクラウドインフラストラクチャで動作するようにデータアーキテクチャを近代化する必要がある。マルチクラウドデータ戦略には、データのレプリケーションをデータベース層やメッセージング層のどこで行うべきか、といった疑問に対する解決策が含まれる。 Tripathi 氏と Wang 氏は、マルチクラウドでデータを実行する方法について、制約の理論的アプローチをとった。彼らのプロセスには、以下のようなタスクが含まれている。事業の成果を明確化制限を識別トレードオフの優先順位付けブレインストーミングの解決策事業の成果を特定することには、組織がなぜマルチクラウドアーキテクチャを必要とするのかという根拠を示すことが含まれる。その根拠は、ハリケーンが直撃したときにアプリがすぐに復旧できる（災害復旧）、そのアプリが常に利用可能で顧客にサービスを提供している（高可用性）などが考えられる。次のステップは、組織が抑制されている制限と要因を特定することだ。これらの要因は、ビジネスや組織的なもの（例えば、予算、影響要因、スキルや専門知��、コンプライアンスなど）であったり、技術的なもの（ネットワークやハードウェアの制限、異種アプリケーションの要件、レガシーデータプラットフォームの管理など）であったりする。トレードオフの優先順位付けのステップでは、チームは、異なる設計上の考慮事項の間で、何のために最適化するかを決定する必要がある。例えば、システムが常に利用可能であることよりも、迅速なリカバリーの方が重要なのだろうか？トレードオフは保守管理に関連したものであったり、ベンダーに関連したものであったりする。ベンダーのトレードオフには、パブリッククラウドにおけるサービスマーケットプレイスの選択、データの冗長化、ベンダーのロックインなどがある。最後のステップでは、チームが目標達成に役立つツールやサービスを特定するためのソリューションのためのブレインストーミングを行う。これには、データのレプリケーション（アクティブアクティブかアクティブパッシブか、同期か非同期か）、クラウドフットプリント（すべてのオンプレミスかパブリッククラウドかパブリックとプライベートのハイブリッドか）、キャッシュとレプリケーション、メッセージング、イベントログなどにどのようなデータ技術を使用するかなどのオプションが含まれる。サービスレベルアグリーメント（SLA）が厳しいビジネスアプリケーションは、データセンターレベルでのリカバリー戦略を持っている必要がある。また、チームは GDPR のようなデータ統括規制も考慮する必要がある。それは、組織データを管理するためのインフラをパブリッククラウドでスピンアップすることができない可能性があるということだ。 Wang 氏は、マルチクラウドデータ戦略について、従来のディザスタリカバリと需要の論点について、いくつかの例を挙げて説明し、それぞれの例に応じたソリューションを説明した。 SpringOne 2020 カンファレンスの詳細は、VMWare チームが投稿した主なイベントのウェブサイト、スケジュール、1日目と2日目のハイライトをチェックしてください。

#InfoQ

0 notes

kwy8791 · 5 years ago

Quote

引き続き、接続復旧担当チームとディザスタリカバリ担当チームは復旧作業を続けますが、同社は20分ごとに、まずどちらの方法で復旧するのか状況判断を行ったと説明します。そして結局、失われた接続を復旧する方法を選択します。その理由として、これまで同社が行っていたディザスタリカバリのテストの経験から、フェイルオーバーは簡単だけれど障害復旧後にフェイルバックする作業が非常に複雑だから、でした。

https://www.publickey1.jp/blog/20/cloudflare.html

0 notes

valuepress · 6 years ago

Link

0 notes

murashimatadao · 4 months ago

Text

#ディザスタリカバリ

0 notes

awsexchage · 7 years ago

Photo

基幹システムのAWS全面移行を実現したバンダイナムコグループのビフォ→アフター http://ift.tt/2B7KyfS

創業以来、「世界中で最も期待されるエンターテインメント企業グループ」をビジョンに掲げ、商品・サービスを通じ「夢・遊び・感動」を世界中の人々に提供し続けるバンダイナムコグループ。

遊び心にあふれた魅力ある商品・サービスを次々と生み出していくためには、その中で働くグループ社員が楽しく、そして効率よく働ける環境が欠かせませんが、すべてのグループ企業に対して快適な環境を提供するべく、同グループの管理業務を一元的に担っているのがバンダイナムコビジネスアークです。

バンダイナムコグループの事業基盤を支えるプロフェッショナル集団として、人材発掘/活用や財務戦略の立案、連結/単体決算の実施、そしてグループ企業の事業支援と業務効率改善を実現するIT戦略の立案やシステム開発/保守といった業務を通し、グループ全体にさまざなまシェアードサービスを提供しています。

今回、cloudpackはバンダイナムコビジネスアーク情報システム部 ITインフラセクションに所属するお二人 – デピュティゼネラルマネージャー森田繁様と、ITインフラ・システム管理チームマネージャー長沼正人様にお話を伺いました。

2016年10月、バンダイナムコグループは同社の基幹システムをオンプレミスからAWSクラウドへと全面移行するプロジェクトを開始し、2017年8月からシステムの本番稼働を開始しています。AWSクラウドへの基幹システム移行はここ数年、グローバルでも劇的に増えていますが、国内エンタープライズ企業の事例、それも今回のような全面以降のケースはさほど多くは公開されていません。

日本を代表するエンターテインメント企業はなぜAWSクラウド全面移行へと舵を切ったのでしょうか。本番稼働を無事に終えたお二人に、国内企業にとっても貴重なユースケースである同社の導入事例をあらためて振り返っていただきました。

オンプレミスと同じ環境をクラウドへ移行、できるのはAWSだけだった

まず、クラウドへの全面移行を検討したきっかけについてお話しいただけますか。

長沼：基幹システムのクラウド移行そのものに関してはそれほど議論になりませんでした。むしろハードウェアベンダーにさまざまな条件を握られてしまうオンプレミスよりも、今の時代であれば、インフラをクラウドに寄せておくほうが自分たちの裁量の範囲が大きくなります。我々はインフラに関してはできる限り自分たち自身で手をかけていく方針なので、基幹システムのクラウド移行はほぼ既定路線でした。

バンダイナムコグループのビジネスを支える基幹システムは、バンダイナムコ自身で運用していくという、御社のビジョンにもつながりますね。

森田：自分たちでインフラの面倒を見ずにすべてアウトソースするというのも有効な手段かもしれません。しかし我々は情報システム部門として『任せてしまうインフラ』にはしたくないという思いがありました。我々にとってクラウドの最大のメリットは柔軟性です。それはつまり、自分たち自身で選択できる部分が大きいということでもあります。

たしかに5年前、10年前と異なり、現在ではクラウド、特にAWSクラウドのスケーラビリティやパフォーマンス、セキュリティを疑う声はほとんど聞かなくなりました。むしろオンプレミスよりもビジネスに則した柔軟な構成を取りやすいことから、ハードウェアの更改にあわせてAWSに基幹システムを移行する企業は増え続けています。ですが、今回のバンダイナムコグループのケースのように、一度にすべての基幹システムを移行するケースはまだそれほど多くないかと思われます。全面移行という選択をされた理由について教えてください。

長沼：最初にクラウドへの移行を検討したのは2015年11月ごろですね。全面移行に踏み切った理由はいくつかありますが、最も大きなものは段階的な移行にした場合の沖縄のディザスタリカバリサイトの扱いに悩んでいたからです。DR機能を担保しながら段階的に移行した場合、移行中に災害や障害が発生したときの対応が非常に難しくなります。そのリスクを考えると、ある程度大きなプロジェクトになったとしても一気に全面移行したほうが得策だと判断しました。

森田：全面移行を決めたもうひとつの大きなきっかけは、データセンターの運用負荷増大に伴う無駄な回線やコストですね。ローコストで効率的にグループ全体の業務を支援するためにも、増え続ける無駄な部分をまとめて整理したかったということもあります。

なるほど。バンダイナムコグループ全体の基幹システムのクラウドへの全面移行となると、相当な規模だったかと存じますが、その移行先としてAWSクラウドを選ばれた理由をお聞かせください。最もこのクラスの移行を引き受けられるのは、現実的に考えてAWS以外の選択肢はほとんどないような気もしますが…。

長沼：もちろん世界最大のクラウド事業者であるAWSのことは常に頭にありましたが、ほかのクラウドについても当然ながら検討しました。検討開始が2015年11月で、間にコンサルタント会社に入ってもらい、2016年5月くらいまで約半年かけて検討した結果、AWSクラウドに移行することを正式に決定しました。

やはりエンタープライズにおけるAWSの実績は圧倒的でしたが、我々にとって最も重要だったのは「短期間で、いまある環境を安全・確実にクラウドに移す」という点でした。オンプレミス（VMware）と同じ構成のシステムを、そのままクラウドに移行する。これが可能なベンダーは最終的にはAWSクラウドだけでしたね。

今回、移行のご支援をcloudpackも担当させていただきましたが、全面移行プロジェクトのパートナーとして当社を選ばれた理由についてもぜひお聞かせください。

森田： RFIの段階（2016年5月）でAWSで進めることは決定していたのですが、その後、RFP工程にて移行作業について4社から提案をいただきました。今回のプロジェクトはAWS担当とVMware担当の2社を中心にしたマルチベンダー体制で進めることにしており、cloudpackにはAWS担当としてご支援いただきました。

もともとcloudpackとは、バンダイナムコグループでのおつきあいがあり、ゲーム開発のサーバー構築や分析環境の構築などで技術的なご支援をいただいていたということもありますが、やはりAWSに関する圧倒的な知見と実績を評価しました。そしてこちらの疑問に対する回答が正確で速い。担当者全員がAWSに関するスキルが豊富であることを実感しました。だからこそなのかもしれませんが、提案内容が非常にシンプルだった点も好感を持ちました。問題から逃げずに、我々と一緒に解決しとうとする姿勢にも非常に救われましたね。

先ほども申し上げましたが、今回のプロジェクトはオンプレミスから極力、カタチを変えないでクラウドに持っていくことが短期間移行の最大のポイントになります。したがって複雑なプロセスを組み合わせたり、独自ツールに頼ったりするのではなく、ごくシンプルな方法で移行を実現する内容だったことも決め手のひとつとなりました。

全面移行プロジェクトのヤマ場は本番稼働を控えた2回のリハーサル

ベンダーの選定を終え、2016年10月からいよいよ移行プロジェクトが開始したわけですが、本番稼働までのスケジュールはかなりきっちり決められていたようですね。

長沼：そうですね。目標としていたのは2017年の夏休み期間中に本番移行を完了していることでした。全体的にスピード感ある移行が求められたプロジェクトだったと言えますね。

オンプレミスのVMware環境とほぼ同じ環境をAWSクラウド上に構築すると言われていましたが、具体的にはAWSのどのサービスを使ってどういう構成を取られたのでしょうか。

長沼：基本的な構成としては、メイン環境を東京リージョンに、ディザスタリカバリ環境をオレゴンリージョンに構築しました。メイン環境ではVPC内にERPシステム、分析システムなど業務ごとに50ほどのAmazon EC2インスタンスを立てて、AWS Direct Connectでもってデータセンターと連携させています。また、メイン環境の日々のスナップショットをAMIコピーとしてオレゴンのディザスタリカバリ環境に送信しています。

そのほかにもAWS CloudWatch（ネットワークモニタリング）やAmazon Route 53（ドメインネームシステム）、AWS Lambda（サーバーレス）などを利用していますが、クラウドの利用形態としてはごくシンプルで標準的な構成だと思っています。

移行時は東京リージョンに本番環境50台、開発検証環境に60台のサーバー（インスタンス）を立��ました。オレゴンリージョンで常時稼働しているのは、Active Directory周りのサーバーが十数台だけですね。東京とオレゴンあわせて130台ほどのインスタンスを稼働させています。オンプレミス時と比較すると、ディザスタリカバリサイトの維持費は極小化できています。

移行プロジェクトで苦労した点はどのあたりでしょうか。

森田： AWS上に基盤を構築するまではあっという間でしたね。メインの基盤構築は2016年12月までに完了しており、ディザスタリカバリサイトも2017年2月にはほぼ構築が終わっていました。大変だったのはやはり移行したアプリケーションの動作検証やディザスタリカバリのテスト/訓練、そして本番環境への移行でしょうか。とくに本稼働に備えては、何度も何度もテストやリハーサルを重ねました。

長沼： VMwareからAWSへの移行もVM Import/Exportを使うことで割とスムーズに進みました。懸念だったのはAWSクラウドへのエクスポート後にまったく動かないアプリケーションがあるかもしれないことで、これらを考慮して、移行のための自動化スクリプトを作成し、エクスポート後にミドルウェアやアプリケーションを設定する手間を省いています。アプリケーションの動作検証は2017年4月までには終わっていました。

2017年のゴールデンウィークまでには、AWS基盤もVMware環境の移行およびアプリケーションの検証もほぼ完了していたと。そして5月から本番環境への移行プロジェクトがスタートしたわけですね。

森田： 8月の本番移行完了までにリハーサルを2回やっています。1回目は6月に行い、その結果をもとに移行手順を修正し、本番とほぼ同じ環境で2回目のリハーサルを7月に実施しました。夏休み中にどうしても終わらせるという目標があったので、かなり切迫感はありましたね（笑）本稼働フェーズでは並行してディザスタリカバリのテスト/訓練も行いました。

いますぐサーバーを1台ください！ AWS導入で変わったこと変わらなかったこと

お話を伺っていると本当に丁寧に、それでいてスピーディに移行プロジェクトを進めてきた印象があるのですが、本番移行が完了しての感想をお聞かせください。

長沼：移行が完了したときよりも、9月に入ってからのほうが実感がわいてきましたね。銀行の入出金が確認できたり、月次の決算も問題なく終了したと聞いて「ああ、ちゃんと動いているんだ」と本当にホッとしました（笑）

業務ユーザーの方からは何か言われたりしましたか。

長沼：移行にあたって、業務部門に対しては「ディザスタリカバリの環境が変わります」という視点で説明を行っていました。それにともない、ホスト名は変わらずにIPアドレスだけ変わることを伝えてありましたが、AWS基盤に変わることへの意見は特になかったですね。移行後も何か問題があると言われたことはありません。

森田：業務ユーザーはたぶん、自分たちが使っているインフラがAWSであるという実感はないかもしれませんね。パフォーマンスや機能などの面でクレームがきたこともありません。逆に、業務ユーザーが変化を感じていないということは、当初の『オンプレミス環境をそのままクラウドにもっていく』という目標が達成できた証拠だと思います。

長沼：ただ、AWSに移行したことで何も社内に変化がないかというと、そういうわけでもなくて、少なくとも情報システム部門の人間の意識は確実に変わってきています。

例えば「サーバーを1台、すぐに欲しいんだけど」と言ってくるアプリケーション開発者が増えてきたりして、以前だったら��んな無茶は通るはずもなかったんですが、いまはインスタンスをひとつ立ち上げるだけなので本当に簡単です。インフラがAWSに変わったことで、彼らの意識の中にも「いままでできなかったことができるようになった」という変化が起こっているのではないかと。

森田：我々インフラチームも、今までは各部門への調達後に余ったサーバーを自分たちの勉強用に使っていたりしたのですが、AWSならそうした用途のインスタンスも簡単に立てられます。そういう意味ではエンジニアの感覚はずいぶん変わってきていますね。クラウド、とくにAWSを知らないのはマズイ、という認識がエンジニアの間で拡がってきていると感じます。AWSの勉強をしようと積極的に動くエンジニアが増えてきました。

あとは業務ユーザーに対してもシェアードサービスのコスト説明がしやすくなった点も変化と言えるかもしれません。コストが透明で明朗であることもAWSの大きな魅力のひとつだと実感します。

先ほど、当初からの『オンプレミスをそのままAWSクラウドに移行する』という目的は達成できたと言われましたが、今後はどのようにAWSを活用していきたいと思っていますか。

長沼：今回は基幹システムの全面移行というプロジェクトだったので、EC2をメインにした基盤構築にこだわりましたが、今後はAmazon RDSなどマネージドサービスの運用も検討していきたいと考えています。ただし、最初にも申し上げたとおり、我々は自分たちのインフラは自分たちで持つ、ベンダーに任せっきりにしない、という方針を掲げています。実際にAWSを運用してみて、思った以上に自由度が高いことはわかったので、マネージドサービスを組み合わせるにしても、自分たちでコントロールできることを前提に検討していきたいですね。

最後にあらためて、AWSについての感想をお聞かせください。また、移行を成功させるための秘訣も総括していただけますか。

長沼：「もう1年早く移行してもよかったかな」というのが正直なところです。やはりエンタープライズをまるっと面倒見られるクラウドはAWS以外にないんじゃないでしょうか。私のところには他のベンダーも営業に来られることがあるんですが「AWSと同じだけのことができるようになってから来てください。話はそれから」というと、もう来なくなってしまう（笑）それくらい圧倒的に差があると感じます。

もしこれからAWSへの移行を検討しているという企業があるなら、迷っていないでさっさとトレーニングを受けたりするとか、すぐ行動に移すことをお勧めします。迷っている時間は本当に無駄ですよ。

森田： AWSクラウドへの移行を成功させる最大のポイントは、できるだけシンプルを極めることかと思います。ツールに頼るよりも、仕組みを作ることに時間をかけるほうが、あとの作業が楽になるはずです。仕組みというのは『流す順番』と言ってもいいかもしれないですね。最初に手順をきっちり作り込む、可能な限り自動化する、シンプルな方向で手順を進める、そしてAWSに知見があるパートナーと組む。これらをクリアすればAWSクラウドへの移行は、たとえVMware環境からの全面移行でも大きな問題なく進めることができると思います。

無事に基幹システムのクラウド移行が済んだところで、これからがクラウド活用の第2フェーズですね。バンダイナムコグループがクラウドでどう変化していくのか、とても楽しみです。今日は貴重なお話をありがとうございました。