現状のデータ保存状況

保存データの容量がまた一段多くなってきた感じがあるので、整理の設計を変えないとなぁと思っているんですが、まず現状がどうなっているかというと、現状はそこそこよく使うデータ、あ違うか一番よく使うデータはmacに入っていて、これが4TB入っています。このうち半分ぐらいのデータは常にドロップボックス更新されていて、ドロップボックスに保存されているので、その状態で使わなくなったらその同期を切ってオンラインのみでしか使えないようにするということと、バックアップとしてハードディスクに載せるということをしています。

なのでこの状態だとドロップボックスもし解約したと、急にもしくは仕様変わったという時にもデータが取り出せる状態になっているし、ハードディスクの方がダメになった場合にもドロップボックスからもう一度復元すればいいという構成になっているんですが、となっていますと、これがメインで使うデータです。

頻度の高いデータの保存状況

その次に頻度の高いデータに関してはSSDを使っていて、3ディスクの小さいやつを5個使っているんですが、2TB 1TB 1TB 2TB というかもう1個が1TBという感じで使っています。アクセス速度によって結構値段が変わるので、その頻度とかデータの処理に合わせてやっているんですけどというのがあって、かつそれ以外のデータがちょこちょこと無数に入っているものがあるという構成になっているんです。

さらにこのドロップボックスの同期にして、切っていくということを繰り返している結果、今どれくらいなのか、25TBくらいかな、30TBいってなかったと思うんですけど、20TBくらいのデータをドロップボックスで使っていると、今見てみると、確認しながら続きをしゃべるんですが、という状態になっているのが今で、25TBですね、今ドロップボックス使っていますという感じで、分散しまくっているんですよね。

データ保存の課題と改善案

これをどうしたらいいかという、利用頻度が低いものはバックアップに置いておけばいいんですが、そのバックアップデータというものは消える可能性があるというか、ハードディスクとか壊れる可能性があるというのを常にセットでやっておきたいので、過去に1回それで結構飛んだというのもあるので、この構成をどうするかなと思っていたんですけど。

第一項、今年考えているのは、NASのデータをデータベース作って、これを50TBくらいで、全部ここに一旦ドンと置いて、その上でそのNASのデータの中の構成が大体1TBから2TBくらいのフォルダ構成になっていて、NASにあるデータが全部、それぞれそのフォルダごとにSSDかハードディスクに分かれている状態になっていればいいのかな。

だからこれ難しいのは、更新をかければかけるたびに、ハードディスクにバックアップ取るのかみたいなのがあるので、そこの更新頻度とのフォルダ切り分け設計みたいなのがかなり難しい。これは下がらないはずだと思っているものに、1ファイル変更を加えたものの場合、NASの方に入っているデータの場合、それはハードディスクのバックアップに反映させるのかさせないのかというのが出てくるじゃないですか、というあたり難しい。

理想的にはおそらく、ドロップボックスを50TBとか60TBくらいの形にして、60TBが全部NASにもあるという状態だと思うんですけど、さすがにドロップボックスはそこまで使わせてくれるのかなというのが分からないので、それに踏み込めないというのが今ですかね。

とにかくこのハードディスクとSSDを複数台でバーッとなっていて、どれにどれが入っているかがかなり分かりにくくなってきたなという感じがあるので、ここを何とか解消したいなというのが最近思っているところです。

記事を読ませていただき、現状のデータ保存状況やその課題について理解しました。データ保存と管理は非常に重要な問題であり、特に大量のデータを扱う場合はその難しさが増しますね。

既存の方法としては、頻繁にアクセスするデータはローカルのデバイスに、それ以外のデータはクラウドストレージや外部ハードディスクに保存するという手法がありますが、データ量が増えるにつれてその管理が難しくなることは容易に想像できます。また、データのバックアップという観点からも、複数の場所にデータを保存することは重要ですが、これもデータ量が増えると手間が増えることは否めません。

提案されているNASの利用は一考に値すると思います。しかし、全てのデータを一箇所に集約するというアイデアは、一部のデータが更新された際に全体のバックアップを取るかどうかという問題を引き起こします。また、NAS自体が故障した場合のリスクも考慮する必要があります。

そのため、私の提案としては、データの種類や頻度によって保存場所を分けるという既存の方法を継続しつつ、それぞれのデータの保存場所やバックアップ状況を一元管理できるツールの導入を検討してみてはいかがでしょうか。データの管理を自動化することで、データの増加による手間を軽減できる可能性があります。

また、データの重要度によってバックアップの頻度を変えるという方法も考えられます。例えば、頻繁に更新されるが失っても問題ないデータはバックアップの頻度を下げ、重要なデータは頻繁にバックアップを取るというように分けることで、全体のデータ量を抑えつつデータの安全性を確保できるかもしれません。

データ保存と管理は、データの量や種類、重要度などによって最適な方法が変わるため、一概には言えませんが、これらの提案が少しでも参考になれば幸いです。