s3fsでローカルキャッシュを使う | ライタス株式会社


ヘルプや記事を読めばわかるのですが、意外とはまってしまったので、記事にします。

s3fsでは、読み書きの遅いS3ストレージを使いやすくするために、
ローカルディスクを一次キャッシュとして使うことができます。

コマンドは以下の感じでお使いください。

s3fs [バケット名] [マウント先] -o url=[S3公開URL] -o allow_other -o use_cahce=[キャッシュ先]


S3公開URLは、アマゾンの場合は、必要ありませんので、念のため。

ポイントは、use_cacheオプションです。 マウント先を指定するところがミソです。


一旦キャッシュに入ったファイルは、頃合いを見て減っていくはず・・・
と思ったら減りませんでした。

手動で削除すればいいのでしょうか・・・?

キャッシュについては、オフィシャルwikiに記載があったので、転記します。
If enabled via "use_cache" option, s3fs automatically maintains a local cache of files in the folder specified by use_cache. Whenever s3fs needs to read or write a file on s3 it first downloads the entire file locally to the folder specified by use_cache and operates on it. When fuse release() is called, s3fs will re-upload the file to s3 if it has been changed. s3fs uses md5 checksums to minimize downloads from s3. Note: this is different from the stat cache (see below).
Local file caching works by calculating and comparing md5 checksums (ETag HTTP header).
The folder specified by use_cache is just a local cache. It can be deleted at any time. s3fs re-builds it on demand. Note: this directory grows unbounded and can fill up a file system dependent upon the bucket and reads to that bucket. Take precaution by using a quota system or routinely clearing the cache (or some other method).

英語が苦手ですが、何とか読んでみると

use_cacheを有効にした場合、s3fsは指定したフォルダにファイルを自動配置します。s3fsgがファイルを読み書きするとき、use_cacheで指定されたローカルキャッシュにS3からダウンロードします。fuseファイルシステムがrelease()を呼んだら、s3fsは、変更されたファイルを、s3にアップロードします。 ※これは、stat cacheと異なっているファイルを指します。 キャッシュされたローカルファイルは、MD5チェックサム(HTTPヘッダーのETagを使用)と比較され、同期されます。use_cacheで指定されたフォルダは、ローカルキャッシュとして動作します。ローカルキャッシュのファイルは、いつでも削除が可能です。s3fsはオンデマンドでリビルドします。 ※キャッシュで指定したディレクトリは、際限なくいっぱいになります。いっぱいになると、バケットからデータを直接を参照するようになります。こうならないように、ときどきキャッシュをクリアするように心がけて下さい。

訳は、ところどころ間違っていると思うので、指摘が欲しいところです。

キャッシュクリアは手動ですか・・・cronで削除するような仕掛けが必要ですね。 たぶん。

使ってみたところ、確かにリードは早くなった気がします。が、ライトはそんなに変わりませんでした。(当たり前?)
どう振る舞うのかわかりにくいので、使うかどうかは、ローカルリソースとの相談になるかと思います。


本記事は、弊社代表のブログ記事なんでもIT屋の宿命からの転載です。

コメント

このブログの人気の投稿

[Virus Error]と件名に挿入されたメール

Firefoxを起動したら、Couldn't load XPCOM. というエラーが出る時の対処法 | ライタス株式会社

マテビュー(マテリアライズドビュー:Materialized View)のせいで、表領域が削除ができない | ライタス株式会社