投稿

ラベル(s3fs)が付いた投稿を表示しています

s3fsをkillする方法 | ライタス株式会社

s3fsを使って、大量のファイルをやり取りしていると、 通信端点が接続されていません なんていうエラーがしょっちゅう発生しています。 なんでか調べているのですが、これといった収穫はありません。 どうすればいいのかというと、アンマウントした後、再接続すれば復旧することがわかっています。 s3fsは、killコマンドにてプロセスkillによってアンマウントするのですが、 シェルの形にするには、PIDを特定する方法が必要です。 調べたところ、実行中のコマンドのPIDを特定する方法がありました。 http://www.syboos.jp/linux/doc/kill-process-from-process-name.html 上記ページをみて作ったコマンドが以下。 kill -9 ps auxw | grep s3fs | egrep -v grep | awk '{print $2}' 試してませんが、なんとかシェルが組めそうです。 ただ、こうした対症療法ではなく、ちゃんとできる方法を考えないと・・・なのですが、 なにかわかったら報告したいと思います。 本記事は、弊社代表のブログ記事 なんでもIT屋の宿命 からの記事を加筆修正したものです。

ニフティクラウドでハマる s3fs編 | ライタス株式会社

相変わらずs3fsか! と言われそうですが、知り合いのサーバーの設定を頼まれましたので、やっている最中です。 今回は、ニフティクラウドさんの環境でやらせていただいているのですが、 クラウドエヌよりs3のスピードが圧倒的に早いです。 素晴らしいの一言と言いたいところですが、いくつか困ったこともあります。 今回ドハマリしたポイント、それは、「名前解決」です。 なんでまた、、、という気がしてしまうのですが、ニフティクラウドでは、キャッシュDNSを用意してくれていません。 http://cloud.nifty.com/cs/catalog/cloud_faq/catalog_121214001076_1.htm ですので、デフォルトのサーバーイメージでは、Bindがフルオープンで構築されています。 今回構築するサーバーでは、Bindなんて危なっかしいサービス(失礼!)を使うつもりはさらさらなかったので、(仕方なく)パブリックDNSを使うことにしました。 /etc/resolv.confを設定して、yumしてs3fsを設定して再起動~したら、 入力/出力エラー え・・・なんで・・・と思ってmessagesを確認したところ、 ### CURLE_COULDNT_RESOLVE_HOST trying... give up とか出力されていました。 resolv.confは設定したのにー と思って見たところ、 綺麗サッパリ消えてました 。 そのくせ、nslookupがちゃんと名前引けるあたりに悪意を感じます。(これのせいで発見が遅れました) resolv.confが消える現象については、調べてみたところ、たくさん事例がありまして、 皆さん苦労なさってるご様子。 原因は、NetworkManagerのようでしたので、停止して、resolv.confを設定して、再起動したところ、 ちゃんと動いてくれました。 NetworkManagerを停止して規約的に問題ないのかなぁ。。。と不安になりつつ、 とりあえず、うまく行ったので、OKとしました。 ニフティがせめて、DNSの設定をもう少し考えてくれたら・・・いいのになぁ・・・と思う次第でした。 (それぐらい分かれよと言われそうですけど) 本記...

Cloudn ObjectStrageをs3fsでマウントする | ライタス株式会社

色々調べていて、やっと見つけました。 s3fsでニフクラストレージをマウントする http://ncloud.cocolog-nifty.com/blog/2012/07/s3fs-f85b.html ほぼ同じ手順のトレースですが、ちょっと違う手順もあったので、 その部分を含めて記載しておこうと思います。 まず、ライブラリのインストールですが、同じ手順でいけました。 # yum install -y \ # gcc \ # gcc-c++ \ # libstdc++-devel \ # curl-devel \ # libxml2-devel \ # openssl-devel \ # mailcap \ # make 次に、FUSEをインストールします。 fuseのバージョンが2.9.2になっていましたので、そちらを使って見ることにしました。 FUSEとは、 Filesystem in Userspaceの略らしいです。 よく知らないので、そのうち調べてみようと思いますが、 とりあえず、インストールします。 # wget http://downloads.sourceforge.net/project/fuse/fuse-2.X/2.9.2/fuse-2.9.2.tar.gz # tar xvzf fuse-2.9.2.tar.gz # cd fuse-2.9.2 # ./configure prefix=/usr # make # make install # ldconfig # modprobe fuse いよいよの本丸、s3fsをインストールします。 こちらの手順は、お手本と同じです。 # cd /usr/local/src # curl -L https://github.com/memorycraft/s3fs-cloudpack/tarball/master -o s3fs-cloudpack.tgz # tar xfz s3fs-cloudpack.tgz # cd memorycraft-s3fs-cloudpack-a5e4da3 # chmod 755 configure # export PKG_CONFIG_PATH=/usr/lib/pkgconfig:/usr...

s3fsでローカルキャッシュを使う | ライタス株式会社

ヘルプや記事を読めばわかるのですが、意外とはまってしまったので、記事にします。 s3fsでは、読み書きの遅いS3ストレージを使いやすくするために、 ローカルディスクを一次キャッシュとして使うことができます。 コマンドは以下の感じでお使いください。 s3fs [バケット名] [マウント先] -o url=[S3公開URL] -o allow_other -o use_cahce=[キャッシュ先] S3公開URLは、アマゾンの場合は、必要ありませんので、念のため。 ポイントは、use_cacheオプションです。 マウント先を指定するところがミソです。 一旦キャッシュに入ったファイルは、頃合いを見て減っていくはず・・・ と思ったら減りませんでした。 手動で削除すればいいのでしょうか・・・? キャッシュについては、オフィシャルwikiに記載があったので、転記します。 If enabled via "use_cache" option, s3fs automatically maintains a local cache of files in the folder specified by use_cache. Whenever s3fs needs to read or write a file on s3 it first downloads the entire file locally to the folder specified by use_cache and operates on it. When fuse release() is called, s3fs will re-upload the file to s3 if it has been changed. s3fs uses md5 checksums to minimize downloads from s3. Note: this is different from the stat cache (see below). Local file caching works by calculating and comparing md5 checksums (ETag HTTP header). The folder ...