投稿

ラベル(S3)が付いた投稿を表示しています

s3fsをkillする方法 | ライタス株式会社

s3fsを使って、大量のファイルをやり取りしていると、 通信端点が接続されていません なんていうエラーがしょっちゅう発生しています。 なんでか調べているのですが、これといった収穫はありません。 どうすればいいのかというと、アンマウントした後、再接続すれば復旧することがわかっています。 s3fsは、killコマンドにてプロセスkillによってアンマウントするのですが、 シェルの形にするには、PIDを特定する方法が必要です。 調べたところ、実行中のコマンドのPIDを特定する方法がありました。 http://www.syboos.jp/linux/doc/kill-process-from-process-name.html 上記ページをみて作ったコマンドが以下。 kill -9 ps auxw | grep s3fs | egrep -v grep | awk '{print $2}' 試してませんが、なんとかシェルが組めそうです。 ただ、こうした対症療法ではなく、ちゃんとできる方法を考えないと・・・なのですが、 なにかわかったら報告したいと思います。 本記事は、弊社代表のブログ記事 なんでもIT屋の宿命 からの記事を加筆修正したものです。

SFTPのタイムアウト調整 | ライタス株式会社

NTTクラウドエヌのオブジェクトストレージを s3fsでマウントして、sambaやwebdavで共有してみましたが、 途中でセッションが切れる(頻繁)・・・ので、SFTPでやることにしました。 WinSCPを使って、ミラーリングアップロードをやってみたのですが、 50MBを超えたあたりのファイルから、時々接続タイムアウトが発生するようになりました。 せっかく書き込みに成功しているっぽいのですが、ファイルクローズ処理に失敗しているようです。 うまくいくこともあるのですが、失敗するケースがほとんどなので、 どうしたものか悩んだ挙句、正攻法(?)の解決として、接続タイムアウトを伸ばすことにしました。 今のところ、とりあえず、600秒に設定して様子を見ています。 やはり、s3fsでマウントした領域は、レスポンスが良くない(当然ですが)ので、 それなりの工夫が必要そうです。。。 WinSCPでの設定として、私が行ったのは、 .filepartファイルを作成しない 接続タイムアウト600秒 ぐらいだったかと。。。 何かの役に立てば幸いです。 本記事は、弊社代表のブログ記事 なんでもIT屋の宿命 からの記事を加筆修正したものです。

WindowsでS3バックアップを実現する ~dgsyncを使う~ | ライタス株式会社

オフィスの引越があるので、ファイルサーバーもお引越しすることになりまして、 以前作成したS3バックアップの見直しをしています。 クラウド上に作ったLinuxを使って転送する方式では、 ネットワーク速度は稼げても、S3への転送が時々失敗することがあり、 イマイチ信頼性に欠けるので、合わせて見直しをしようかと思いました。 そんなとき、 Windowsで コマンドラインで S3へバックアップを簡単に実現する という観点で調べていたところ、dgsyncというものを発見しました。 http://www.tdn.co.jp/techblog/201206/52/ 大元は、DragonDiskというソフトで、S3ストレージ用のGUIを提供しているツールなのですが、 dgsyncというコマンドライン用ツールを一緒に配布しています。 http://www.dragondisk.com/ 使い方は、上記サイトにありましたので、そのまま流用したところ、 エラー 2013/08/23 13:22:17 SideBySide 33 なし dgsync.exe" のアクティブ化コンテキストの生成に失敗しました。 従属アセンブリ Microsoft.VC90.CRT,processorArchitecture="x86",publicKeyToken="1fc8b3b9a1e18e3b",type="win32",version="9.0.21022.8" が見つかりませんでした。 詳細な診断を行うには sxstrace.exe を実行してください。 なんていうエラーが出るのですが、Microsoft Visual C++ 2008 再頒布可能パッケージ (x86)をインストールすれば解消しました。 簡単にバックアップができるので、ありがたく利用させていただこうと思います。 本記事は、弊社代表のブログ記事 なんでもIT屋の宿命 からの記事を加筆修正したものです。

ニフティクラウドでハマる s3fs編 | ライタス株式会社

相変わらずs3fsか! と言われそうですが、知り合いのサーバーの設定を頼まれましたので、やっている最中です。 今回は、ニフティクラウドさんの環境でやらせていただいているのですが、 クラウドエヌよりs3のスピードが圧倒的に早いです。 素晴らしいの一言と言いたいところですが、いくつか困ったこともあります。 今回ドハマリしたポイント、それは、「名前解決」です。 なんでまた、、、という気がしてしまうのですが、ニフティクラウドでは、キャッシュDNSを用意してくれていません。 http://cloud.nifty.com/cs/catalog/cloud_faq/catalog_121214001076_1.htm ですので、デフォルトのサーバーイメージでは、Bindがフルオープンで構築されています。 今回構築するサーバーでは、Bindなんて危なっかしいサービス(失礼!)を使うつもりはさらさらなかったので、(仕方なく)パブリックDNSを使うことにしました。 /etc/resolv.confを設定して、yumしてs3fsを設定して再起動~したら、 入力/出力エラー え・・・なんで・・・と思ってmessagesを確認したところ、 ### CURLE_COULDNT_RESOLVE_HOST trying... give up とか出力されていました。 resolv.confは設定したのにー と思って見たところ、 綺麗サッパリ消えてました 。 そのくせ、nslookupがちゃんと名前引けるあたりに悪意を感じます。(これのせいで発見が遅れました) resolv.confが消える現象については、調べてみたところ、たくさん事例がありまして、 皆さん苦労なさってるご様子。 原因は、NetworkManagerのようでしたので、停止して、resolv.confを設定して、再起動したところ、 ちゃんと動いてくれました。 NetworkManagerを停止して規約的に問題ないのかなぁ。。。と不安になりつつ、 とりあえず、うまく行ったので、OKとしました。 ニフティがせめて、DNSの設定をもう少し考えてくれたら・・・いいのになぁ・・・と思う次第でした。 (それぐらい分かれよと言われそうですけど) 本記...

Cloudnお試ししてます | ライタス株式会社

イメージ
たまには、楽しい話もしないとやってられません。 というわけで(?)、クラウドストレージを検証しています。 有名ドコロは、Amazon S3、Windows Azureといったところですが、 日本のベンダーでクラウドストレージ(オンラインストレージ?)を展開しているところがあります。 私の会社では、円決済(しかも銀行振込とか)じゃないと、なにかと都合が悪いらしいので、 さらっと調べたところ、ニフティクラウドストレージというのと、クラウドエヌというのがありましたので、 無料キャンペーン中という言葉に惹かれて、クラウドエヌをお試ししてみました。 (記載時は、5000円分無料キャンペーン中です) 使ってみれば、あら簡単。 説明書どおりにやれば、あまり書くことがないのですが、、、 GUI上からいじれる部分は、やはり使いにくい部分があるので、 REST APIを使って、何かしてやろうと思いました。 クラウドエヌにかぎらず、ニフティクラウドでも一緒のようですが、Cloudianというソリューションで実装されているストレージサービスは、共通でREST APIという通信でやり取りできるみたいですので、 他にも流用可能という恩恵を受けることができます。 自力でREST APIを書くには、気合が多分に必要なので、とりあえずのツールでお試ししました。 試したツールは、Cyberduck(http://cyberduck.ch/)です。 GPL2.0ライセンスなので、ご利用のときはご注意を。 寄付募集らしいので、気に入っていただければ、いくらか寄付してくださいね。 まずは、クラウドエヌ上のコンソールから、Strage Objectを利用可能な状態にします。 アクセスするためのキーを確認します。 Cyberduckを起動して、必要な情報を入力します。 種別をS3 サーバーを str.cloudn-service.com アクセスキーとシークレットキーを記入して、接続します。 接続出来れば、バケットが表示されるはずです。 いかがでしたでしょうか。 ストレージを扱う上で、用語がいまいちピンと来ないですが、慣れの問題でしょうね。 何かわかったら、追記しようと思います。 本記事は、弊社代...

Cloudn ObjectStrageをs3fsでマウントする | ライタス株式会社

色々調べていて、やっと見つけました。 s3fsでニフクラストレージをマウントする http://ncloud.cocolog-nifty.com/blog/2012/07/s3fs-f85b.html ほぼ同じ手順のトレースですが、ちょっと違う手順もあったので、 その部分を含めて記載しておこうと思います。 まず、ライブラリのインストールですが、同じ手順でいけました。 # yum install -y \ # gcc \ # gcc-c++ \ # libstdc++-devel \ # curl-devel \ # libxml2-devel \ # openssl-devel \ # mailcap \ # make 次に、FUSEをインストールします。 fuseのバージョンが2.9.2になっていましたので、そちらを使って見ることにしました。 FUSEとは、 Filesystem in Userspaceの略らしいです。 よく知らないので、そのうち調べてみようと思いますが、 とりあえず、インストールします。 # wget http://downloads.sourceforge.net/project/fuse/fuse-2.X/2.9.2/fuse-2.9.2.tar.gz # tar xvzf fuse-2.9.2.tar.gz # cd fuse-2.9.2 # ./configure prefix=/usr # make # make install # ldconfig # modprobe fuse いよいよの本丸、s3fsをインストールします。 こちらの手順は、お手本と同じです。 # cd /usr/local/src # curl -L https://github.com/memorycraft/s3fs-cloudpack/tarball/master -o s3fs-cloudpack.tgz # tar xfz s3fs-cloudpack.tgz # cd memorycraft-s3fs-cloudpack-a5e4da3 # chmod 755 configure # export PKG_CONFIG_PATH=/usr/lib/pkgconfig:/usr...

s3fsでローカルキャッシュを使う | ライタス株式会社

ヘルプや記事を読めばわかるのですが、意外とはまってしまったので、記事にします。 s3fsでは、読み書きの遅いS3ストレージを使いやすくするために、 ローカルディスクを一次キャッシュとして使うことができます。 コマンドは以下の感じでお使いください。 s3fs [バケット名] [マウント先] -o url=[S3公開URL] -o allow_other -o use_cahce=[キャッシュ先] S3公開URLは、アマゾンの場合は、必要ありませんので、念のため。 ポイントは、use_cacheオプションです。 マウント先を指定するところがミソです。 一旦キャッシュに入ったファイルは、頃合いを見て減っていくはず・・・ と思ったら減りませんでした。 手動で削除すればいいのでしょうか・・・? キャッシュについては、オフィシャルwikiに記載があったので、転記します。 If enabled via "use_cache" option, s3fs automatically maintains a local cache of files in the folder specified by use_cache. Whenever s3fs needs to read or write a file on s3 it first downloads the entire file locally to the folder specified by use_cache and operates on it. When fuse release() is called, s3fs will re-upload the file to s3 if it has been changed. s3fs uses md5 checksums to minimize downloads from s3. Note: this is different from the stat cache (see below). Local file caching works by calculating and comparing md5 checksums (ETag HTTP header). The folder ...