記事一覧
[いつか書く] たくさんの計算をたくさんの計算機で行う
NGSデータ解析のためのコンピュータ入門シリーズ第2段。
プロセスとスレッドの違い。ジョブスケジューラの使いかた。CPU core数とスロットの指定。ジョブは小さくたくさん。たくさんジョブを投げるときはプライオリティを下げておく。ディスクIOの節約。パイプを駆使してなるべくオンメモリ計算、出力は圧縮しながら書き込む。NFSとIO。iostat, nfsstat など。
大きなデータファイルがオリジナルと同一かを確認する
note.mu の使い方に迷っていたところですが、次世代DNAシーケンサ(NGS)のデータ解析初心者に聞かれたことを淡々と書くのはありかも。特にコンピューティングについては基礎的すぎて、NGS解析という文脈で整理されていないので書く価値があるかもしれません。早速、最近聞かれたことを書きます。
外付けHDDで数TBのデータが *.tar.bz, *.tar.gz などで送られてくるみなさん、こんば
俺に必要なゲノムブラウザ案
「俺」に必要なゲノムブラウザについて考えてみる。ほかの人に必要かは知らない。ゲノムブラウザとはゲノム情報とともに解析データや公共バイオデータベースのデータを閲覧するためのソフトウェアのこと。
状況RNA-SeqとChIP-Seqのデータ解析が主。多型解析とかリシーケンスとかメタゲノムは知らない。ラボ内イントラにあるPCクラスタでデータ解析している。シーケンス実験手法を開発していたり、解析手法やパ