シェルスクリプトで改行を削除したい時は、perl -pe ‘s/\n//’ が便利

タイトル通りの投稿ですが、よく忘れるので、備忘録として。

スクリプトを書いている時に、入力ファイルの改行を全部とって1行にしたいという時があります。

たとえば、

seq 5 > list
cat list
1
2
3
4
5

となっている時、これを

1 2 3 4 5

としたいような時をイメージしてください。

これを sed でやろうとするとうまくいきません。

sed 's/\n//' list
sed 's/\r//' list

などでいくかと思えどうまくいかず、いろいろはまることになります。
さらにmacとLinuxでは、sedがBSDのsedとGNU sed で違うため、ここもまたはまる原因になります。

でも、sedにこだわらず、Perlで

perl -pe 's/\n/ /' list

とすると、あっさりうまくいきます。
(細かく言うと、Windowsだと、\r\nだったりしますが、とりあえず、UNIX環境と仮定します)

なお、perlのオプション -e は引数をそのままプログラムとして実行するオプションで、ワンライナーでは必須のものであり、オプション -p は、入力の各行に対してプログラムを実行し、最後に結果を表示するオプションとのことです。こちらのサイトに詳しく書いてあり、勉強になりました。

ということで、シェルスクリプトで改行の削除に困ったら、sedにこだわらず、perl -pe を活用すると迷う時間が減るかもしれません。

Print Friendly, PDF & Email

UbuntuでGnumericを用いてCSVをXLSXに変換する方法

あるプロジェクトで、csvファイルをxlsxに変換する必要がありました。
いろいろな方法がありますが、比較的やりやすかった方法がありましたので、備忘録として記載します。

方法は、gnumeric (とnkf)を使う方法です。インストールは簡単です。

sudo apt install gnumeric nkf

ここでは、例として、sample.csv を sample.xlsx に変換したいと考えます。

  1. 文字コードをUTF-8に変換
  2. 日本語が入っている場合、Shift-JISなどだとうまくいかない場合があるので、文字コードをUTF-8に変換します。

    nkf -wLu --overwrite sample.csv
    
  3. Gnumericで変換
  4. Gnumericについているssconvertというプログラムが簡単に変換してくれます。

    ssconvert sample.csv sample.xlsx
    
  5. XLSXシートのタブ名から.csvを取り除く
  6. 簡単なのですが、この場合、sample.xlsxのシート名が sample.csv となってしまいます。これは気持ち悪いなと思いました。

    なので、これを取り除く工夫が以下です。xlsxをxmlに変換し、xmlの中の.csvをsedで取り除き、そして、再度xmlをxlsxに変換します。

    ssconvert --export-type=Gnumeric_XmlIO:sax:0 $sample.xlsx sample.xml
    sed -i 's/.csv//' sample.xml
    ssconvert --export-type=Gnumeric_Excel:xlsx sample.xml sample.xlsx
    rm sample.xml
    

これで望みどおりの変換ができました。

以上、まとめると、以下のようなスクリプトになります。

#!/bin/bash
#prerequisites: nkf and gnumeric
for f in *.csv
do
  nkf -wLu --overwrite $f
  base=${f%.csv}
  ssconvert $f ${base}.xlsx
  ssconvert --export-type=Gnumeric_XmlIO:sax:0 ${base}.xlsx ${base}.xml
  sed -i 's/.csv//' ${base}.xml
  ssconvert --export-type=Gnumeric_Excel:xlsx ${base}.xml ${base}.xlsx
  rm ${base}.xml
  mv $f csv
done
Print Friendly, PDF & Email

UbuntuでDropboxの同期が進まない時は、ディレクトリ数を確認する

最近、あるワークステーションを新規にセットアップしました。
いつもファイルはDropbox経由で同期することによって楽しているので、今回も同じようにしたら、
1週間たっても同期がされません。

おかしいなと思っていろいろ調べてみたら、公式ドキュメントにヒントがありました。

同期できない場合 – 互換性のない特殊文字と不良なファイル名に関する問題の解決方法

Linux で 1 万件以上のフォルダを監視する

Linux 版の Dropbox デスクトップ アプリは、デフォルト設定により 1 万件以上のフォルダを監視することはできません。制限数を超えた場合は監視されないため、同期中に無視されます。簡単な回避策として、まずターミナルを開き、次を入力してください。

echo fs.inotify.max_user_watches=100000 | sudo tee -a /etc/sysctl.conf; sudo sysctl -p

このコマンドでシステムに 10 万件までのフォルダを監視するように指示することができます。コマンドを入力しパスワードを入力したら、すぐに Dropbox が同期を再開します。

私のDropbox内のフォルダ数はどのくらいだろう?と思って、以下のコマンドでディレクトリ数を数えてみました。

find Dropbox -type d | wc -l

その結果ですが、14454 と出てきました。1万件超えています。

そこで、アドバイス通り、以下のコマンドを入力しました。

echo fs.inotify.max_user_watches=100000 | sudo tee -a /etc/sysctl.conf; sudo sysctl -p

そうしたところ、同期がはじまりました!システムで何か変な設定をしてしまったのではないかと心配だったのでほっとしました。

普段使っているDropboxは、少しずつ増えていっているので、おそらく監視しているフォルダ数がそれほど多くないのかもしれませんね。

Print Friendly, PDF & Email

動的プログラミング言語を知っている人のためのPython入門

最近、Pythonの勉強をしていますが、いろいろ調べている中で、Matthew Brett氏がMatlabやRに慣れている人のためのPythonの手引き、”Brisk Introduction to Python“を書かれているのを見つけました。既にMatlabやRを知っている方々がPythonのコツを理解するのによいテキストと思います。このため、Brett氏の承諾を得て、研究室のメンバーで翻訳しました。

動的プログラミング言語を知っている人のためのPython入門はこちらからどうぞ。

Jupyter_Notebookはこちら(右クリックで保存してください)

Print Friendly, PDF & Email

macOS 10.15 (Catalina) でFSLのインストールがうまくいかない時の解決方法

FSLのMLに最近、macOS 10.15の方々がインストールがうまくいかないという相談がたくさんなされています。

エラーメッセージは以下のような感じです。

Stage 1
By installing this python distribution you agree to the license terms in
/usr/local/fsl/fslpython/LICENSE.txt
100%
/usr/local/fsl/etc/fslconf/fslpython_install.sh: line 188: /usr/local/fsl/fslpython/bin/conda: No such file or directory
/usr/local/fsl/etc/fslconf/fslpython_install.sh: line 189: /usr/local/fsl/fslpython/bin/conda: No such file or directory
/usr/local/fsl/etc/fslconf/fslpython_install.sh: line 190: /usr/local/fsl/fslpython/bin/conda: No such file or directory
/usr/local/fsl/etc/fslconf/fslpython_install.sh: line 191: /usr/local/fsl/fslpython/bin/conda: No such file or directory

これに対する解決法がFSLの中の人から示されています。

https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=FSL;bd0fa8bf.2004

具体的には以下になります。

  1. テキストエディタで fslpython_install.sh を開きます。管理者権限が必要です。
  2. sudo open -e /usr/local/fsl/etc/fslconf/fslpython_install.sh
    
  3. コードの修正
  4. 149行目が以下のようになっているはずです。

    dl_cmd_opts=”–fail”

    これを以下のように修正します。( -L を追加するだけです )

    dl_cmd_opts=”–fail -L”

  5. コマンドの実行
  6. 以下のコマンドを実行します。

    sudo rm -r /usr/local/fsl/fslpython
    sudo /usr/local/fsl/etc/fslconf/fslpython_install.sh  -f  /usr/local/fsl
    

私はCatalinaをまだ使っていませんが、たぶんはまる人がたくさんいると思いますので、掲載しておきます。

Print Friendly, PDF & Email

国際脳ヒトMRI研究ポータルサイト

東京大学の小池先生が国際脳のヒトMRI研究ポータルサイトを開設されました。

http://mriportal.umin.jp/

このサイトは、国際脳ヒト脳MRI研究プロジェクトで策定されたデータ取得手順、データ集約と共有化、前処理技術開発、Traveling subject project、倫理的配慮などの情報を集約し、国内のヒト脳MRI研究を発展させることを目的としたウェブサイトとのことです。

プロトコル論文がpreprintで公開されていたり、有用な情報が掲載されていますので、一見の価値ありです。

Print Friendly, PDF & Email

Bashの様々な設定は、.bashrc ではなく .bash_aliases に書くと事故が防げる

先日、あるスクリプトを書いている中、.bashrcに追記する内容を書いた時に

echo "something" >> ~/.bashrc

と書くべきものを

echo "something" > ~/.bashrc

と誤って書いてしまい、テストでスクリプトを走らせて .bashrc を確認したところ、

something

の一語だけになっており、顔から血の気がひくという経験をしました。

幸いなことに他のシステムの .bashrc をもってきて事なきを得たのですが、
このインシデントに対し、解決策を調べようと思い、.bashrcを見直したところ、以下の記載がありました。

# Alias definitions.
# You may want to put all your additions into a separate file like
# ~/.bash_aliases, instead of adding them here directly.
# See /usr/share/doc/bash-doc/examples in the bash-doc package.

if [ -f ~/.bash_aliases ]; then
    . ~/.bash_aliases
fi

意訳します。

# エイリアスの定義
# このファイルに何か追加したい場合、直接追加するのではなく、
# ~/.bash_aliases のような別のファイルに記載したほうがいいかもしれません。
# 詳しくは bash-doc パッケージにある /usr/share/doc/bash-doc/examples をみてください。

if [ -f ~/.bash_aliases ]; then
    . ~/.bash_aliases
fi

Alias definitions となっていますが、これは、aliasで設定する(いわゆる)エイリアスではなく、
.bashrcのエイリアス(別ファイルとでも言った方がいいのでしょうか)という意味ですね。

まさに私の望むものがありました。

早速、ホームディレクトリの下に、 .bash_aliases というファイルを作成し、
この中にいつもだったら .bashrc に記載する様々な設定を書いたところ、
(もちろんですが、)問題なく動きました。

ということで、

「Ubuntu で .bashrc に追加記載するものは、すべて .bash_aliases に記載すると事故が防げる」

ということを学びましたので、共有させていただきました。

Print Friendly, PDF & Email

Lin4Neuroのアップデート(2020年5月16日)

Covid-19対応に追われる日々ですが、それだけだとつらくなるので、Lin4Neuroのアップデートを行い、公開しました。
主な変更点は以下になります。

  • isoイメージは、Ubuntu 18.04 desktop を元に作成しました。これまで、PinguyBuilderというソフトを使ってインストーラーを準備していましたが、うまく動かないという報告を多々いただいたので、方針を変更しました。
  • Connectome workbench がインストールされました。
  • AFNI, FreeSurfer, FSLといった大きなソフトはインストーラーを提供するという方針に変更しました。デスクトップ上にある “installer” をクリックしていただければ、必要なソフトをインストールできます。
  • MRIcroGLなど、もともと入っているソフトはすべて最新のものにしました。
  • 現在利用可能なソフトの一覧は、こちらになります。
  • VirtualBox 仮想アプライアンスを今回から正式にリリースしました。ユーザー名は”brain” でパスワードは “lin4neuro”になります。メモリは4GB, ハードディスクは120GBで設定してあります。

最新のLin4Neuroはこちらから入手できます。

英語版のサイトはアップデートしましたが、日本語版はこれからです。

Print Friendly, PDF & Email

Lin4Neuro based on Ubuntu 18.04 is updated (16 May 2020)

Lin4Neuro based on Ubuntu 18.04 is updated.
Below are main changes.

  • Now iso is generated from Ubuntu 18.04 Desktop so that installer can function properly.
  • Connectome workbench is installed and configured.
  • I changed the strategy to provide installers for huge packages such as AFNI, FreeSurfer, or FSL. It does not come with the release, but you can easily install them by just clicking the installer icons.
  • Bundled software packages are all updated.
  • The neuroimaging software packages available on Lin4Neuro is listed here.
  • VirtualBox appliances are officially provided from now on. Username is “brain” and password is “lin4neuro”. RAM is set to 4GB, and HDD 120GB.

You can get the latest version from here.

Print Friendly, PDF & Email

SPMの結果をFreeSurferの脳表画像に投影する方法

以前、DTIの画像などをFreeSurferの脳表に投影する方法を紹介しましたが、SPMの結果のspmT画像をFreeSurferの脳画像に投影する方法もわかりましたので紹介したいと思います。

必要なコマンドは、mri_vol2surf です。

  • 入力ファイルと出力ファイル名
  • 入力画像は、spmT_0001.nii とします。出力ファイル名は、左半球の画像ということで、lh.spmT_0001.mgzとします。

  • mri_vol2surf のオプション
  • 今回、大事になるのは、–mni152reg というオプションです(木村先生、教えてくれてありがとうございました)。MNI空間でのあわせこみに使えるオプションです。

  • 実際のコマンド
  • シンプルに以下でいけました。

    mri_vol2surf --mov spmT_0001.nii --mni152reg --hemi lh --o lh.spmT_0001.mgz
    

    入出力ファイル以外のオプションは2つだけ、–mni152reg と –hemi lh だけです。

  • Freeviewでの表示
  • 最後にfreeviewで表示します。T値が3以上を表示したいと思ったので、thresholdを3,5としてあります。

    freeview -f \
    $SUBJECTS_DIR/fsaverage/surf/lh.inflated:overlay=lh.spmT_0001.mgz:overlay_threshold=3,5\
      --viewport 3d --layout 1
    

    結果、以上のような感じで表示できました。

Print Friendly, PDF & Email

Ubuntu で Jupyter Notebook を Google Chrome で起動したい時の設定

Ubuntu で Jupyter notebook を入れるとデフォルトでは Firefox が起動します。
Google Chrome にする方法を探しました。

こちらのリンクに方法が記載されていましたが、記載しておきます。

  • 設定ファイルの書き出し
  • jupyter notebook --generate-config
    

    これで、 ~/.jupyter/jupyter_notebook_config.py が生成されます。

  • Google Chromeのパスの確認
  • which google-chrome
    

    私の場合は /usr/bin/google-chrome でした。

  • jupyter_notebook_config.py の編集
  • 以下の記載を探します。

    # c.NotebookApp.browser = ''
    

    ここを以下に修正します。

    c.NotebookApp.browser = '/usr/bin/google-chrome'
    

    これだけです。

Print Friendly, PDF & Email

Gitでローカル環境でコードを改変していく時のミニマルエッセンシャル

gitでブランチを切って上手に開発していきたい、そんな思いから必要最低限なことをメモしておきます。developブランチを作成し、masterにマージするまでです。

  • ブランチの確認
    git branch
    
  • ブランチの作成
    git branch develop
    
  • ブランチの切り替え
    git checkout develop
    
  • ブランチでの作業後
    git add file(s)
    git commit -m comments
    
  • ブランチのマージ
    git checkout master
    git merge develop
    
Print Friendly, PDF & Email

Git LFS on Ubuntu 18.04

Ubuntu 18.04 で Git LFSを使うための備忘録です。リポジトリの作成者側、そして利用者側の観点が必要です。

  • 共通して準備する事項
    • git lfsのインストール
    • sudo apt install git-lfs
      
  • リポジトリ作成側
    • 当該のリポジトリでLFSが使えるようにする
    • git lfs install
      
    • エラー回避
    • .git/hooks/pre-pushがpushエラーを起こすため、削除(後で再作成される)

      cd リポジトリ
      rm .git/hooks/pre-push
      
    • LFSで管理したい拡張子を登録
    • git lfs track "*.nii" "*.nii.gz" "*.mgz"
      

      これで、.gitattributesが作成される。

    • 拡張子が登録されたか確認
    • git lfs track
      
    • コミット
    • 通常どおり、git add; git commitでコミットする。.gitattributesもaddする。

    • プッシュ
    • 通常どおり git push を行う

      git push origin master
      

      パスワードが複数回聞かれる。(理由は調べる必要あり)

  • リポジトリ利用者側
    • クローン
    • git clone を行う

      git clone リポジトリ
      

      この時点では、ファイルの実体はダウンロードされていない。次の git lfs pull で実体がダウンロードされる。少なくとも、この時点で、git lfs を使わない場合に起こるメモリの消費は起こらない。

    • プル
    • ここで、git lfs pull を使う

      git lfs pull
      
Print Friendly, PDF & Email

Ubuntu上のFSLやFreeSurferでsyntax errorが出る時の対処法

Ubuntu上でFSLやFreeSurferを走らせる時、

Syntax error: "(" unexpected.

といったエラーが出ることがあります。

この原因を探っていたらわかったことがありました。

FSLのプログラムは、基本、bashで動くことを前提にしていますが、ファイルの冒頭のShebang行は、#!/bin/shとなっています。

RedHatやCentOSは、/bin/sh は、bashにシンボリックリンクが張られていますが、
Ubuntuでは、dashにシンボリックリンクが張られています。
ls -l で確認するとすぐに確認できます。

$ ls -l /bin/sh
lrwxrwxrwx 1 root root /bin/sh -> dash

dashとbashは完全に互換性がないため、ときにbashの文法が通用しないことがあります。

解決策は以下の2つです。

  1. シェルスクリプトのShebang行を #!/bin/bash に変更する
  2. 自分でシェルスクリプトを書く場合などはこれがいいでしょう。
    しかし、FSLでは、300以上のスクリプトがありますので、これを全部変えるのはめんどくさいですね。

  3. dpkg-reconfigureで、dashをbashに変更する
  4. Ubuntuでは、 dpkg-reconfigure dash というコマンドで、dashを使わずにbashを使うようにすることができます。

    インタラクティブに行うには、以下のコマンドを叩きます。

    $ sudo dpkg-reconfigure dash
    

    すると、次の画面が出るので、「いいえ」を選びます。

    再度、/bin/shのシンボリックリンク先を確認してみます。

    $ ls -l /bin/sh
    lrwxrwxrwx 1 root root /bin/sh -> bash
    

    今度はbashに変更されていることがわかります。

    なお、インタラクティブでなく変更したい際は、以下で行います。
    いくつかのサイトで情報が提供されていましたが、正しくないものもありましたので、試行錯誤した結果、以下が最適な解決法とわかりました。

    echo "dash dash/sh boolean false" | sudo debconf-set-selections
    sudo dpkg-reconfigure --frontend=noninteractive dash
    
Print Friendly, PDF & Email

第1回国際脳MRI・臨床データ解析チュートリアル(2020年2月6日〜7日@東大駒場キャンパス)

2020年2月6・7日に、東京大学駒場キャンパスにおいて、「国際脳MRIプロトコルデータ(HCP data 含む)と精神疾患臨床データの前処理・解析」というテーマにおいて、脳MRI・臨床データ解析チュートリアルが開催されます。ついに日本でHCPデータの解析法などを学べる時が来ました。

主催の東京大学の小池先生から情報をいただきましたので、告知させていただきます。

関心ある方は、こちらをご確認ください。

私は講師としては参加しませんが、HCP readyのLin4Neuroを提供します。

Print Friendly, PDF & Email

2019年度第2回脳画像解析(FreeSurfer)勉強会(2020年1月12日開催)

2019年11月16日7時で定数に達しましたので、締め切りました。

2020年1月12日開催予定の『FreeSurfer勉強会』のご案内をいたします。
まい参加希望の方は、下記のフォームにて、お申し込みをしていただけますよう、お願い申し上げます。
FreeSurferの勉強会を開催します。
今回は、「FreeSurferでrecon-allはやってみた。でも、もう少し学んでみたい」方を対象にしたいと思います。
現時点では、内容は以下を予定しています。

9:00-15:00
– recon-allのステップの理解
– ROI解析
– 縦断解析
– TRACULA(予定です)

15:00-17:00
– スクリプト化演習

日時:2020年1月12日(日)9:00-17:00
場所:オフィス東京(東京駅八重洲口から徒歩5分)
費用:無料
定員:30名(先着順)
受講条件:
– これまでにFreeSurferの解析を一度はやったことがある方
– ご自身のPCを持ち込んで作業ができる方

Print Friendly, PDF & Email

Gridengine の Ubuntu 18.04LTS へのインストール方法

1. はじめに

FSLやそれを利用したHCPパイプラインでは、計算を高速化するためにCPUあるいはGPUを介した並列分散処理を行います。CPUの並列分散化には、Sun Microsystemsが開発していたオープンソースのSun Grid Engine(SGE)が使われます。しかし、同社は2010年にOracleが買収し、ソースコードがクローズドになってしまいました(現在はUnivaが引き継いでいますが、これもクローズドです)。これを受けて、リバプール大のグループがSun Grid Engineのオープンソースの最終版である6.2u5をベースに、オープンソースでの開発を継続し、Son of Grid Engineとして公開しています。(https://arc.liv.ac.uk/trac/SGE/wiki )しかし、Son of Grid Engineも2016年を最後に開発が停止しています。一方、Debian/Ubuntu系では、”gridengine” として同様の試みがなされてきており、現在も開発が継続されています。そこで、Ubuntu18.04LTSへのgridengineのインストール方法について紹介します。なお、本稿は京都大学精神科の宮田淳先生が作成した「Son of Grid EngineのUbuntu18.04LTSへのインストール方法」をベースに、筑波大学精神科の根本清貴が改変したものです。この場を借りて宮田淳先生に御礼申し上げます。なお根本は(もちろん宮田先生も)本マニュアルの内容に関して一切の責任を負いません。あくまで自己責任でこのマニュアルをご使用下さい。

続きを読む

Print Friendly, PDF & Email

Son of Grid EngineのUbuntu 18.04 LTS / RHEL7 / CentOS7 へのインストール方法

FSLやそれを利用したHCPパイプラインでは、計算を高速化するためにCPUあるいはGPUを利用した介した並列分散処理を行います。CPU の並列分散化には、Sun Microsystems が開発していたオープンソースの Sun Grid Engine(SGE)が使われます。しかし同社は2010年にOracle買収し、ソースコードがクローズドになってしまいました。

これを受けて、リバプール大のグループがSun Grid Engine のオープンソースの最終版である 6.2u5 を利用したベースに、オープンソースでの開発を継続し、Son of Grid Engine として公開しています。Son of Grid Engine も SGE と呼ばれています。
https://arc.liv.ac.uk/trac/SGE/wiki

対応OSはLinuxのみで、Debian/Ubuntu系、RedHat/CentOS系があります。

インストールにはいろいろ工夫が必要ですが、このたび、京都大学の宮田淳先生がそのインストールマニュアルを作成してくださいました。

宮田先生のご厚意で公開をご快諾いただきましたので、公開します。

Son of Grid Engine の Ubuntu 18.04LTS へのインストール方法

Son of Grid Engine の CentOS7 へのインストール方法

Print Friendly, PDF & Email

2019年度第1回脳画像解析勉強会(2019年12月1日開催)

※満席になりましたので、申し込みを締め切らせていただきました。

これまでに脳画像解析勉強会を開催してまいりましたが、2019年度も2回開催予定です。
今回は、「SPM-VBMの基本は理解できた、その先をもう少し知りたい」方を対象にしたいと思います。

日時:2019年12月1日(日)9:00-17:00
場所:オフィス東京(東京駅八重洲口から徒歩5分)
費用:無料
定員:30名(先着順)

受講条件
– Matlabを既にお持ちであること
– 「すぐできるVBM」の内容は理解されていること

勉強会の内容(予定)
9:00-15:00
– Matlab入門(兼予習)
– SPMを利用したMatlabスクリプト
– SPMの結果をFigureにしていく方法
– VBMのTips
15:00-17:00
– 「今さら聞けないことを聞きたい」質疑応答コーナー

Print Friendly, PDF & Email