読んだ論文の備忘録です。毎週月曜日に更新されます。
1
Guo H, Chao H, Xu S, Wood BJ, Wang J, Yan P. Ultrasound Volume Reconstruction From Freehand Scans Without Tracking. IEEE Trans Biomed Eng. 2023 Mar;70(3):970-979. doi: 10.1109/TBME.2022.3206596. Epub 2023 Feb 17. PMID: 36103448; PMCID: PMC10011008.
概要
スペックルパターンの移動から超音波プローブの位置姿勢の時間変化を推定することにより、外部の装置によるトラッキングを行わずに、超音波画像のみをデータとして超音波から三次元再構成を行うことを目的とした研究。基本的な題材は前立腺の超音波検査だが、ほかの領域についても応用可能だとしている。
応用上の意義
位置情報のトラッキングには超音波プローブとは別にカメラなどが必要になってくるし、座標変換などの考慮も必要になってくるのでシステムが複雑になる。そこを省けるのなら意義深い。
先行研究との比較
2画像間でのスペックルパターンの相関を調べるなどして移動量を推定する手法は前からあったが、より長いスパンで情報を総合し、移動を推定して精度を改善するのが今回の論文の提案手法ということになってくるらしい。
ポイント
アーキテクチャの実態としては、時間的に連続している複数の超音波画像(つまり、映像の各フレーム)を入力として受け取り、対応する6自由度の運動を推定して出力するというものになる。アーキテクチャの構造はわかるようでいてわからず、あんまり中間層の設計の意図が読めない。そろそろ機械学習の体系的な勉強をするべきでは？
特筆すべき点があるとすれば、6自由度の位置姿勢変化を推定するという目的に合わせた損失関数の設計だ。これもちょっとよくわからないけれど、点間の距離の関係について近いペアを近く、遠いペアを遠いとちゃんと判断できていないときに損失を与える……といったようなことっぽい。
実証手法
3D再構成で予測された移動量の瞬間的な誤差、あるいは蓄積された誤差、観察対象(前立腺)の形状に関するDiceスコアなどで定量的にモデルを評価し、過去のモデルとの比較とアブレーション研究のための指標としている。
批判
再構築された結果は大きさ・長さの面では正解データから乖離しているが、トポロジカルな構造の面においてはいい線をいっているように見える。構造が見えるだけでも有意義な診断分野もあると思うので、これの類似度を定量的に評価できるような指標がほしいところ(あるのか？)。
感想
外部のセンサを用いない3D超音波再構成というのは初めて見た気がする。将来性も感じる。とはいえ、超音波画像でなければ(自然な風景や置物などに対してなら)撮影した画像を組み合わせて立体を再構成する技術はとっくに開発されていたものでもある。何が超音波への応用を妨げていたのか理解することがこれからの進歩にもつながりそうだと思う。
2
Punn, N.S., Agarwal, S. Modality specific U-Net variants for biomedical image segmentation: a survey. Artif Intell Rev 55, 5845–5889 (2022). https://doi.org/10.1007/s10462-022-10152-1
概要
医用画像分割の分野で広く用いられているU-Net系の深層学習アーキテクチャについてまとめた総説論文。今回は総説論文の読み方を理解することを目的としている。
ポイント
総説論文でさえIMRADに近い形式で書かれているのが面白かった。論文検索に用いたキーワードや選定の基準などもある程度具体的に明示し、再現性のあるサーベイを行おうとしているのはすごい面白い。
ちょっと具体的な話についてはまとめきれない。45ページあるんですよこれ。読めん読めん。
一つ注目すべきことがあるとすれば、モダリティ(ここでは画像撮影の様式のこと。例えばCT、MRI、US、PETなどのカテゴリがある。モダリティが変わるだけで画像の性質は様変わりする)が比較のための枠組みとして用いられていることだ。あるモダリティの画像を分析するのに使われているものが、U-Netの歴史的な発展を追った枠組みで分析されている他、モダリティ間での比較も行われている。
ネットワークが主役になるのでそこの比較や歴史的展開の観察が中心になってはいるが、ネットワークの評価手法や損失関数なんかの技術的な細部にも触れられており、体系的な知識が提供されていて、本当にすごいと思う。痒い所全てに手が届く教科書的な知識体系の構成はそう簡単に再現できる仕事ではないだろう。
しかしそれでも体系化を拒むのが先端研究というものなのか、どうしても個別具体的なネットワークの特徴の紹介と列挙に終始している部分がある印象は否めない。ネットワークの構成と特性を統一的に議論できるような理論はあるのだろうか？そんなものがあればこの手の研究はもはや先端ではなくなるのだろうが……
感想
そういえばResNetの原理と意義とか全然理解してないなあということを思い出したのでやっておきたい。
3
A. Horé and D. Ziou, "Image Quality Metrics: PSNR vs. SSIM," 2010 20th International Conference on Pattern Recognition, Istanbul, Turkey, 2010, pp. 2366-2369, doi: 10.1109/ICPR.2010.579.
概要
2画像の間でSN比を計算するPSNR、類似性などを評価するSSIMという二つの定量的な指標の間にある関係と差異について、解析的・実験的に分析する論文。"一般的な"条件下では、2つの指標の間にほぼ線型な関係が成り立つことを示した。
応用上の意義
PSNRもSSIMも画像処理の分野でよく用いられる指標だが、あまり直感的には理解しづらいものなのでこういう解説があるととても助かる。それは分野全体にとっても同じなようで、引用件数は現時点で3227を数えている。
先行研究との比較
2指標間にある関係自体は実験的になんとなく気づかれていたものでもあるらしいが、きっちりと解析して実証を行ったのはこの論文が初めてということになる。
ポイント
数学的に厳密にやろうとすると解析的な議論をするのは困難になるのだが、一般的な画像の性質を用い、いくつかの前提条件を付与することで議論を簡単にしている(画像の分散が0になる場合を考えないとか、だいたいの画像の平均輝度が一定の範囲内に収まること(輝度は正規化が容易なので、生データを扱う必要があるとかでもなければ人間にとって心地よい範囲に調整されるのは当たり前と言えば当たり前)を利用して関数を定数に落とすとか)。複雑性を落とすために近似を挟むのは全時間ならびに全空間でやられている理論構築の仕事で当たり前に行われていることではあるんだけど、画像処理の分野でやっているのを見るのはちょっと新鮮だ。
実証手法
解析的な手法で2指標間に関係性がありそうだという仮説の提示を行い、実際に一般的な画像のデータセットを用いて2指標について計算を行った結果をまとめて検証している。
批判
一般的な画像ではそうなのかもしれないが、一般的でない画像についてこの関係が成り立つのかはちょっとやってみないとわからない。医用画像のモダリティはカメラロールに残るようなそれとは極めて異なるため。
感想
わかりやすかった。短かったし。
4
Hasan Basri Sezer, Aysun Sezer, Automatic segmentation and classification of neonatal hips according to Graf’s sonographic method: A computer-aided diagnosis system, Applied Soft Computing, Volume 82, 2019, 105516, ISSN 1568-4946, https://doi.org/10.1016/j.asoc.2019.105516.
概要
発育性股関節形成不全(DDH)の超音波診断には超音波画像に映っている解剖学的構造の正確な位置・形状同定が必要だが、この作業は難しい。それを支援するため、粒子群最適化(PSO)と統計的レベルセット法(SLS)を用いて画像を分割する手法を扱っている論文。見落としの少ない(特異度の高い)、正確な画像分割システムの実現に成功している。
応用上の意義
超音波画像の読みときは難しいし、(人間が)訓練するにしたって教師データが必要なので、この手の画像分割による支援には──最終的な目標が人間の代替であるか、人間の支援にあるかはともかく──需要がある。
先行研究との比較
先行する研究で提示されたアルゴリズムの欠点の克服と性能の改善が目標とされている。丁寧に表にまでまとめられているが先行するアルゴリズムのことをよく知らないのでよくわからない。 active contours method も local Chan-Vese も初めて聞いた単語だが、どうやら解析的に定義できる方法での画像分割法の一種らしい。機械学習と違って説明可能性が高そう。
ポイント
PSOとSLSを複合して段階的に画像分割をやっている。具体的にはどういうことか？というのも、SLSは初期条件として与えられた輪郭をなんかこうイイ感じにこね回してイイ感じの画像分割を行う手法なのだが、最初に与える輪郭がどれくらいよさげかによって最終的な結果も左右されるし、グローバルな文脈を捉えるのが苦手。そこで、最初のやつをPSOで決定させるとグローバルな文脈を踏まえたよさげな輪郭が出力されるので、最終的にイイ感じの結果が得られたらしい。PSOによる画像分割の性質もSLSについてもよくわからないので正直わからない。
実証手法
作ったシステムを実際に試し、医師の結果と比較して十分な精度が出ているか検証している。
批判
この手法って他の疾患に対してはどれくらい有効なのかなあとか、所与のデータセットにスペシフィックなシステムになってしまっていて再現性が取れなかったりしないのかなあ、とは思う。しかし論文の記述を読む限りではめちゃくちゃロバストなシステムになってもいる。最近ようやく機械学習に慣れてきたところにこれが来たので正直言って勘所がわからないのはあると思う。逃げるな。
感想
きょうび深層学習ではない古典的なアルゴリズムで画像分割タスクを扱っている論文はかなり珍しいと思うが、システムの成績はかなりいい。解析的なので説明可能性もあるし教師データの量にそこまで性能が左右されないのも素晴らしい。もしかしたら深層学習ってオワコンなんかなあ？
5
Lee, K., Yang, J., Lee, M.H., Chang, J.H., Kim, JY., Hwang, J.Y. (2022). USG-Net: Deep Learning-based Ultrasound Scanning-Guide for an Orthopedic Sonographer. In: Wang, L., Dou, Q., Fletcher, P.T., Speidel, S., Li, S. (eds) Medical Image Computing and Computer Assisted Intervention – MICCAI 2022. MICCAI 2022. Lecture Notes in Computer Science, vol 13437. Springer, Cham. https://doi.org/10.1007/978-3-031-16449-1_3
概要
2次元画像による超音波検査でのプローブ操作を支援する深層学習ネットワーク: USG-Net、およびそれの訓練のためのデータセット構築手法を提案する論文。提案手法が臨床で試されたわけではないが、交差検証ではいい結果を出している。
応用上の意義
非侵襲的で低コストな超音波はMRIなどに代わる画像診断手法として注目されているが、超音波検査時に正確な位置にプローブを置くのはめちゃくちゃ難しいといった技術的な困難がある。ので、それの支援には意義がある。
先行研究との比較
先行研究として、慣性計測装置(IMU)を用いて教師データに必要なプローブ移動の情報を取得しているものがあるが、それではIMUのためにノイズなどの問題が発生している。この研究ではIMUのような外部の装置を用いずに教師データを作成している。
ポイント
データセットの構築手法が面白い。訓練のための教師データとして最終的に必要になってくるのは「そこに目標が映っているかどうか」「映っていないなら、どっちの方向にプローブを動かした方がいいか」の2つについて ground truth を持っている2次元画像のデータセットなのだが、それを構築するためにまず3Dの超音波画像を取得している。そこに、医師によって疾患の三次元的な位置を同定してもらう。あとは3次元の超音波画像を適当な平面で切って2Dの超音波画像を断面図として取得し、医師によって既知になっている疾患の位置情報から平面内に疾患があるか、ないならどっちの方向に動かせばいいかをアルゴリズム的に計算すれば教師データが作成できるというわけ。
USG-Netも、敵対的生成ネットワーク(GAN)を使って三次元的な解剖学的構造の情報をモデルに学習させようとしていたりと興味深い要素がもりだくさんなのだが、設計と結果の因果関係はよくわからない。有効性自体はアブレーション研究で実証されているのが厄介なところで……深層学習の説明可能性の低さで全て片付けていいかな？
実証手法
アブレーション研究によるネットワークアーキテクチャの有効性の確認と交差検証。
批判
ナビゲーションのためには当然リアルタイムでの推論が必要なのだが、モデルの推論時間に関する情報が書かれてと思う。
感想
データセット構築手法がすばらしい。新規性があるし、構造として単純なので、論文で扱われている腱板断裂の診断の他にも似たような多くの疾患について応用可能だと思う。ただ、大量の2次元画像が同一の3次元画像から、つまり同一の患者から生成されているこの手法で、患者の多様性に対応できるか、患者が変わっときにどれくらい性能が低下するのかは気になるところだ。検証も難しいんですけれどね。
