2005年度の後半に行いました表記の実験について報告します。この実験は、宇宙研 (主に松崎・田村)、国立天文台 (Solar-B プロジェクト・ネットワーク担当者)、および(株)システム計画研究所の共同でおこないました。また国立情報学研究所が提供するネットワークおよび研究費を利用しました。

１．実験の目的

　2006年度の夏に Solar-B (太陽観測衛星)が打ち上げ予定です。宇宙研と天文台が中心となり、海外を含む多数の研究機関が参加しているプロジェクトです。衛星のデータは、両研究機関でパイプライン処理をおこない、世界中の研究者に提供されます。 国内では、両機関に多くのデータ解析者がいます。これらのパイプライン処理やデータ解析をスムースに行うには、両機関の間に高速で安全なネットワークが不可欠です。

　幸に、両機関はスーパー SINET に接続されています。以前よりスーパー SINET を用いて高速データ転送の実験をおこなってきました。ただし、これまで用いてきたギガビット専用線による接続は、2007年度より MPLS/VPN 接続に移行される計画です (移行によって、コスト削減が期待できます)。 そこで、実際に、二機関に MPLS/VPN 回線を設置し、データ転送・共有の実地試験を行います。
　実験の目標は、以下の二つです。

1. パイプライン処理・データ転送のために、スーパー SINET のベストエフォート値である1 Gbps に近い帯域を確認する。
2. 両機関でのデータ解析の利便性のため、200 Mbps × 5 接続のファイル共有を実現できること。
   

　スーパー SINET/MPLS 回線上にプライベートな実験ネットワーク(VLAN) を設置しました (図1)。

図1　実験に用いた天文台−宇宙研間のネットワーク構成図

表1に用いた計算機環境を示します。

表1　実験に用いた計算機環境

ネットワーク転送のプロトコルとして、TCP と UDP を比較しながら利用しました。TCP のデータ転送は、相手の応答を取りながらおこないます(コネクション指向)。相手の応答が一定時間ない場合は、データを再送します。したがって、データ転送の正確さと順序の正しさを TCP が面倒みてくれます。 一方、UDP は、コネクションレスで「力任せに」データを送ります。 信頼性は保証してくれませんが、相手との応答にともなうオーバーヘッドを最小にできます。NFS は、バージョン3を用いました。 転送フレームサイズは、1500バイトです。

３．基礎試験

　宇宙研-天文台間の MPLS 回線の性能を測定しました。遅延時間は、約9 ms でした。一方、ギガビット専用線の場合は約 6 ms です。 参考までに、LAN 単体では 0.1-0.5 ms 以下でした。

　ネットワーク単体での利用可能な帯域は、最大で 900-1000 Mbps であり、公称値の 1 Gbps に近いことが確認できました。 ただし、TCP/UDP 層とアプリケーション層の通信に用いるソケットバッファーの値を適当に設定する必要があります。その値は、それぞれの環境での BDP (Bandwidth Delay Products; 帯域 と遅延時間の積) を目安にします。我々の場合、BDP = 1 Gbps×9 ms = 約 1Mbyte です。今回の環境では、TCP の場合 1 MB 以上、UDP の場合は、64 KB 以上にする必要がありました。

　この程度の高速通信になると計算機のネットワークインターフェースカード (NIC) や内部バス性能も重要です。例えば、今回の実験の一部で用いた低価格パソコンの NIC/PCI バスでは、700 Mbps 以上の速度がでませんでした。PCI Express バスであれば問題ないようです。

　TCP による双方向の同時通信をおこなった場合には、先に転送を開始した通信に帯域が占有されてしまい、もう一方では、十分な帯域が確保できないことが分かりました。これは、TCP 固有の問題です。

　今回の実験では、サーバに内蔵のハードディスクを用いました。 これらのデータ転送速度を測定しました (表2)。

転送速度は、ハードディスク単体の性能に加え、ファイルサイズやメモリの大きさに依存します。計算機のメモリよりサイズの小さなファイルを扱う場合には、ハードディスクの性能は、ネットワークの速度に比べ問題ありません。ただし、それより大きなファイルを扱う場合には、(特に書き込み時に) 注意が必要です。

４．アプリケーション試験

1. NFS によるデータ共有 : TCP および UDP のどちらを使っても、300 Mbpsでファイル参照ができることを確認できました。ただし、上で述べたように適当なソケットバッファーの値、十分な性能の NIC や内部バスが不可欠です。また、NFS クライアントを5つ同時に用いた場合には、合計で 500〜900 Mbps、それぞれ 100〜200 Mbps のファイル参照ができることを確認しました。ただし、上で述べたように複数のTCP接続がある場合には、先にセッションを開始した接続が大きな帯域を占有し、他の接続が低速になることが分かりました。
   
   
2. FTP/rsync による転送 : FTP においても、適当なパラメータ・機器設定をすることで、最大 270 Mbps の転送を実現できました。rsync では、適当なテキストファイルを圧縮転送した場合は、最大 200 Mbps の転送を確認できました。圧縮をしない場合は、60 Mbps 程度でした (この値は当然テキストファイルの中身によります)。

　なお、今回の実験の成果物として(1) 実験手順書／結果報告書、(2) 環境構築／アドミニストレータマニュアル、(3) ユーザマニュアルを作成しました。興味のある方は田村まで連絡ください。

この号の目次へ	宇宙科学データの音声化-PLAIN センターでの研修成果報告- へ