実践的！FPGA開発セミナーvol.19 （2023/02/22）

3.4K Views

February 22, 23

#fpga #fpga開発 #fpga開発シリーズ #FPGA #SmartNIC #Intel® Agilex™ #Corundum #Network Processing

スライド概要

フィックスターズならではの「FPGA」に関する高速化手法、効率的な開発ノウハウ、苦労話などについてお話しいたします。

＜講演内容＞

1．オープンソースで FPGA ボードを SmartNIC 化！
ネットワークインターフェスカード(NIC) に複雑なネットワーク処理をオフロードして、CPU への負荷を軽減する SmartNIC が注目されています。
SmartNIC には、高速 IO、IO 直近での高速処理、柔軟な機能変更、が要求され、FPGA の特性を十分に発揮できるアプリケーションと言えます。
FPGA を NIC 化するデザインはオープンソースで公開されているものがあり、このデザインを利用して独自のユーザーロジックを挿入すれば、様々な FPGA ボードを SmartNIC 化することが可能です。
今回、Intel Agilex FPGA ボードと corundum (https://github.com/corundum/corundum)、
AMD Xilinx Alveo U250 と open-nic (https://github.com/Xilinx/open-nic)
の組み合わせで動作を試したので紹介します。
FPGA のネットワークアプリケーションの開発経験のある方もない方も、ぜひご聴講下さい。

2．Lightning Talk！
①格安FPGAボードのすすめその2
②Latticeの小規模・低消費電力FPGA iCE40でハマった話

・当社技術ブログ記事：　https://proc-cpuinfo.fixstars.com/

・フィックスターズグループ／セミナー一覧：　https://www.fixstars.com/ja/seminar

・フィックスターズのFPGAシステム開発：　https://www.fixstars.com/ja/services/fpga

株式会社フィックスターズ

@fixstars

スライド一覧

フィックスターズは、コンピュータの性能を最大限に引き出すソフトウェア開発のスペシャリストです。車載、産業機器、金融、医療など、幅広い分野での開発経験があります。また、ディープラーニングや機械学習などの最先端技術にも力を入れています。並列化や最適化技術を駆使して、マルチコアCPU、GPU、FPGA、量子アニーリングマシンなど、さまざまなハードウェアでソフトウェアを高速化するサービスを提供しています。さらに、長年の経験から培ったハードウェアの知識と最適化ノウハウを活かし、高精度で高性能なアルゴリズムの開発も行っています。　　　　　　・開催セミナー一覧：https://www.fixstars.com/ja/seminar　　・技術ブログ：https://proc-cpuinfo.fixstars.com/

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.76MB)

関連スライド

Kaggleスコアアップセミナー～画像系コンペ入門[前編]（2023/08/02）

kaggle 画像処理機械学習深層学習ディープラーニングコンペ初心者 kaggleスコアアップシリーズ

株式会社フィックスターズ 63.4K

いまさら聞けない ARM を使ったNEONの基礎と活用事例（2021/08/05）

arm neon

株式会社フィックスターズ 38.4K

ROS2自律走行実現に向けて 2 ～次世代ロボット開発フレームワークROS2のビルドシステム徹底理解～（2022/11/30）

ros2 gpu ロボット自律走行 ros2シリーズ高速化シリーズ

株式会社フィックスターズ 30.5K

Kaggleスコアアップセミナー～画像系コンペ入門[後編]（2023/09/26）

kaggle 画像処理機械学習ディープラーニングコンペ初心者 kaggleスコアアップシリーズ

株式会社フィックスターズ 29.9K

いまさら聞けない！CUDA高速化入門～プログラミングモデルとアーキテクチャの解説、高速化の実践～（2021/10/29）

cuda gpu cuda高速化高速化シリーズ

株式会社フィックスターズ 28.9K

CUDA高速化セミナー vol.2 ～CUDAアーキテクチャの進化～（2022/06/23）

gpu cuda cuda高速化高速化シリーズ cuda高速化シリーズ

株式会社フィックスターズ 26.8K

各ページのテキスト

本題の前に・・・ ● 実践的！FPGA 開発セミナー vol.15 「続 Intel® Agilex™ 開発キットを用いた各種機能トライアル」 ■ HPS (ARMコア) 上での Linux 起動を紹介 ● インテル® FPGA Advent Calendar 2022 に投稿 ⇒ ● プレゼント対象（4 名）に選んで頂きました！ ○ 年末、投稿してみてはいかがでしょうか？参照URL https://qiita.com/ryujinishida/items/be74f4a91231886cedc1 参照URL https://blog.qiita.com/adventcalendar-2022-presents-winners/ ・プレゼント品 Copyright© Fixstars Group Air Pods Pro

SmartNIC とは ● SmartNIC 製品例 ○ AMD Xilinx ■ ALVEO™ SMARTRNIC 参照URL https://japan.xilinx.com/applications/data-center/network-acceleration.html#smartnics ○ Intel®FPGA ■ SmartNIC N6000-PL 参照URL https://www.intel.co.jp/content/www/jp/ja/products/details/fpga/platforms/smartnic/n6000-pl-platform.html Copyright© Fixstars Group

10.

SmartNIC とは ● その他（参考） ○ P4 言語 https://p4.org/ ■ Programming Protocol-independent Packet Processors ■ データプレーンデバイス (NIC、スイッチ、ルーターなど) の ■ ■ パケット処理をプログラミングするドメイン固有言語ネットワーク用プロセッサ（ASIC, CPU）の制御に使用される FPGA 製品でも P4 言語対応のものが多い ○ DPDK https://www.dpdk.org/ ■ ■ ■ The Data Plane Development Kit 高速パケット処理用のライブラリ、ドライバカーネル機能をバイパスして CPU コアが直接低レイヤの処理をする Copyright© Fixstars Group

11.

Intel® Agilex™ ボードを SmartNIC 化 ● 実行環境 ○ ホスト ■ OS：Ubuntu 18.04LTS ○ 使用 Agilex™ ボード ■ ■ ■ ES 品 QSFP-DD x 2 PCIe I/F ※ ES 品のため Gen4 未対応参照URL: https://www.intel.com/content/www/us/en/products/details/fpga/developmentkits/agilex/f-series.html NIC 化の I/F はそろっている ● SmartNIC として使うために・・・ ○ ○ PCIe ⇔ Ethernet FPGA デザイン Linux ドライバ Copyright© Fixstars Group オープンソースで提供されているプラットフォームを利用して試行

https://www.intel.com/content/www/us/en/products/details/fpga/development-kits/agilex/f-series.html

12.

Intel® Agilex™ ボードを SmartNIC 化 ● Corundum: An Open-Source 100-Gbps NIC ○ https://github.com/corundum/corundum ■ サポートボードリスト Intel®FPGA ボード参照URL: https://docs.corundum.io/en/latest/index.html 参照URL: https://cseweb.ucsd.edu//~snoeren/papers/corundum-fccm20.pdf 対象のAgilex ボードにポーティングする Copyright© Fixstars Group

13.

14.

Intel® Agilex™ ボードを SmartNIC 化 ● Corundum: An Open-Source 100-Gbps NIC ○ ○ Quartus Prime 22.3 を使用ハードウェア構築 $ git clone https://github.com/corundum/corundum.git $ cd corundum/fpga/mqnic/DE10_Agilex/fpga_100g/fpga_24AR0 $ make ■ Quarutus プロジェクトが生成される ※ 実際には make がエラー返り値をうけて途中停止するため、make を複数回実行 ■ ピン配置、PWRMGT 設定をポーティング対象のボードに合わせて修正 ■ Quarutus を起動、合成を実行 Copyright© Fixstars Group

https://github.com/corundum/corundum.git

15.

Intel® Agilex™ ボードを SmartNIC 化 ● Corundum: An Open-Source 100-Gbps NIC ○ ドライバビルド $ cd corundum/modules/mqnic $ make $ sudo insmod mqnic.ko ■ Ubuntu で問題なくビルドできた (CentOS は未対応だった) Copyright© Fixstars Group

16.

Intel® Agilex™ ボードを SmartNIC 化 ● Corundum: An Open-Source 100-Gbps NIC ○ 実機確認 ⇒ ■ ■ ○ 失敗 .sof をコンフィグレーション & reboot lspci コマンドで PCI デバイスを確認 ⇒ 認識せず・・・デバッグ ■ P-Tile Debug tool Kit PLL もロックせず全く動いていない・・クロック、リセット、ボード設定を確認 ⇒ 問題なし ■ ■ （※ Copyright© Fixstars Group Intel 社に確認したところ、 ES 品ボードの初期不良の疑いがあり、ボード返却と動作確認が必要とのこと） ⇒ 今回は断念

17.

18.

19.

20.

open-nicの構成 open-nicは以下3つのrepositoryから構成される。 ● open-nic-shell FPGA designのrepository ● open-nic-driver FPGAをHOSTから制御するためのdriverのrepository ● open-nic-dpdk dpdkを使用したdriver(今回は未使用) Copyright© Fixstars Group

21.

22.

open-nic-shell design 概要(1) FPGA design 全体図 (githubのREADMEから抜粋) ● HOST - FPGA間の通信はopen-nic-driverを使用してPCIe経由でQDMAで行われる ● QSFPの制御はCMAC IPが使用されている ● ユーザーロジックを追加できる領域は2箇所 (左図の灰色部) ● CMACのポート数やQDMAのphysical functionの実装数などをパラメータ設定可能 ● 今回の動作確認ではデフォルトで実行 Copyright© Fixstars Group

23.

open-nic-shell design 概要(2) ● QDMA subsystem ● ザイリンクスのQDMA IPと、QDMA IPインターフェースと250MHzユーザーロジックボックスの橋渡しをするRTLロジックが含まれる ● QDMAサブシステムと250MHzボックス間のインターフェースは、AXI4-streamプロトコルの変種を使用している ● CMAC subsystem ● ザイリンクスのCMAC IPといくつかのラッパーロジックが含まれる ● 1または2のCMACポートをサポートする2つのCMAC ポートの場合、専用のデータおよび制御インターフェイスを持つCMACサブシステムのインスタンスが2つ存在する ● CMACサブシステムは322MHzで動作し、 AXI4-streamプロトコルの変種を使用して322MHzのユーザーロジックボックスに接続する FPGA design 全体図 (githubのREADMEから抜粋) Copyright© Fixstars Group

24.

open-nic-shell design 概要(3) ● packet adapter ● 250MHz AXI-streamと322MHz AXI-stream間の変換に使用される ● TXパスとRXパスの両方で、パケットモードFIFOとして機能し、送出前にパケット全体をバッファリングする ● RXパスでは、CMACサブシステムインタフェースで欠落しているバックプレッシャー機能を回復する ● system conﬁguration ○ リセット機構を実装し、各コンポーネントのレジスタアドレスを割り当てている ○ レジスタインタフェースはAXI4-liteプロトコルを使用し、250MHzのクロックと位相が揃った125MHzで動作する FPGA design 全体図 (githubのREADMEから抜粋) Copyright© Fixstars Group

25.

open-nic-shell design 概要(4) ユーザーロジックのinterfaceは基本的にAXI4-streamだが、一部特殊なデータが付随する。 250MHzのインターフェース(AXI4-streamベース) ● ● ● ● ● ● ● ● FPGA design 全体図 tvalid(1bit) tdata(512 bits) tkeep(64 bits) tlast(1 bit) tready(1 bit) tuser_size(16 bits)：packet size(byte単位) tuser_src(16 bits) tuser_dst(16 bits) ○ MAC ports = CMACのポート(1 or 2) ○ cmac portとphysical functionの判別用 ○ 例) QDMA -> CMACの場合 (githubのREADMEから抜粋) src tuser_src, tuser_dstのformat (READMEから抜粋) dst 左赤丸 PCIe PFs 0固定右赤丸左赤丸の設定 MAC Ports を設定そのまま) Copyright© Fixstars Group

26.

open-nic-shell design 概要(5) 322MHzのインターフェイスは以下の通り ● ● ● ● ● ● FPGA design 全体図 (githubのREADMEから抜粋) Copyright© Fixstars Group tvalid(1bit) tdata(512 bits) tkeep(64 bits) tlast(1 bit) tready(1 bit) tuser_err：パケットにエラーが発生している場合1 を設定

27.

open-nic-driver ● HOSTからPCIe経由でFPGAにデータ転送やregister設定するためのdriver ● OSは以下に対応している ○ Ubuntu 18.04 ○ Ubuntu 20.04 ○ Ubuntu 22.04 ● open-nicで指定されているrepositoryのコードだと動作しなかった(固まった)ので今回は最新版(2023/2/21時点)のrepositoryで動作確認した Copyright© Fixstars Group

28.

29.

open-nic-shell 合成手順(1) 注意) cmacの合成にはlicense(無料)が必要なので事前に取得/設定しておく必要がある ● open-nicで使用するboardの種類などのoptionを指定して、<open-nic-shell repository TOP>/scriptにあるbuild.tclを実行例) alveo u250を指定する場合 $ vivado -mode batch -source ./build.tcl -tclargs -board au250 ● open-nicで指定されているrepositoryの構成だとvivadoのversionが2020.2で固定されており変更する必要があるので注意 ● スクリプト実行完了後手動でGUIを立ち上げbitstreamを作成する Copyright© Fixstars Group

30.

script(build.tcl)修正箇所例) vivadoのversionを2021.2にする場合 53 # Vivado version check 54 # set VIVADO_VERSION "2020.2" 55 set VIVADO_VERSION "2021.2" 56 if {![string equal [version -short] $VIVADO_VERSION]} { 57 puts "OpenNIC shell requires Vivado version $VIVADO_VERSION" 58 exit 59 } Copyright© Fixstars Group

31.

open-nic-shell 合成手順(2) build実行時のoptionを一部抜粋する。 ● -user_plugin <PATH> ○ user pluginとしてuser logicをdesignに挿入するためのoption ○ user pluginを指定しない場合はdefaultで用意されているlogicが使用される ● -num_phys_func 使用するphysical functionの数を指定する(1 ~ 4、default：1) ● -num_queue QDMAに使用するqueueの数を指定する(1 ~ 2048、default：512) ● -num_cmac_port 使用するCMAC port数を指定する(1 or 2、default 1) Copyright© Fixstars Group

32.

33.

driver実行手順 ● driverは最新版(2023/2/21時点)のrepositoryを使用すること ● repository内でmake後、以下コマンドでkernel moduleをinsertする $ sudo insmod onic.ko RS_FEC_ENABLED=1 ● 実行後、dmesgで確認してエラーがなければ問題なく動作している ● 注意点 1. ひとつ前の手順まで実行しlspciでXilinx deviceが確認できる状態にしてから実行すること 2. driverをinsert後FPGAを再度書き込む際は以下のコマンドでkernel moduleを取り除いてから実行すること $ sudo rmmod onic.ko Copyright© Fixstars Group

34.

(dmsg log 例) $ dmsg … [ 366.528180] onic: loading out-of-tree module taints kernel. [ 366.528239] onic: module veriﬁcation failed: signature and/or required key missing - tainting kernel [ 366.528737] OpenNIC Linux Kernel Driver 0.21 [ 366.528880] onic 0000:01:00.0 onic1s0f0 (uninitialized): Set MAC address to 00:0a:35:82:25:21 [ 366.528881] onic 0000:01:00.0: device is a master PF [ 366.528961] onic 0000:01:00.0: Allocated 8 queue vectors [ 366.529001] onic 0000:01:00.0: Number of CMAC instances = 1 [ 366.529012] onic 0000:01:00.0: Setup IRQ vector 34 with name onic1s0f0-0 [ 366.529019] onic 0000:01:00.0: Setup IRQ vector 35 with name onic1s0f0-1 [ 366.529027] onic 0000:01:00.0: Setup IRQ vector 36 with name onic1s0f0-2 [ 366.529034] onic 0000:01:00.0: Setup IRQ vector 37 with name onic1s0f0-3 [ 366.529040] onic 0000:01:00.0: Setup IRQ vector 38 with name onic1s0f0-4 [ 366.529047] onic 0000:01:00.0: Setup IRQ vector 39 with name onic1s0f0-5 [ 366.529054] onic 0000:01:00.0: Setup IRQ vector 40 with name onic1s0f0-6 [ 366.529060] onic 0000:01:00.0: Setup IRQ vector 41 with name onic1s0f0-7 [ 366.589007] onic 0000:01:00.0 enp1s0: renamed from onic1s0f0 Copyright© Fixstars Group

35.

36.

open-nic動作確認(iperf)結果 iperfが動作することが確認できた。 host01(client) host02(server) $ iperf -c 192.168.10.2 -----------------------------------------------------------Client connecting to 192.168.10.2, TCP port 5001 TCP window size: 4.00 MByte (default) -----------------------------------------------------------[ 3] local 192.168.10.1 port 57708 connected with 192.168.10.2 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 16.6 GBytes 14.2 Gbits/sec $ iperf -s -----------------------------------------------------------Server listening on TCP port 5001 TCP window size: 128 KByte (default) -----------------------------------------------------------[ 1] local 192.168.10.2 port 5001 connected with 192.168.10.1 port 57708 [ ID] Interval Transfer Bandwidth [ 1] 0.0000-10.0009 sec 16.6 GBytes 14.2 Gbits/sec Copyright© Fixstars Group

37.

38.

39.

QDMA(IP) ● QDMA wrapperに相当 ● MM(memory mapped)とST(stream)の2種類のAXI interfaceを使用可能 ● Physical Functionおよびその周辺の回路はIPに含まれていないので準備する必要がある(open-nicの designにはRTL(verilog)が含まれている) ● 今回のopen-nicではStreamのinterfaceを使用している QDMA wrapper(IP) Architechture (PG302より抜粋) Copyright© Fixstars Group

40.

41.