{"id":23596094,"url":"https://github.com/FlagOpen/FlagPerf","last_synced_at":"2025-08-30T09:31:55.330Z","repository":{"id":116770759,"uuid":"541932663","full_name":"FlagOpen/FlagPerf","owner":"FlagOpen","description":"FlagPerf is an open-source software platform for  benchmarking AI chips. ","archived":false,"fork":false,"pushed_at":"2024-04-28T03:45:46.000Z","size":10639,"stargazers_count":250,"open_issues_count":8,"forks_count":76,"subscribers_count":10,"default_branch":"main","last_synced_at":"2024-04-28T05:15:46.137Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"apache-2.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/FlagOpen.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE.md","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2022-09-27T06:18:38.000Z","updated_at":"2024-04-29T10:47:01.571Z","dependencies_parsed_at":"2024-05-02T01:33:42.675Z","dependency_job_id":null,"html_url":"https://github.com/FlagOpen/FlagPerf","commit_stats":null,"previous_names":[],"tags_count":1,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/FlagOpen%2FFlagPerf","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/FlagOpen%2FFlagPerf/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/FlagOpen%2FFlagPerf/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/FlagOpen%2FFlagPerf/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/FlagOpen","download_url":"https://codeload.github.com/FlagOpen/FlagPerf/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":231468011,"owners_count":18381173,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2024-12-27T10:01:19.897Z","updated_at":"2024-12-27T10:02:39.289Z","avatar_url":"https://github.com/FlagOpen.png","language":"Python","funding_links":[],"categories":["Summary","Frameworks"],"sub_categories":[],"readme":"![img_v3_02ge_ae47c9ed-de00-4ea1-aac3-bbca933f242g](https://github.com/user-attachments/assets/7802da86-1cc2-4d1b-96d4-b9bf501dda94)\n\n![FlagAI](assets/imgs/logo.png)\n----------\n## FlagPerf是什么\n[![Lint Code Base](https://github.com/FlagOpen/FlagPerf/actions/workflows/super-linter.yml/badge.svg)](https://github.com/FlagOpen/FlagPerf/actions/workflows/super-linter.yml)\n\n**FlagPerf是智源研究院联合AI硬件厂商共建的一体化AI硬件评测引擎，旨在建立以产业实践为导向的指标体系，评测AI硬件在软件栈组合（模型+框架+编译器）下的实际能力。**\n\n## 📣 FlagPerf评测亮点\n\n![cooperation](assets/imgs/overview.png)\n\n1. **构建多维度评测指标体系，不止关注“耗时”:**\n\n   FlagPerf 指标体系除了衡量“芯片能否支持特定模型训练”的功能正确性指标之外，还包含更多维度的性能指标、资源使用指标以及生态适配能力指标等。\n\n   \u003e 指标详细介绍见 [这篇文章](https://mp.weixin.qq.com/s/rwTFsthioBty5W2P-Lg9iw)\n\n2. **支持多样例场景及任务，覆盖大模型训练推理场景**\n\n   FlagPerf 已经涵盖计算机视觉、自然语言处理、语音、多模态等领域的**30余个经典模型，80余个训练样例，**支持评测AI硬件的训练和推理能力，以及大模型场景的推理任务评测。\n\n3. **支持多训练框架及推理引擎，灵活连接AI硬件与软件生态**\n\n   **在训练任务场景中**，除了支持 PyTorch、TensorFlow，FlagPerf 还在积极与 PaddlePaddle、MindSpore 研发团队密切配合。作为国产训练框架的领军者，百度 Paddle团队、华为昇思MindSpore 团队正在将 Llama、GPT3 等明星模型集成至 FlagPerf 测试样例集。\n\n   **在推理任务场景中**，FlagPerf 适配了多家芯片厂商和训练框架研发团队的推理加速引擎，以更灵活地连接AI硬件与软件生态，拓宽评测的边界和效率，如英伟达TensorRT、昆仑芯XTCL（XPU Tensor Compilation Library）、天数智芯IxRT（Iluvatar CoreX RunTime）、PyTorch TorchInductor。\n\n4. **支持多测试环境，综合考察单卡、单机、多机性能**\n\n   为全面评估国产AI芯片多样性、可扩展性、实际应用模拟情况，FlagPerf 设定了单卡、单机（通常是8卡）、多机三个测试环境，为不同的测试环境匹配了不同测试样例场景和任务。\n\n   \u003e 注：当前FlagPerf在保证测试环境除芯片外其他条件一致的情况下，进行芯片本身的离线批处理评测，暂不支持集群和客户端的性能评估。\n\n5. **严格审核参评代码，关注“结果公平”，更关注“过程公正”**\n\n   测试由智源研究院与众多芯片厂商联合展开。总体原则是确保客观、公平地评估芯片的通用性能，限制厂商开展有针对性的定制优化。在确定测试模型之后，首先由芯片厂商进行模型适配，这个过程中**只允许厂商进行分布式通信、批数据量（batch size）等和硬件执行强相关的方面的代码修改**，以确保模型能够在芯片上高效运行。其次由智源研究院依托基准测试平台FlagPerf对芯片能力开展测试，并确保测试过程顺利，芯片性能和稳定性得到最佳发挥。同时，**所有测试代码均已开源，测试过程、数据可复现。**\n\n🎯 未来智源及众多AI硬件、框架团队还将共同拓展FlagPerf的评测场景，如开展集群性能的整体评估，以更全面的评估国产软硬件的性能。\n\n## News \n\n- [4 Jun 2024]支持算子评测板块. [#562](https://github.com/FlagOpen/FlagPerf/pull/562)\n- [20 May 2024]支持FlagPerf在容器内启动评测. [#542](https://github.com/FlagOpen/FlagPerf/pull/542)\n- [6 May 2024]支持LLaMA3-8B megatron-core预训练. [#526](https://github.com/FlagOpen/FlagPerf/pull/526)\n- [1 Apr 2024]支持基础规格评测板块. [#496](https://github.com/FlagOpen/FlagPerf/pull/496)\n- [15 Jan 2024]支持megatron-Llama 70B预训练. [#389](https://github.com/FlagOpen/FlagPerf/pull/389)\n- [27 Oct 2023]支持Torch-llama2 7B预训练，[#289](https://github.com/FlagOpen/FlagPerf/pull/289)\n- [7 Oct 2023]支持Paddle-GPT3 预训练，[#233](https://github.com/FlagOpen/FlagPerf/pull/233)\n- [27 Sep 2023]发布v1.0版本，支持20余个经典模型，50余个训练样例，支持多家芯片厂商的训练或推理评测 [#v1.0](https://github.com/FlagOpen/FlagPerf/releases/tag/1.0)\n- [3 Aug 2023]支持推理框架, 支持常见基础模型的离线批推理评测 [#136](https://github.com/FlagOpen/FlagPerf/pull/136)\n\n\u003cdetails\u003e\u003csummary\u003eFull News\u003c/summary\u003e\n\n- [31 Oct 2023]支持Torch-Aquila 7B预训练，[#299](https://github.com/FlagOpen/FlagPerf/pull/299)\n- [8 Feb 2023]支持Tensorflow框架[#7](https://github.com/FlagOpen/FlagPerf/pull/7)\n- [6 Feb 2023]昆仑芯作为合作厂商进入共建生态 [#6](https://github.com/FlagOpen/FlagPerf/pull/6)\n- [Dec 2022]天数智芯、百度PaddlePaddle作为最早一批厂商参与初版共建开发\n\n\u003c/details\u003e\n\n## 支持列表\n\n基础规格列表：\n\n\u003ctable border=\"1\" class=\"dataframe\"\u003e\n  \u003cthead\u003e\n    \u003ctr\u003e\n      \u003cth\u003e编号\u003c/th\u003e\n        \u003cth\u003e规格名称\u003c/th\u003e\n      \u003cth\u003e规格类型\u003c/th\u003e\n      \u003cth\u003e英伟达\u003c/th\u003e\n      \u003cth\u003e沐曦\u003c/th\u003e\n      \u003cth\u003e昇腾\u003c/th\u003e\n    \u003c/tr\u003e\n  \u003c/thead\u003e\n  \u003ctbody\u003e\n  \u003ctr\u003e\n      \u003ctd\u003e1\u003c/td\u003e\n        \u003ctd\u003eFP64算力\u003c/td\u003e\n      \u003ctd\u003e算力\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP64/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-FP64/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e2\u003c/td\u003e\n        \u003ctd\u003eFP32算力\u003c/td\u003e\n      \u003ctd\u003e算力\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP32/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-FP32/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP32/metax\"\u003e算子或原语\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP32/ascend\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e3\u003c/td\u003e\n        \u003ctd\u003eTF32算力\u003c/td\u003e\n      \u003ctd\u003e算力\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-TF32/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-TF32/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-TF32/metax\"\u003e算子或原语\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e4\u003c/td\u003e\n        \u003ctd\u003eFP16算力\u003c/td\u003e\n      \u003ctd\u003e算力\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP16/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-FP16/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP16/metax\"\u003e算子或原语\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-FP16/ascend\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e5\u003c/td\u003e\n        \u003ctd\u003eBF16算力\u003c/td\u003e\n      \u003ctd\u003e算力\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-BF16/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-BF16/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-BF16/metax\"\u003e算子或原语\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-BF16/ascend\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e6\u003c/td\u003e\n        \u003ctd\u003eINT8算力\u003c/td\u003e\n      \u003ctd\u003e算力\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-INT8/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/computation-INT8/metax\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/computation-INT8/ascend\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e7\u003c/td\u003e\n        \u003ctd\u003e主存储带宽\u003c/td\u003e\n      \u003ctd\u003e存储\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/main_memory-bandwidth/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/main_memory-bandwidth/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/main_memory-bandwidth/metax\"\u003e算子或原语\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e8\u003c/td\u003e\n        \u003ctd\u003e主存储容量\u003c/td\u003e\n      \u003ctd\u003e存储\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/main_memory-capacity/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/main_memory-capacity/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/main_memory-capacity/metax\"\u003e算子或原语\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e9\u003c/td\u003e\n        \u003ctd\u003eCPU-芯片互连\u003c/td\u003e\n      \u003ctd\u003e互联\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-h2d/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-h2d/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-h2d/ascend\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e10\u003c/td\u003e\n        \u003ctd\u003e服务器内P2P直连\u003c/td\u003e\n      \u003ctd\u003e互联\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-P2P_intraserver/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-P2P_intraserver/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-P2P_intraserver/ascend\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e11\u003c/td\u003e\n        \u003ctd\u003e服务器内MPI直连\u003c/td\u003e\n      \u003ctd\u003e互联\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-MPI_intraserver/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-MPI_intraserver/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e12\u003c/td\u003e\n        \u003ctd\u003e跨服务器P2P直连\u003c/td\u003e\n      \u003ctd\u003e互联\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-P2P_interserver/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-P2P_interserver/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e13\u003c/td\u003e\n        \u003ctd\u003e跨服务器MPI直连\u003c/td\u003e\n      \u003ctd\u003e互联\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/benchmarks/interconnect-MPI_interserver/nvidia/A100\"\u003e算子或原语\u003c/a\u003e,\u003cbr\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/base/toolkits/interconnect-MPI_interserver/nvidia/A100\"\u003e厂商专用工具\u003c/a\u003e\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n      \u003ctd\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n  \u003c/tbody\u003e\n  \u003c/table\u003e  \n\n\n算子列表：\n\n\u003ctable border=\"1\" class=\"dataframe\"\u003e\n  \u003cthead\u003e\n    \u003ctr\u003e\n      \u003cth\u003e编号\u003c/th\u003e\n        \u003cth\u003e规格名称\u003c/th\u003e\n      \u003cth\u003e算子库\u003c/th\u003e\n      \u003cth\u003e英伟达\u003c/th\u003e\n    \u003c/tr\u003e\n  \u003c/thead\u003e\n  \u003ctbody\u003e\n  \u003ctr\u003e\n      \u003ctd\u003e1\u003c/td\u003e\n        \u003ctd\u003emm-FP16\u003c/td\u003e\n      \u003ctd\u003enativetorch\u003cbr\u003eflaggems\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/operation/benchmarks/mm/nvidia\"\u003eA100_40_SXM\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e2\u003c/td\u003e\n        \u003ctd\u003esum-FP32\u003c/td\u003e\n      \u003ctd\u003enativetorch\u003cbr\u003eflaggems\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/operation/benchmarks/sum/nvidia\"\u003eA100_40_SXM\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e3\u003c/td\u003e\n        \u003ctd\u003elinear-FP16\u003c/td\u003e\n      \u003ctd\u003enativetorch\u003cbr\u003eflaggems\u003c/td\u003e\n      \u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/operation/benchmarks/linear/nvidia\"\u003eA100_40_SXM\u003c/a\u003e\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr\u003e\n      \u003ctd\u003e...\u003c/td\u003e\n        \u003ctd\u003e...\u003c/td\u003e\n      \u003ctd\u003e...\u003c/td\u003e\n      \u003ctd\u003e...\u003c/td\u003e\n    \u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\n\n训练列表：\n\u003e [!TIP]\n\u003e **请在表格下方向右滑动查看更多厂商**\n\n\u003ctable\u003e\n\u003ctr\u003e\u003cth\u003e编号\u003c/th\u003e\u003cth\u003e模型名称\u003c/th\u003e\u003cth\u003e模型类型\u003c/th\u003e\u003cth\u003e英伟达\u003c/th\u003e\u003cth\u003e沐曦\u003c/th\u003e\u003cth\u003e昆仑芯\u003c/th\u003e\u003cth\u003e天数智芯\u003c/th\u003e\u003cth\u003e摩尔线程\u003c/th\u003e\u003cth\u003e昇腾\u003c/th\u003e\u003cth\u003e海光\u003c/th\u003e\u003c/tr\u003e\n\u003ctbody\u003e\u003ctr\u003e\u003ctd\u003e1\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama3_70B\"\u003eLLaMA3-70B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama3_70B-megatron\"\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e2\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama3_8B\"\u003eLLaMA3-8B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama3_8B-megatron\"\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e3\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llava1.5_7b\"\u003ellava1.5-7B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLMM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llava1.5_7b-deepspeed-torch\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e4\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama2_70B\"\u003ellama2_70b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama2_70B-megatron\"\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/llama2_70B-megatron\"\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/llama2_70B-megatron\"\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e5\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/mixtral_8x7B/megatron\"\u003eMixtral-8x7B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003emoeLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/mixtral_8x7B-megatron\"\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e6\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/qwen1.5_MoE\"\u003eQwen1.5-moe\u003c/a\u003e\u003c/td\u003e\u003ctd\u003emoeLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/qwen1.5_MoE-megatron\"\u003ePAI-\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e7\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llava1.5_13b\"\u003ellava1.5-13B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLMM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llava1.5_13b-deepspeed-torch\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e8\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama2_7b\"\u003ellama2_7b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama2_7b-deepspeed\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e,\u003cbr/\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama2_7b-megatron-deepspeed\"\u003emegatron-\u003cbr/\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/llama2_7b-megatron-deepspeed\"\u003emegatron-deep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/pull/348\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/pull/343\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/pull/354\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e9\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/aquila2_70B_container\"\u003eaquila2_70b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/aquila2_70B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/aquila2_70B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/mthreads/aquila2_70B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/ascend/aquila2_70B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/dcu/aquila2_70B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e10\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/aquila2_7b_finetune\"\u003eaquila2_7b\u003cbr/\u003e(finetune)\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/aquila2_7b_finetune-flagscale\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e11\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/chatglm3_6b\"\u003echatglm3_6b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/chatglm3_6b-deepspeed\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e12\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/aquila2_7B_container\"\u003eaquila2_7b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/aquila2_7B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/aquila2_7b-flagscale\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/aquila2_7B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/aquila2_7B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/mthreads/aquila2_7B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/ascend/aquila2_7B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/dcu/aquila2_7B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e13\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/aquila2_34B_container\"\u003eaquila2_34b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/aquila2_34B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/aquila2_34B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/mthreads/aquila2_34B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/ascend/aquila2_34B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/dcu/aquila2_34B_container-in_container\"\u003eflagscale\u003cbr/\u003emegatron\u003c/a\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e14\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/baichuan2_13b\"\u003ebaichuan2\u003cbr/\u003e13b\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/baichuan2_13b-deepspeed\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/baichuan2_13b-deepspeed\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/baichuan2_13b-deepspeed\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/baichuan2_13b-deepspeed\"\u003edeep\u003cbr/\u003espeed\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e15\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/glm\"\u003eglm\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/glm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/glm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/glm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/glm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/dcu/glm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e16\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/resnet50\"\u003eresnet50\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/resnet50-pytorch\"\u003epytorch\u003c/a\u003e,\u003cbr/\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/resnet50-tensorflow2\"\u003etensorflow2\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/resnet50-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/resnet50-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/resnet50-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/mthreads/resnet50-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e17\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/retinanet\"\u003eretinanet\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/retinanet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/retinanet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/retinanet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/retinanet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/mthreads/retinanet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e18\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/bert_hf\"\u003ebert_hf\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/bert_hf-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/bert_hf-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/bert_hf-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/mthreads/bert_hf-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e19\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/bigtransfer\"\u003ebigtransfer\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/bigtransfer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/bigtransfer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/bigtransfer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/bigtransfer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e20\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/cpm\"\u003ecpm\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/cpm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/cpm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/cpm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/cpm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e21\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/efficientnet\"\u003eefficientnet\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/efficientnet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/efficientnet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/efficientnet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/efficientnet-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e22\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/faster_rcnn\"\u003efaster_rcnn\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/faster_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/faster_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/faster_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/faster_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e23\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/mask_rcnn\"\u003emask_rcnn\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/mask_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/mask_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/mask_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/mask_rcnn-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e24\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/mobilenetv2\"\u003emobilenetv2\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/mobilenetv2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/mobilenetv2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/mobilenetv2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/mobilenetv2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e25\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/swin_transformer\"\u003eswin\u003cbr/\u003etransformer\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/swin_transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/swin_transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/swin_transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/swin_transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e26\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/t5_small\"\u003et5_small\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/t5_small-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/t5_small-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/t5_small-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/t5_small-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e27\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/transformer\"\u003etransformer\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/transformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e28\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/bert\"\u003ebert\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/bert-paddle\"\u003epaddle\u003c/a\u003e,\u003cbr/\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/bert-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/bert-paddle\"\u003epaddle\u003c/a\u003e, \u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/bert-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/bert-paddle\"\u003epaddle\u003c/a\u003e, \u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/bert-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e29\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/detr\"\u003edetr\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/detr-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/detr-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/detr-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e30\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/distilbert\"\u003edistilbert\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/distilbert-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/distilbert-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/distilbert-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e31\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/gpt2\"\u003egpt2\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/gpt2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/gpt2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/gpt2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e32\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/longformer\"\u003elongformer\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/longformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/longformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/longformer-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e33\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/tacotron2\"\u003etacotron2\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eAudio\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/tacotron2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/tacotron2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/tacotron2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e34\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/transformer_xl\"\u003etransformer\u003cbr/\u003exl\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eNLP\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/transformer_xl-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/transformer_xl-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/transformer_xl-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e35\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/vit\"\u003evit\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eCV\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/vit-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/vit-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/vit-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/iluvatar/vit-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e36\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/wav2vec2\"\u003ewav2vec2\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eAudio\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/wav2vec2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/wav2vec2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/kunlunxin/wav2vec2-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e37\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/WaveGlow\"\u003eWaveGlow\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eAudio\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/WaveGlow-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/WaveGlow-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e38\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/dlrmt\"\u003eDLRM\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eRS\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/dlrm-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e39\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/gpt3_13B\"\u003egpt3_13B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/gpt3_13B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/gpt3_13B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e40\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/gpt3_6.7B\"\u003egpt3_6.7B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/gpt3_6.7B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/gpt3_6.7B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e41\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama1_13B\"\u003ellama1_13B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama1_13B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e42\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama1_7B\"\u003ellama1_7B\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama1_7B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/metax/llama1_7B-paddle\"\u003epaddle\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e43\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/llama2_7b_finetune\"\u003ellama2_7b\u003cbr/\u003efinetune\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eLLM\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/llama2_7b_finetune-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd\u003e44\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/benchmarks/moflow\"\u003eMOFlow\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eAI4sci\u003c/td\u003e\u003ctd\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/training/nvidia/moflow-pytorch\"\u003epytorch\u003c/a\u003e\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003ctd\u003eN/A\u003c/td\u003e\u003c/tr\u003e\n\u003c/tbody\u003e\u003c/table\u003e\n\n\n推理列表：\n\n\u003ctable width=\"960\" border=\"0\" cellpadding=\"0\" cellspacing=\"0\" style='width:960pt;border-collapse:collapse;table-layout:fixed;'\u003e\n   \u003ccol width=\"73.60\" style='mso-width-source:userset;mso-width-alt:3588;'/\u003e\n   \u003ccol width=\"70\" style='mso-width-source:userset;mso-width-alt:3413;'/\u003e\n   \u003ccol width=\"200.75\" style='mso-width-source:userset;mso-width-alt:9788;'/\u003e\n   \u003ccol width=\"195.80\" style='mso-width-source:userset;mso-width-alt:9547;'/\u003e\n   \u003ccol width=\"185.40\" style='mso-width-source:userset;mso-width-alt:9040;'/\u003e\n   \u003ctr height=\"16.80\" class=\"xl65\" style='height:16.80pt;'\u003e\n   \u003c/tr\u003e\n   \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e编号\u003c/td\u003e\n       \u003ctd class=\"xl65\" x:str\u003e模型名称\u003c/td\u003e\n       \u003ctd class=\"xl65\" x:str\u003e模型类型\u003c/td\u003e\n    \u003ctd class=\"xl65\" x:str\u003e英伟达\u003c/td\u003e\n    \u003ctd class=\"xl65\" x:str\u003e昆仑芯\u003c/td\u003e\n    \u003ctd class=\"xl65\" x:str\u003e天数智芯\u003c/td\u003e\n    \u003ctd class=\"xl65\" x:str\u003e腾讯九霄\u003c/td\u003e\n    \u003ctd class=\"xl65\" x:str\u003e沐曦\u003c/td\u003e\n    \u003ctd class=\"xl65\" x:str\u003e海飞科\u003c/td\u003e\n   \u003c/tr\u003e\n   \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e1\u003c/td\u003e\n       \u003ctd class=\"xl65\" height=\"33.60\"  style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/resnet50\" style=\"text-decoration:none\" target=\"_parent\"\u003eresnet50\u003c/a\u003e\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003eCV\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef16\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003ef16\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n   \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e2\u003c/td\u003e\n        \u003ctd class=\"xl65\" height=\"33.60\"  style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/bertLarge\" style=\"text-decoration:none\" target=\"_parent\"\u003eBertLarge\u003c/a\u003e\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eNLP\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eW32A16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n   \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e3\u003c/td\u003e\n        \u003ctd class=\"xl65\" height=\"33.60\"  style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/vit_l_16\" style=\"text-decoration:none\" target=\"_parent\"\u003eVisionTransformer\u003c/a\u003e\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eCV\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eW32A16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n   \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e4\u003c/td\u003e\n        \u003ctd class=\"xl65\" height=\"33.60\" style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/yolov5\" style=\"text-decoration:none\" target=\"_parent\"\u003eYolov5_large\u003c/a\u003e\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eCV\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n   \u003c/tr\u003e\n   \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e5\u003c/td\u003e\n       \u003ctd class=\"xl65\" height=\"33.60\"  style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/stable_diffusion_v1_4\" style=\"text-decoration:none\" target=\"_parent\"\u003eStable Diffusion v1.4\u003c/a\u003e\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003eMultiModal\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n       \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n   \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e6\u003c/td\u003e\n        \u003ctd class=\"xl65\" height=\"33.60\"  style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/swinTransformer\" style=\"text-decoration:none\" target=\"_parent\"\u003eSwinTransformer\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eCV\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eW32A16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n   \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e7\u003c/td\u003e\n        \u003ctd class=\"xl65\" height=\"33.60\" style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/llama2_7b_mmlu\" style=\"text-decoration:none\" target=\"_parent\"\u003eLlama2-7B-mmlu\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eNLP\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n   \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n    \u003ctd class=\"xl65\" x:str\u003e8\u003c/td\u003e\n        \u003ctd class=\"xl65\" height=\"33.60\" style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/Aquila_7b_mmlu\" style=\"text-decoration:none\" target=\"_parent\"\u003eAquila-7B-mmlu\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eLLM\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003efp16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n\u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n   \u003ctd class=\"xl65\" x:str\u003e9\u003c/td\u003e\n    \u003ctd class=\"xl65\" height=\"33.60\" style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/sam_h\" style=\"text-decoration:none\" target=\"_parent\"\u003eSegmentAnything\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eMultiModal\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003efp16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eW32A16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003ef32/f16\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n    \u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n   \u003ctd class=\"xl65\" x:str\u003e10\u003c/td\u003e\n    \u003ctd class=\"xl65\" height=\"33.60\" style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/deepseek_7b_mmlu\" style=\"text-decoration:none\" target=\"_parent\"\u003eDeepSeek-7B MMLU\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eLLM\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003efp16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\u003ctr height=\"16.80\" style='height:16.80pt;'\u003e\n   \u003ctd class=\"xl65\" x:str\u003e11\u003c/td\u003e\n    \u003ctd class=\"xl65\" height=\"33.60\" style='height:33.60pt;border-right:none;border-bottom:none;' x:str\u003e\u003ca href=\"https://github.com/FlagOpen/FlagPerf/tree/main/inference/benchmarks/llama3_8b_mmlu\" style=\"text-decoration:none\" target=\"_parent\"\u003eLLaMA3-8B MMLU\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eLLM\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003efp16\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n        \u003ctd class=\"xl69\" x:str\u003eN/A\u003c/td\u003e\n    \u003c/tr\u003e\n\u003c/table\u003e\n\n\n## 如何使用FlagPerf进行AI硬件评测\n\n### 基础环境确认\n\n#### 物理机器内启动[默认]\n\n1. 安装docker，python\n2. 确保硬件驱动、网络、硬件虚拟化等服务器基础配置齐全\n   1. 确保可连中国大陆可访问网站，速率正常\n   2. 确保可在容器内找到硬件\n   3. 确保各服务器间root帐号的ssh信任关系和sudo免密\n   4. 确保monitor相关工具已安装:包括cpu(sysstat)、内存(free)、功耗(ipmitool)、系统信息(加速卡状态查看命令)。例如ubuntu系统中，使用apt install [sysstat/ipmitool]安装\n\n#### 容器内启动\n\n1. 设置环境变量\n```bash\nexport EXEC_IN_CONTAINER=True\n```\n2. 确保容器内硬件驱动、网络、硬件虚拟化等服务器基础配置齐全\n   1. 确保可连中国大陆可访问网站，速率正常\n   2. 确保容器镜像、容器内软件包对应版本安装正确\n   3. 确保可在容器内找到硬件\n   4. 确保各服务器间root帐号的ssh信任关系和sudo免密\n   5. 确保monitor相关工具已安装:包括cpu(sysstat)、内存(free)、功耗(ipmitool)、系统信息(加速卡状态查看命令)。例如ubuntu系统中，使用apt install [sysstat/ipmitool]安装\n\n更多阅读：\n1. [容器内启动评测简述](./docs/utils/definitions/IN_CONTAINER_LAUNCH.md)\n\n## 基础规格评测启动说明\n\n1. **下载FlagPerf并部署**\n\n```bash\n# 先各服务器间root帐号的ssh信任关系和sudo免密配置\ngit clone https://github.com/FlagOpen/FlagPerf.git\ncd FlagPerf/base/\n```\n\n2. **修改机器配置文件**\n\n```bash\ncd FlagPerf/base/\nvim configs/host.yaml\n```\n\n具体项修改方式及原则见[基础规格文档](https://github.com/FlagOpen/FlagPerf/blob/main/docs/base/base-case-doc.md)中的**运行时流程**章节\n\n3. **启动测试**\n\n```bash\ncd FlagPerf/base/\nsudo python3 run.py\n```\n\n### 算子评测启动说明\n\n1. 同基础规格评测\n\n### 训练评测启动说明\n\n1. **下载FlagPerf并部署**\n\n```Bash\n# 先各服务器间root帐号的ssh信任关系和sudo免密配置\ngit clone https://github.com/FlagOpen/FlagPerf.git\ncd FlagPerf/training/\npip3 install -r requirements.txt\n```\n\n2. **修改机器配置文件**\n\n```Bash\ncd Flagperf/training/\nvim run_benchmarks/config/cluster_conf.py\n```\n\n集群配置文件主要包括集群主机列表和SSH端口，修改`HOSTS`和`SSH_PORT`为机器实际地址\n\n```Bash\n'''Cluster configs'''\n#Hosts to run the benchmark. Each item is an IP address or a hostname.\nHOSTS = [\"10.1.2.3\", \"10.1.2.4\", \"10.1.2.5\", \"10.1.2.6\"]\n#ssh connection port\nSSH_PORT = \"22\"\n```\n\n3. **修改模型配置文件**\n\n```Bash\ncd Flagperf/training/\nvim run_benchmarks/config/test_conf.py\n```\n\n必改项：\n\n```Bash\nVENDOR = \"nvidia\" #选择本次运行的硬件\nFLAGPERF_PATH=\"\" # FlagPerf项目路径，如\"/home/FlagPerf/training\"\nCASES={} # 本次运行的测例，按照对应模型readme准备好数据，修改模型对应的地址\n#如运行\"bert:pytorch_1.8:A100:1:8:1\": \"/raid/home_datasets_ckpt/bert/train/\"，需要把:后面的路径替换为本地路径\n```\n\n4. **启动测试**\n\n```Bash\npython3 ./run_benchmarks/run.py\nsudo python3 ./run_benchmarks/run.py\n```\n\n5. **查看日志**\n\n```Bash\ncd result/run2023XXXX/运行模型/\n# ls\nround1\n# ls round1/\n10.1.2.2_noderank0\n# cd 10.1.2.2_noderank0/\n# ls\ncpu_monitor.log     pwr_monitor.log  rank2.out.log  rank5.out.log  start_pytorch_task.log\nmem_monitor.log     rank0.out.log    rank3.out.log  rank6.out.log\nnvidia_monitor.log  rank1.out.log    rank4.out.log  rank7.out.log\n\n\n# tail -n 6 rank0.out.log\n[PerfLog] {\"event\": \"STEP_END\", \"value\": {\"loss\": 2.679504871368408, \"embedding_average\": 0.916015625, \"epoch\": 1, \"end_training\": true, \"global_steps\": 3397, \"num_trained_samples\": 869632, \"learning_rate\": 0.000175375, \"seq/s\": 822.455385237589}, \"metadata\": {\"file\": \"/workspace/flagperf/training/benchmarks/cpm/pytorch/run_pretraining.py\", \"lineno\": 127, \"time_ms\": 1669034171032, \"rank\": 0}}\n[PerfLog] {\"event\": \"EVALUATE\", \"metadata\": {\"file\": \"/workspace/flagperf/training/benchmarks/cpm/pytorch/run_pretraining.py\", \"lineno\": 127, \"time_ms\": 1669034171032, \"rank\": 0}}\n[PerfLog] {\"event\": \"EPOCH_END\", \"metadata\": {\"file\": \"/workspace/flagperf/training/benchmarks/cpm/pytorch/run_pretraining.py\", \"lineno\": 127, \"time_ms\": 1669034171159, \"rank\": 0}}\n[PerfLog] {\"event\": \"TRAIN_END\", \"metadata\": {\"file\": \"/workspace/flagperf/training/benchmarks/cpm/pytorch/run_pretraining.py\", \"lineno\": 136, \"time_ms\": 1669034171159, \"rank\": 0}}\n[PerfLog] {\"event\": \"FINISHED\", \"value\": {\"e2e_time\": 1661.6114165782928, \"training_sequences_per_second\": 579.0933420700227, \"converged\": true, \"final_loss\": 3.066718101501465, \"final_mlm_accuracy\": 0.920166015625, \"raw_train_time\": 1501.713, \"init_time\": 148.937}, \"metadata\": {\"file\": \"/workspace/flagperf/training/benchmarks/cpm/pytorch/run_pretraining.py\", \"lineno\": 158, \"time_ms\": 1669034171646, \"rank\": 0}}\n```\n\n### 推理评测启动说明\n\n1. **下载FlagPerf并部署**\n\n```Bash\n# 先各服务器间root帐号的ssh信任关系和sudo免密配置\ngit clone https://github.com/FlagOpen/FlagPerf.git\ncd FlagPerf/inference/\npip3 install -r requirements.txt\n```\n\n2. **修改机器配置文件**\n\n```Bash\ncd Flagperf/inference/\nvim configs/host.yaml\n```\n\n集群配置文件主要包括集群主机列表和SSH端口，修改`HOSTS`和`SSH_PORT`为机器实际地址\n\n```Bash\n#必须修改项\nFLAGPERF_PATH: \"/home/FlagPerf/inference\" #FlagPerf inference 路径\nHOSTS: [\"127.0.0.1\"] # 机器地址\nVENDOR = \"nvidia\" #测试机器对象，nvidia/kunlunxin/iluvatar\nCASES:  #待测case，记得修改数据地址\n    \"resnet50:pytorch_1.13\": \"/raid/dataset/ImageNet/imagenet/val\"\n```\n\n3. **用户需要根据评测对象，配置configs/\u003ccase\u003e/configuration.yaml，如不修改可用默认配置**\n\n```Bash\nbatch_size: 256\n# 1 item(like 1 sequence, 1 image) flops\n# Attention! For transformer decoder like bert, 1 token cause 2*param flops, so we need 2*length*params like 2*512*0.33B here\n# format: a_1*a*2*...*a_nea_0,like 2*512*0.33e9(bert) or 4.12e9(resnet50)\nflops: 4.12e9\nfp16: true\ncompiler: tensorrt\nnum_workers: 8\nlog_freq: 30\nrepeat: 5\n# skip validation(will also skip create_model, export onnx). Assert exist_onnx_path != null\nno_validation: false\n# set a real onnx_path to use exist, or set it to anything but null to avoid export onnx manually(like torch-tensorrt)\nexist_onnx_path: null\n# set a exist path of engine file like resnet50.trt/resnet50.plan/resnet50.engine\nexist_compiler_path: null\n```\n\n必改项：\n\n```Bash\nVENDOR = \"nvidia\" #选择本次运行的硬件\nFLAGPERF_PATH=\"\" # FlagPerf项目路径，如\"/home/FlagPerf/training\"\nCASES={} # 本次运行的测例，按照对应模型readme准备好数据，修改模型对应的地址\n#如运行\"bert:pytorch_1.8:A100:1:8:1\": \"/raid/home_datasets_ckpt/bert/train/\"，需要把:后面的路径替换为本地路径\n```\n\n4. **启动测试**\n\n```Bash\nsudo python inference/run.py\n```\n\n\n### 生成式推理评测启动说明\n\n1. **下载FlagPerf并部署**\n\n```Bash\n# 按照FlagPerf/inference中安装相关环境\ngit clone https://github.com/FlagOpen/FlagPerf.git\ncd FlagPerf/inference/\npip3 install -r requirements.txt\n```\n\n2. **修改机器配置文件**\n\n```Bash\ncd Flagperf/generate/\nvim host.yaml\n```\n\n\n```Bash\n#必须修改项\ndata_path: \"/Xsum.csv\" #数据路径\nmodel_path: \"/llama3_70b_hf\"#模型路径，该测量的标程应选用Llama3 70b进行测量\nVENDOR :\"nvidia\" #测试机器对象，nvidia/kunlunxin\nengine :\"hf\"  #推理框架类型，现支持vllm、huggingface。推理框架需自己本地配置\nlog_path :\"/log\" #日志路径\nconfig_path :\"./host.yaml\" #host.yaml文件所在路径\nnproc_per_node: 8 #参与推理评测的GPU数量\nchip：\"A100_40_SXM\" #芯片名称\n```\n\n3. **用户需要根据评测对象，配置tasks/\u003cengine\u003e/\u003cvendor\u003e/task.yaml**\n\n```Bash\n# 必改项\nGPU_NAME: \"A100_40_SXM\"\n#Theoretical FLOPs peak of the GPU for different precision computations (measured in TFLOPs)\nTFLOPS_FP16:312\n```\n```Bash\n# 若不修改则采用默认任务数量配置，需要保证总推理评测时间在5-15分钟内完成且并发数不应高于256\ntask_nums: 256\n```\n\n4. **启动测试**\n\n```Bash\nsudo python generate/main.py\n```\n\n- 更多基础规格/训练/推理说明见[基础规格文档](https://github.com/FlagOpen/FlagPerf/blob/main/docs/base/base-case-doc.md)，[训练文档](https://github.com/FlagOpen/FlagPerf/blob/main/training/README.md)和[推理文档](https://github.com/FlagOpen/FlagPerf/blob/main/docs/inference/inference-case-doc.md)\n[生成式推理文档](https://github.com/FlagOpen/FlagPerf/blob/main/docs/generate/generate-case-doc.md)\n\n## 参与共建FlagPerf\n\n如需参与共建FlagPerf基础规格、训练、推理评测，请参考详细文档，依次位于[基础规格文档目录](https://github.com/shh2000/FlagPerf/tree/ud0401/docs/base)、[训练文档目录](https://github.com/shh2000/FlagPerf/tree/ud0401/docs/training)、[推理文档目录](https://github.com/shh2000/FlagPerf/tree/ud0401/docs/inference)。\n\n为了更直观的展示厂商参与共建的实际工作量，下面给出6个已经合并进FlagPerf，面向不同特征厂商的Pull Request。\n\n1. 模型训练适配适配\n\n    - **第一次参与训练**适配工作的内容较多。除了适配模型case外，还需要适配厂商的dockerfile、monitor等，如[#246](https://github.com/FlagOpen/FlagPerf/pull/246)\n    - **后续参与训练**适配工作量较小：\n        - 如厂商以**cuda兼容**路线设计软硬件，典型适配case [#170](https://github.com/FlagOpen/FlagPerf/pull/170)\n        - 如厂商**不兼容cuda**，则需要额外修改后端通信方案等等，典型适配case [#288](https://github.com/FlagOpen/FlagPerf/pull/288)。当case较复杂时，可能需要重写部分计算方式、半精度接口等，如[#158](https://github.com/FlagOpen/FlagPerf/pull/158)。\n\n2. 模型推理适配\n\n  - **第一次参与推理**适配的工作内容较多。除了适配case外，还包括厂商的dockerfile、编译器实现方式、monitor等，如 [#256](https://github.com/FlagOpen/FlagPerf/pull/256)\n  - **后续参与推理**适配时，通常不需要适配工作量、仅需运行软件完成测试。如 [#227](https://github.com/FlagOpen/FlagPerf/pull/227)\n\n## FlagPerf合作伙伴\n\n\n![cooperation](assets/imgs/coop.png)\n\n## 许可证\n\n本项目基于Apache 2.0 license。 \n\u003cbr\u003e本项目的代码来源于不同的代码仓库，关于各模型测试Case的情况，请参考各模型测试Case目录的文档。\n\n## 联系我们\n\n如有疑问，可以发送邮件至flagperf@baai.ac.cn，或在[issue](https://github.com/FlagOpen/FlagPerf/issues)中说明情况\n\n\n\n\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2FFlagOpen%2FFlagPerf","html_url":"https://awesome.ecosyste.ms/projects/github.com%2FFlagOpen%2FFlagPerf","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2FFlagOpen%2FFlagPerf/lists"}