Intel AI镜像
镜像中安装了针对英特尔®至强®可扩展处理器优化过的TensorFlow和Caffe,镜像可用于金山云三代云主机实例。
北京金山云网络技术有限公司
服务保障
云市场线上交易全程监管,保障您的资金安全和服务质量,请勿线下交易!

什么是Intel AI镜像

镜像中安装了针对英特尔®至强®可扩展处理器优化过的TensorFlow和Caffe,通过调用Intel®MKL-DNN能够更好的使用Intel®AVX-512指令集,显著加速AI运算过程,尤其是加速深度学习的推理过程。

使用该镜像用户可以免去下载、安装和配置的繁琐步骤,直接得到在英特尔至强可扩展处理器上的最好运行性能。

适用范围

金山云三代主机的相关实例:

机型 说明
标准型S3实例 2.6GHz Intel Xeon Gold 6132 processor, DDR4 内存
通用型N3实例 2.7GHz Intel Xeon Platinum 8168 processor, DDR4内存
计算型C3实例 3.2GHz Intel Xeon Gold 6146 processor,DDR4内存
IO优化型I3实例 2.7GHz Intel Xeon Platinum 8168 processor, DDR4内存

组件说明

TensorFlow

TensorFlow是目前在AI领域应用最为广泛的深度学习开源框架,可以很好的支持AI应用较为普遍的计算机视觉、语音识别、自然语言处理工作负载。为了提升原生TensorFlow在英特尔至强处理器上运行的性能,英特尔与Google紧密合作,将基于MKL-DNN的优化代码集成到TensorFlow中。

针对英特尔平台优化过的TensorFlow可以很好地利用英特尔至强处理器的AVX-512指令集加速,相对于原生的TensorFlow性能有了很大提升。更多细节可访问如下链接:

https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide

镜像中的TensorFlow安装在/root/anaconda2目录下,版本为r1.12。

Caffe

Caffe同样是一个应用十分广泛的开源框架,最早主要是对计算机视觉方面的应用做了针对性的开发,目前在国内的安防领域等方面应用突出。

不同于TensorFlow,Caffe并没有版权方面的限制,英特尔在开源网站github上面有专属的分支(https://github.com/intel/caffe),面向英特尔的x86 CPU 架构提供了许多有针对性的优化。优化过的Intel Caffe,比官方版本的BVLC Caffe有大幅度的性能提升,在一些典型的CNN拓扑上,提升幅度达到数十倍。另外,英特尔对大量现存的基于Windows的安防类型企业的工作负载,也实现了性能优化。

镜像中的Intel Caffe安装在/root/caffe目录下,版本为1.15。

AVX-512指令集和MKL-DNN

英特尔至强可扩展处理器提供了全新的AVX-512指令集,该指令可以同时处理16个单精浮点数,比上一代至强处理器处理单精浮点数的能力提升2倍,这个特性在处理人工智能这种高密度计算的工作负载上展示了前所未有的优势。

大量的AI算法是基于开源框架开发的,如TensorFlow、Caffe、MxNet等。为了能够将底层的硬件计算力全部释放,英特尔针对这些开源框架做了大量的优化工作,其中非常关键的一点是通过调用英特尔核心数学库(MKL/MKL-DNN)很好的利用到了英特尔处理器的AVX-512指令集。

更多关于AVX-512指令集和MKL-DNN的介绍可以参考如下链接:

https://software.intel.com/en-us/mkl/documentation/view-all

https://www.intel.com/content/www/us/en/architecture-and-technology/avx-512-overview.html

https://software.intel.com/en-us/articles/intel-mkl-dnn-part-1-library-overview-and-installation

其他

除Caffe和TensorFlow之外,镜像中还安装了anaconda2和gcc-7.2。
其中,安装anaconda2主要提供TensorFlow和Caffe所需要的Python环境。相比于系统的Python目录,anaconda2可提供更可靠的环境,防止系统Python环境发生变化造成TensorFlow和Caffe不可用。
另外,gcc-7.2用于编译和安装优化版本的TensorFlow,这是由于centos7.4自带的gcc版本不支持AVX-512指令集。

登录名及密码说明

请联系金山云客服。

如果使用API开机,镜像ID为:96790abd-a780-48b7-b3cf-3e7eaa1c1e86。

优化前后的性能对比

如下测试数据是在金山云N3实例上进行测试获得的。

测试使用三台VM:

1、VM1(蓝色):24vCPU,安装默认版本的TensorFlow和Caffe;

2、VM2(橙色):24vCPU,安装优化版本的TensorFlow和Caffe;

3、VM3(灰色):16vCPU,安装优化版本的TensorFlow和Caffe。

首先对比优化版本的TensorFlow和Google默认版本的TensorFlow的性能。在不同配置的三个VM中,分别运行如下测试例:

1、运行Batch_Size为1的resnet50 inference

2、运行Batch_Size为1的inception3 inference

3、运行Batch_Size为1的ssd-mobilenet inference

4、运行Batch_Size为256的Wide&Deep测试,测试基于 movielens-1M的数据集。

测试结果如下图所示,可以看到优化后的TensorFlow有显著的性能提升。

对比Intel Caffe和默认版本Caffe的性能,在不同配置的三个VM中,分别运行如下测试例:

1、运行Batch_Size为1的resnet50前向传播测试

2、运行Batch_Size为1的inception3前向传播测试

3、运行Batch_Size为1的ssd-mobilenet前向传播测试

4、运行Batch_Size为1的resnext50前向传播测试

参考链接

1、https://github.com/intel/caffe

2、https://www.intel.ai/tensorflow-optimizations-intel-xeon-scalable-processor/

3、https://github.com/tensorflow/tensorflow#community-supported-builds

4、https://github.com/IntelAI/models

5、https://software.intel.com/en-us/articles/intel-optimization-for-tensorflow-installation-guide

6、https://software.intel.com/en-us/mkl/documentation/view-all

7、https://www.intel.com/content/www/us/en/architecture-and-technology/avx-512-overview.html