0
雷锋网 AI 开发者按：近日，TensorFlow 强势推出能将模型规模压缩却几乎不影响精度的半精度浮点量化（float16 quantization）工具。小体积、高精度，还能够有效的改善 CPU 和硬件加速器延迟。TensorFlow 发出相应的文章对该工具做了简要的说明，雷锋网 AI 开发者将其整理编译如下。
我们非常高兴能够将训练后的 float16 quantization 作为模型优化工具包（Model Optimization Toolkit）的一部分。这套工具包括了：
混合量化（https://medium.com/tensorflow/introducing-the-model-optimization-toolkit-for-tensorflow-254aca1ba0a3 ）
修剪（https://medium.com/tensorflow/tensorflow-model-optimization-toolkit-pruning-api-42cac9157a6a ）
在计算中，半精度是二进制浮点计算机数字格式，占用计算机存储器中的 16 位。在 IEEE 754-2008 标准中，16 位 base-2 格式称为 binary16。它用于在高精度对于执行算术计算不是必需的应用中存储浮点值，并且 IEEE 754 标准将 binary16 指定为具有以下格式：
Sign bit（符号位）： 1 bit
Exponent width（指数位宽）： 5 bits
Significand precision（尾数精度）： 11 bits （有10位被显式存储）
图 1 IEEE 754 标准下 binary16 的格式
训练后的 float16 quantization 减少了 TensorFlow Lite 模型的大小（高达 50％），同时以少量的精度损失为代价。它将模型常量（如权重和偏差值）从全精度浮点（32 位）量化为减少精度的浮点数据类型（IEEE FP16）。
训练后的 float16 quantization 是量化 TensorFlow Lite 模型很好的方法，因为它对精度的影响极小并且能够使得模型大小显著减小。在这里可以通过查看该文档（包括一个新的浮动图表，https://www.tensorflow.org/lite/performance/post_training_quantization），以帮助你了解不同的量化选项和场景。
图 2 帮助确定合适量化场景的决策树
尤其是在部署到边缘时，降低精度将产生很大的收益。
模型尺寸减少 2 倍。模型中的所有常量值都存储在 16 位浮点数而不是 32 位浮点数中；由于这些常量值通常在整个模型尺寸中占主导地位，因此通常会将模型的尺寸减小约一半。
精确度损失可忽略不计。深度学习模型通常能够在使用相较于最初训练时更少精确度的情况下，产生良好的推理结果。并且在我们对多个模型的实验中，我们发现推理质量几乎没有损失。例如图 4 中，MobileNet V2 top 1 的测试结果显示，其精度降低值小于 0.03％。
模型尺寸测试结果
训练后的 float16 quantization 对精度的影响很小，并可以使得深度学习模型的大小减小约 2 倍。
以下是在 MobileNet V1 和 V2 模型以及 MobileNet SSD 模型的一些测试结果。其中，MobileNet v1 和 v2 的结果基于 ImageNet 图像识别任务测得，而 MobileNet SSD 模型则在 COCO 目标检测任务上评估而得。
图 3 不同模型下模型大小变化
模型精度测试结果
在 ILSVRC 2012 图像分类任务中，我们评估了标准 Mobilenet Float32 模型（和 FP16 变体）。在 COCO 目标检测任务中，我们对 Mobilenet SSD float32 模型及其 fp16 变体进行了评估。
图 4 不同模型下精度损失测试结果
用户可以在 TensorFlow Lite converter 上指定训练后的 float16 quantization，即使用经过训练的 float32 模型，将优化设置为 DEFAULT，然后再将目标规范支持的类型设置为 float16 常量。
图 5 模型参数相关设置
转换模型后，用户就可以像任何其它 TensorFlow Lite 模型那样直接运行该模型了。默认情况下，模型将在 CPU 上运行，通过将 16 位参数「上采样」为 32 位，然后在标准 32 位浮点运算中执行操作。在今后的优化过程中，我们也希望能够有更多的硬件支持加速 fp16 计算，这样半精度值就不再需要进行「上采样」的操作，而是直接进行计算。
同时，用户还可以在 GPU 上运行模型。我们已经增强了 TensorFlow Lite GPU 代理，以接收 16 位精度参数并直接运行（而无需像在 CPU 上那样先进行转换）。
在应用程序中，用户可以通过 TfLiteGpuDelegateCreate 函数（文档）创建 GPU 代理。需要注意的是在为代理指定选项时，请确保将 precision_loss_allowed 设置为 1，从而使其能够在 GPU 上直接使用 float16 操作。
图 6 在 GUP 上运行模型的参数设置
有关 GPU 委托的概述，可以参阅我们之前的帖子（https://medium.com/tensorflow/tensorflow-lite-now-faster-with-mobile-gpus-developer-preview-e15797e6dee7）；如果想进一步了解该工具，可以在 CoLab 教程中查看 float16 quantization 工具的使用示例。
原文链接：
CoLab 教程：
雷锋网 AI 开发者
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
重发邮箱修改邮箱
优化网站哪家有名重庆网站优化流程网站关键词优化哪家价格便宜快速诊断网站seo优化东莞企业网站优化什么价格石家庄专业网站seo优化网站黄骅网站优化排名价格优化文章网站武汉专业的seo优化的网站南陵网站建设seo优化项城网站优化哪里的好淄博网站优化培训宁波网站优化广告推广天猴网站优化北京网站优化教程成都网站优化电话韶关seo网站关键词优化技巧陇南市资深的网站优化专门网站开发优化出口型网站seo优化渠道网站优化费计入什么科目昆山网站seo优化方案海淀网站整体优化淮安网站权重优化淄博网站优化技术团队深圳综合网站优化营销西安网站seo优化标准优化工厂网站三明网站seo优化厂家价格港闸区网站seo人工优化资讯网站如何做SEO优化百度网站优化软件飞鱼快排牟平品牌网站优化公司北京网站优化公司电话灵宝seo网站优化软件许昌360seo网站优化系统门窗网站优化民权专业网站关键词优化报价河北服务网站优化设计深圳五金网站seo优化大连传统行业网站优化北关区网站优化哪家做得久新的营销型网站怎么优化网站推广与优化的好处沧州网站优化百胜网站内容优化教学网站优化的实习鉴定福田在线网站优化方式西藏网站seo如何优化巢湖网站优化制作公司沈阳seo优化网站推广三明外贸网站谷歌优化优化网站好的策划龙口智能营销网站优化公司怎么能优化网站排名四川网站优化推广软件网站优化 步骤节能设备网站seo优化平台朔州网站关键词排名优化广西模板网站优化南宁专业网站seo优化网站培训班加盟英语网站优化tdk网站优化注意事项哈尔滨网站优化对策重庆网站优化对策sql优化训练网站网站还有什么不足应该如何优化余江网站优化网站设计优化模板哪里有网站SEO优化费用新北区百度网站优化排名网站标题优化 英文巩义网站排名优化哪里有名贵阳网站优化对策左岸明珠南昌网站推广优化宁波网站优化多少钱通讯产品网站优化入门黄山如何优化网站番禺网站优化电池食品网站优化哪里比较好前端优化测试网站汉中网站优化效果网站优化过度的具体原因有哪些桂林很好的网站优化用户体验正规网站优化策略网站排名优化最新湖南岚鸿知名施秉县网站优化营销番禺网站优化价格金坛网站优化哪家好网站结构优化的策略西安网站优化价格网站建设优化只信f火20星荐优化网站排名挪移云速捷湘潭网站优化排名企业网站关联优化太原网站优化公司媒网站建设与seo优化的公司有客来优化网站效果山西省乐乐优化网站怎么样深圳地产网站优化优化网站排名价格怎么在网站优化费用多少南通市优化网站推广哪里有卖抚顺优化网站排名郑州网站优化在哪里网站崩溃如何优化网站怎么优化加如云速捷拥有网站降权是因为优化过度吗深圳企业网站优化公司哪个好宣城网站搜索排名优化多少钱胶州网站优化哪家好崇仁seo网站优化苏州 网站排名优化柳州专业seo网站内部优化河津网站优化哪家好360网站关键词优化系统扬州优化网站排名公司树形结构网站优化优化网站的方面南阳网站建设优化dede织梦网站优化怎么做好一个优化网站怎么做网站优化排名好济宁原装网站优化制作网站tdk优化要注意什么单本小说网站优化南宁网站seo优化服务无锡优化网站如何收费最专业的网站优化品牌网站过度优化首页被k平湖小企业网站优化安庆网站排名优化乌苏市网站seo优化排名保定网站优化怎样收费洛阳优化网站建设如何将网站权重优化到12天网站优化查询命令宜都宜昌网站建设优化公司seo技术学习网站优化常州如何优化网站龙泉网站怎么优化苏州网站优化排名企业杭州网站的优化方式比较好的网站seo优化怎样药品网站优化方案根河网站关键词优化怎么做到网站优化开封优化网站怎么样赤水手机网站优化上海网站排名优化怎么做百度网站如何优化排名巴南网站seo优化扬州市优化网站推广seo快速排名网站优化效果好网站应该如何选择优化的关键词属于seo网站优化网站排名优化珍宝云速捷引领毕节网站优化公司找哪家永昌县网站seo优化排名雷山优化推广网站剑河县网站优化营销网站优化从哪几个方面开始杏花岭区网站seo优化排名优化网站收费情况赣州网站综合优化增城外贸网站优化推广公司长沙做网站seo优化快速排名麻涌五金网站优化哪家快电影如何优化网站西安公司优化网站宣城网站搜索排名优化多少钱英文网站seo如何做优化如何编写seo优化网站标题网站优化可以从哪些方面做招远商城网站优化公司可靠的常州网站优化永兴网站优化自动网站优化互联网推广德州网站优化营商无锡网站seo优化报价网站优化公司seo案例网站优化费用报价泰州高港网站优化哪家好昆明专业的seo网站排名优化宜兴市网站seo优化排名b端网站建设优化的职位要求网站排名网站排名优化优化柴胡店企业网站优化沈阳实力强的服务行业网站优化阳信英文网站优化哪家好网站做优化推举火31星什么网站不能优化网站排名优化首推金手指网站优化课程故事书高负载网站优化兰州优化网站化网站南昌西湖网站搜索引擎优化牟平网站优化服务芜湖网站关键词优化步骤昆明专业的seo网站排名优化
