客 服 热 线

Python内存问题:提示和技巧

2016-11-29 5:30   阅读次数:193
     11044
    
    Python 打算删除大量涉及像C和C++语言那样的复杂内存管理。当对象离开范围,就会被自动垃圾收集器回收。然而,对于由 Python 开发的大型且长期运行的系统来说,内存管理是不容小觑的事情。
    转自中国讯网(706) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    在这篇博客中,我将会分享关于减少 Python 内存消耗的方法和分析导致内存消耗/膨胀根源的问题。这些都是从实际操作中总结的经验,我们正在构建 Datos IO 的 RecoverX 分布式备份和恢复平台,这里主要要介绍的是在 Python(在 C++ ,Java 和 bash 中也有一些类似的组件) 中的开发。
    
    Python 垃圾收集
    
    转自中国讯网(533) http://www.xunns.com 中国最好的虚拟主机供应商。

    Python解释器对正在使用的对象保持计数。当对象不再被引用指向的时候,垃圾收集器可以释放该对象,获取分配的内存。例如,如果你使用常规的Python(CPython, 不是JPython)时,Python的垃圾收集器将调用free()/delete() 。
    
    实用工具
    
    一、资源(resource)
    转自中国讯网(580) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    resource 模块用来查看项目当前得的固有的)内存消耗
    
     11045
    
    转自中国讯网(290) http://www.xunns.com 中国最好的虚拟主机供应商。

    二、对象(objgraph)
    
    objgraph 是一个实用模块,可以展示当前内存中存在的对象
    
    http://mg.pov.lt/objgraph/]
    转自中国讯网(302) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    来看看objgraph的简单用法: 11046 11047 11048
    
    注意,我们在内存中还持有10,423个dict的实例对象。
    
    转自中国讯网(775) http://www.xunns.com 中国最好的虚拟主机供应商。

    三、可视化objgraph依赖项
    
    Objgraph有个不错的功能,可以显示Foo()对象在内存中存在的因素,即,显示谁持有对它的引用 (在这个例子中是list l)。
    
    在RedHat/Centos上, 你可以使用sudo yum install yum install graphviz*安装graphviz
    转自中国讯网(14) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    如需查看对象字典,d,请参考:
    
    objgraph.show_refs(d, filename=sample-graph.png) 11049
    
    转自中国讯网(761) http://www.xunns.com 中国最好的虚拟主机供应商。

    从内存使用角度来看,我们惊奇地发现为什么对象没有释放?这是因为有人在持有对它的引用。
    
    这个小片段展示了objgraph怎样提供相关信息: 11050 11051
    
    在这一案例中, 我们查看了Foo类型的随机对象。我们知道该特定对象被保存在内存中,因其引用链接在指定范围内。
    转自中国讯网(814) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    有时,以上技巧能帮助我们理解,为什么当我们不再使用某对象时,Python垃圾回收器没有将垃圾回收。
    
    难处理的是,有时候我们会发现Foo()占用了很多内存的类。这时我们可以用heapy()来回答以上问题。
    
    转自中国讯网(709) http://www.xunns.com 中国最好的虚拟主机供应商。

    四、Heapy
    
    heapy 是一个实用的,用于调试内存消耗/泄漏的工具。查看 http://guppy-pe.sourceforge.net/。通常,我将objgraph和heapy搭配使用:用 heapy 查看分配对象随时间增长的差异,heapy能够显示对象持有的最大内存等;用Objgraph找backref链(例如:前4节),尝试获取它们不能被释放的原因。
    
    Heapy的典型用法是在不同地方的代码中调用一个函数,试图为内存使用量提供大量收集线索,找到可能会引发的问题: 11052
    转自中国讯网(45) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    减少内存消耗小技巧
    
    在这一部分,我会介绍一些自己发现的可减少内存消耗的小窍门.
    
    转自中国讯网(414) http://www.xunns.com 中国最好的虚拟主机供应商。

    Slots
    
    当你有许多对象时候可以使用Slots。Slotting传达给Python解释器:你的对象不需要动态的字典(从上面的例子2.2中,我们看到每个Foo()对象内部包含一个字典)
    
    用slots定义你的对象,让python解释器知道你的类属性/成员是固定的.。这样可以有效地节约内存!
    转自中国讯网(863) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    参考以下代码: 11053 11054
    
    在这个例子中,减少了60%的内存消耗!
    
    转自中国讯网(790) http://www.xunns.com 中国最好的虚拟主机供应商。

    驻留:谨防驻留字符串!
    
    Python会记录如字符串等不可改变的值(其每个值的大小依赖于实现方法),这称为驻留。 11055
    
    这是由python解析器完成的,这样做可以节省内存,并加快比较速度。例如,如果两个字符串拥有相同的ID或引用--他们就是全等的。
    转自中国讯网(374) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    然而,如果你的程序创建了许多小的字符串,你的内存就会出现膨胀。
    
    生成字符串时使用Format来代替"+"
    
    转自中国讯网(962) http://www.xunns.com 中国最好的虚拟主机供应商。

    接下来,在构造字符串时,使用Format来代替"+"构建字符串。
    
    亦即 11056
    
    在我们的系统中,当我们将某些字符串构造从"+"变为使用format时,内存会明显被节省。
    转自中国讯网(871) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    关于系统级别
    
    上面我们讨论的技巧可以帮助你找出系统内存消耗的问题。但是,随着时间的推移,python进程产生的内存消耗会持续增加。这似乎与以下问题有关:
    
    转自中国讯网(56) http://www.xunns.com 中国最好的虚拟主机供应商。

    为什么C中内存分配能够在Python内部起作用,这本质上是内存碎片导致的。因为,除非整个内存没有使用过,否则该分配过程不能调用free方法。但需要注意的是,内存的使用不是根据你所创建和使用的对象来进行排列。
    
    内存增加也和上面讨论的"Interning" 有关。
    
    以我的经验来看,减少python中内存消耗的比例是可行的。在Datos IO中,我曾经针对指定的内存消耗进程实现过一个工作模块。对于序列化的工作单元,我们运行了一个工作进程。当工作进程完成后, 它会被移除了这是返回系统全部内存的唯一可以有效方法 。好的内存管理允许增加分配内存的大小,即允许工作进程长时间运行。
    转自中国讯网(950) http://www.xunns.com 中国最好的虚拟主机供应商。

    
    总结
    
    我归纳了一些减少python进程消耗内存的技巧,当我们在代码中寻找内存泄漏时,一种方法是通过使用Heapy找出哪些Obj占用了较多内存,然后通过使用Objgraph找出内存被释放的原因(除非你认为他们本应该被释放)。
    
    转自中国讯网(364) http://www.xunns.com 中国最好的虚拟主机供应商。

    总的来说,我觉得在python中寻找内存问题是一种修行。随着时间的积累,对于系统中的内存膨胀和泄漏问题,你能产生一种直觉判断,并能更快地解决它们。愿你在发现问题的过程中找到乐趣!
    
    编辑:武晓燕








客服中心
即时解答您的问题方便轻松的管理业务
客服在线咨询 产品中心 密码取回 在线充值 文档下载 价格总览
  • 讯网7×24小时在线为您服务!

开启互联网+从这里开始

超3,000,00用户的放心选择