memcached中对象的最佳序列化方法是什么？

我的Python应用程序当前使用python-memcached API来设置和获取memcached中的对象.此API使用Python的本机pickle模块来序列化和反序列化Python对象.

这个API使得在memcached中存储嵌套的Python列表,字典和元组变得简单快捷,将这些对象读回应用程序是完全透明的 - 它只是起作用.

但我不想仅限于使用Python,如果所有的memcached对象都是用pickle序列化的,那么用其他语言编写的客户端将无法工作.

以下是我考虑过的跨平台序列化选项:

XML - 主要的好处是它是人类可读的,但在这个应用程序中并不重要.XML也占用了大量空间,解析起来也很昂贵.

JSON - 似乎是一个很好的跨平台标准,但我不确定它是否在从memcached读回时保留了对象类型的特征.例如,根据这个帖子,当使用simplejson时,元组被转换为列表; 此外,似乎向JSON结构添加元素可能会破坏写入旧结构的代码

谷歌协议缓冲区 - 我真的很感兴趣,因为它看起来非常快速和紧凑 - 至少比XML小10倍; 它不是人类可读的,但对于这个应用程序来说并不重要; 它似乎旨在支持增长结构而不破坏旧代码

考虑到这个应用程序的优先级,memcached的理想对象序列化方法是什么？

跨平台支持(Python,Java,C#,C++,Ruby,Perl)

处理嵌套数据结构

快速序列化/反序列化

最小内存占用量

灵活地改变结构而不破坏旧代码

gahooa.. 7

一个主要的考虑因素是"你想要指定每个结构定义"吗？

如果你对此感到满意,那么你可以看看:

协议缓冲区 - http://code.google.com/apis/protocolbuffers/docs/overview.html

Thrift - http://developers.facebook.com/thrift/(更倾向于服务)

这两种解决方案都需要支持文件来定义每个数据结构.

如果您不希望招致开发人员预先定义每个结构的开销,那么请查看:

JSON(通过python cjson和本机PHP json).如果您不需要传输二进制内容(例如图像等),两者都非常快.

另一种标记语言@ http://www.yaml.org/.如果你得到合适的图书馆也很快.

但是,我认为这两者都存在运输二进制内容的问题,这就是为什么它们被排除在我们的使用之外. 注意: YAML可能具有良好的二进制支持,您必须检查客户端库 - 请参阅此处:http://yaml.org/type/binary.html

在我们公司,我们推出了自己的库(Extruct),用于跨语言序列化和二进制支持.我们目前在Python和PHP中具有(相当)快速的实现,尽管由于在所有字符串上使用base64(二进制支持),它不是非常易读的.最终我们将它们移植到C并使用更多标准编码.

如果循环中有太多迭代或者必须查看每个字符,PHP和Python等动态语言会变得非常慢.另一方面,C在这样的操作上闪耀.

如果您想看看Extruct的实现,请告诉我.(联系信息,请访问http://blog.gahooa.com/ "关于我")

一个主要的考虑因素是"你想要指定每个结构定义"吗？

如果你对此感到满意,那么你可以看看:

协议缓冲区 - http://code.google.com/apis/protocolbuffers/docs/overview.html

Thrift - http://developers.facebook.com/thrift/(更倾向于服务)

这两种解决方案都需要支持文件来定义每个数据结构.

如果您不希望招致开发人员预先定义每个结构的开销,那么请查看:

JSON(通过python cjson和本机PHP json).如果您不需要传输二进制内容(例如图像等),两者都非常快.

另一种标记语言@ http://www.yaml.org/.如果你得到合适的图书馆也很快.

但是,我认为这两者都存在运输二进制内容的问题,这就是为什么它们被排除在我们的使用之外. 注意: YAML可能具有良好的二进制支持,您必须检查客户端库 - 请参阅此处:http://yaml.org/type/binary.html

在我们公司,我们推出了自己的库(Extruct),用于跨语言序列化和二进制支持.我们目前在Python和PHP中具有(相当)快速的实现,尽管由于在所有字符串上使用base64(二进制支持),它不是非常易读的.最终我们将它们移植到C并使用更多标准编码.

如果循环中有太多迭代或者必须查看每个字符,PHP和Python等动态语言会变得非常慢.另一方面,C在这样的操作上闪耀.

如果您想看看Extruct的实现,请告诉我.(联系信息,请访问http://blog.gahooa.com/ "关于我")

我尝试了几种方法,并将压缩的JSON作为速度和内存占用之间的最佳平衡.Python的原生Pickle函数稍微快一点,但生成的对象不能与非Python客户端一起使用.

我看到3:1压缩,所以所有数据都适合memcache,应用程序获得低于10毫秒的响应时间,包括页面呈现.

这里是JSON,Thrift,Protocol Buffers和YAML的比较,有无压缩:

http://bouncybouncy.net/ramblings/posts/more_on_json_vs_thrift_and_protocol_buffers/

看起来这个测试得到了与压缩JSON相同的结果.由于我不需要预先定义每个结构,这似乎是最快和最小的跨平台答案.