C++ 数据结构实战：快速查找

最近线上开发C++时，遇到一个性能问题，业务场景简单描述为：

给定m个商品ID, 4个特征(特征数量可增可减)，已知商品对应的每个特征的值，如何快速获取某个商品的某个特征值？

当时我采取的是stl嵌套的数据结构，由于时间复杂度较高，且vector的值是随着map的rehash阶段不断进行内存拷贝的, 在全量计算特征的时候会给性能造成很大的压力，当时与base的性能对比如下：

性能不达标，无法上线，经过一番思考，最终采取了如下数据结构：

std::unordered_map<int64_t, float> FeatureKeyV;
std::vector<FeatureKeyV*> FeatureKeyValueVec;

其中，FeatureKeyV负责存储商品ID与特征值的对应关系，FeatureKeyValue每行代表一个特征，负责存储每个商品在该特征上的取值。在获取商品特征值时，首先获取该特征的行数i，得到FeatureKeyValue第i行的FeatureKeyV指针，最后根据商品id即可得到对应的特征值。整个检索过程的时间复杂度仅来源于哈希表的查找，众所周知，哈希表的特点就是查找效率高，时间复杂度为常数级别O(1)。

源码如下：

/*** 给定m个商品ID, 4个特征(特征数量可增可减)，已知商品对应的每个特征的值，如何快速获取某个商品的某个特征值？*/
#include <iostream>
#include<unordered_map>enum {FEATURE_IREM_NUM_1=0,FEATURE_IREM_NUM_2,FEATURE_IREM_NUM_3,FEATURE_IREM_NUM_4,FEATURE_TOTAL_NUM
};
typedef std::unordered_map<int64_t, float> FeatureKeyV;
typedef std::vector<FeatureKeyV*> FeatureKeyValueVec;
FeatureKeyValueVec features;static const size_t NUM_DOC_ROW_NUM = 750;void Init()
{features.resize(FEATURE_TOTAL_NUM);for(size_t i = 0; i < features.size(); i++) {FeatureKeyV* &f = features[i];f = new FeatureKeyV(NUM_DOC_ROW_NUM);}
}
void SetFeature(int64_t sku, int fid, float value)
{if(fid > FEATURE_IREM_NUM_4 or fid < FEATURE_IREM_NUM_1)return;int i = fid - FEATURE_IREM_NUM_1;if(features[i])(*(features[i]))[sku] = value;
}
int GetFeature(int64_t sku, int fid, float &value)
{if(fid > FEATURE_IREM_NUM_4 or fid < FEATURE_IREM_NUM_1)return -1;int i = fid - FEATURE_IREM_NUM_1;if(features[i]){FeatureKeyV::iterator it = features[i]->find(sku);if (it == features[i]->end())return -1;value = it->second;return 0;}return -1;
}
void Reset()
{for(size_t i = 0; i < features.size(); i++){if(features[i]){features[i]->clear();delete features[i];}}
}
int main()
{Init();int64_t sku1 = 10000;SetFeature(sku1,FEATURE_IREM_NUM_1,20);SetFeature(sku1,FEATURE_IREM_NUM_2,30);SetFeature(sku1,FEATURE_IREM_NUM_3,40);SetFeature(sku1,FEATURE_IREM_NUM_4,50);int64_t sku2 = 10001;SetFeature(sku2,FEATURE_IREM_NUM_1,22);SetFeature(sku2,FEATURE_IREM_NUM_2,33);SetFeature(sku2,FEATURE_IREM_NUM_3,44);SetFeature(sku2,FEATURE_IREM_NUM_4,55);float value;if (!GetFeature(sku2, FEATURE_IREM_NUM_1, value)){cout << "feature:" << value << endl;}Reset();
}

优化后的性能对比如下：

性能达到上线标准，可见学好数据结构的重要性，有人曾经说过，一个优秀的算法，往往是利用最简单的数据结构解决最复杂的问题，如果数据结构设计比较复杂，那么一定是设计不合理。

C++ 数据结构实战：快速查找相关推荐

知识图谱实战应用16-知识图谱在化学物质结构上的应用，快速查找化学分子式与结构
大家好,我是微学AI,今天给大家介绍一下知识图谱实战应用16-知识图谱在化学物质结构上的应用,快速查找化学分子式与结构.在化学领域,知识图谱可以应用于化学物质结构上.化学物质结构主要指分子结构和化学键 ...
数据结构-单链表进阶之快慢指针原理（快速查找法）
面试题:快速找到未知长度单链表的中间节点? 这个问题的解决方法分为普通方法和高级方法. 1.普通方法即我们大家都能一下子想到的,首先遍历一遍获取总长度L,然后再次遍历循环至L/2即可:时间复杂度为: ...
面试被问，一千万个整数里面快速查找某个整数，你会怎么去做？
最近小林在求职面试中被询问了这么一个有趣的面试题: 假设当我们需要在一千万个整数(整数的范围在1-1亿之间)里面快速查找某个整数是否存在于其中的话,如何快速查找进行判断会比较方便呢? ps: int ...
python使用heapq快速查找最大或最小的 N 个元素
python使用heapq快速查找最大或最小的 N 个元素 heapq实现了一个适合与Python的列表一起使用的最小堆排序算法. 堆是非线性的树形的数据结构,有两种堆,最大堆与最小堆.( heapq ...
01丨数据结构：快速的Redis有哪些慢操作
Redis数据类型与底层数据类型关系简单来说,底层数据结构一共有 6 种,分别是简单动态字符串.双向链表.压缩列表.哈希表.跳表和整数数组.它们和数据类型的对应关系如下图所示: 键和值的结构组织为 ...
windows xp https页面找不到_Windows 提权快速查找 Exp
微软官方时刻关注列表网址: https://technet.microsoft.com/zh-cn/library/security/dn639106.aspx 比如常用的几个已公布的exp:KB25 ...
15 | 二分查找（上）：如何用最省内存的方式实现快速查找功能？
思考题:假设有 1000 万个整数数据,每个数据占 8 个字节,如何设计数据结构和算法,快速判断某个整数是否出现在这 1000 万数据中?希望不要占用太多的内存空间,最多不要超过 100MB 二分思想 ...
索引 Index -- 快速查找数据
文章目录 1. 为什么需要索引 2. 索引的需求定义 2.1 功能性需求 2.2 非功能性需求 3. 构建索引常用的数据结构 4. 总结索引这种常用的技术解决思路,底层往往会依赖哪些数据结构? 1. ...
B-Tree/B+-Tree/二叉树/红黑树/Hash表/MySQL底层到底用哪个数据表建立索引做快速查找？
B-Tree/B+-Tree/二叉树/红黑树/Hash表/MySQL底层到底用哪个数据表建立索引做快速查找? ~~B-Tree~~ ==B+Tree== ~~二叉树(Binary Search Tre ...
d - 数据结构实验之查找四:二分查找_数据结构与算法笔记
二分查找(上):如何用最省内存的方式实现快速查找功能? 二分查找(下):如何快速定位IP对应的省份地址? 变体一:查找第一个值等于给定值的元素变体二:查找最后一个值等于给定值的元素变体三:查找第一 ...

C++ 数据结构实战：快速查找

C++ 数据结构实战：快速查找相关推荐

最新文章

热门文章