常用的字符串分割方法

起因：前段时间写命令行解析函数（字符串分割比较通用的例子），没有经过深入思考和分析引起了程序死循环，就想了下是否有对应的系统函数可以使用。经过一番搜索之后发现还是有几个可用的字符串分割函数，这里整理下，以作总结及后续查询使用。

当然，如果你觉得自己的字符串处理可以做的很好，可以考虑直接使用字符串查找函数做字符串分割，比如c中的字符串查找函数、CString字符查找函数、string字符查找函数等，更原始点可以直接操作内存。

windows下有以下几种可用的字符串分割方法。

CString::Tokenize()

用法如下。

// 按照token分割source字符串，结果通过cout输出
// 使用MFC的CString::Tokenize
void SplitUseTokenize(const char * source, char token)
{CString strSource = source;CString strToken(token);int pos = 0;while (-1 != pos){CString strCur = strSource.Tokenize(strToken, pos);if (!strCur.IsEmpty()){cout << strCur << endl;}}cout << endl << endl;
}

Tokenize函数将分割好的字串放到返回值中，同时将对应的扫描位置放到第二个参数中，如果第二个参数返回-1，表示分割完成。

AfxExtractSubString()函数

// 按照token分割source字符串，结果通过cout输出
// 使用MFC中的AfxExtractSubString函数
void SplitUseExtract(const char * source, char token)
{int pos = 0;CString strCur = "";while(AfxExtractSubString(strCur, source, pos, token)){++pos;cout << strCur << endl;}cout << endl << endl;
}

　AfxExtractSubString函数返回值表示是否提取子串成功，还有几个重载函数，可以参考msdn上的说明。

提取得到子串放到第一个参数中。　

c语言的strtok()函数

// 按照token分割source字符串，结果通过cout输出
// 使用crt的strtok函数
void SplitUseStrtok(char * source, char token)
{char * ptr = strtok(source, &token);while(NULL != ptr){   cout << ptr << endl;ptr = strtok(NULL, &token);}
}

strtok函数不是线程安全的，不是可重入的，需要线程安全的函数，建议使用strtok_r函数。具体用法可参考c语言用户手册。

这里需要说明的是：

CString::Tokenize()中的PCXSTR pszTokens为分隔字符的组合，可为多个字符。

AfxExtractSubString()中的分隔字符，只能是一个字符。

另外有一点要注意：

CString::Tokenize()碰到连续多个分隔字符是作为一个处理的，AfxExtractSubString()中多个分隔符可区分处理。

strtok/strtok_r函数的处理逻辑跟CString::Tokenize()类似。

如果使用下面测试程序，输出如下：

int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{int nRetCode = 0;// 初始化 MFC 并在失败时显示错误if (!AfxWinInit(::GetModuleHandle(NULL), NULL, ::GetCommandLine(), 0)){// TODO: 更改错误代码以符合您的需要_tprintf(_T("错误: MFC 初始化失败\n"));nRetCode = 1;}else{// TODO: 在此处为应用程序的行为编写代码。char source[] = "123\n\n456\n789";char token = '\n';SplitUseTokenize(source, token);SplitUseExtract(source, token);SplitUseStrtok(source, token);system("pause");}return nRetCode;
}

这个输出也说明了本文中提及的注意事项问题。

注：本文涉及所有代码可使用Git直接下载：https://git.oschina.net/Tocy/SampleCode.git。实际代码位于Console目录下，名称为“20150709_StringSplit.cpp”。