人工智能Java SDK：大数据如何与AI技术结合使用 - kafka - 句向量提取【支持15种语言】

2024-04-25 20:20:45

kafka-句向量提取【支持15种语言】SDK

句向量是指将语句映射至固定维度的实数向量。
将不定长的句子用定长的向量表示，为NLP下游任务提供服务。
支持 15 种语言：
Arabic, Chinese, Dutch, English, French, German, Italian, Korean, Polish, Portuguese, Russian, Spanish, Turkish.

句向量

句向量应用：

语义搜索，通过句向量相似性，检索语料库中与query最匹配的文本
文本聚类，文本转为定长向量，通过聚类模型可无监督聚集相似文本
文本分类，表示成句向量，直接用简单分类器即训练文本分类器

SDK功能：

句向量提取
读取kafka topic

1. 启动 zookeeper:

zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties

2. 启动 kafka:

kafka-server-start /usr/local/etc/kafka/server.properties

3. 创建 topic:

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic sentence-data

4. 查看创建的topic

kafka-topics --list --zookeeper localhost:2181

5. 输入测试数据

kafka-console-producer --broker-list localhost:9092 --topic sentence-data
> 这家餐厅很好吃

6. 运行例子 - SentenceEncoderExample

运行成功后，命令行应该看到下面的信息:

...
content: How many people live in Berlin?
Vector dimensions: 512
Sentence1 embeddings: [-0.025924467, -0.0054853377, ..., -0.02703922, -0.024842339]content: 这家餐厅很好吃
Vector dimensions: 512
Sentence1 embeddings: [-0.0035688172, -0.017706484, ..., 0.0061081746, -0.023076165]
...

Mac环境安装kafka

brew install kafka

目录：

http://www.aias.top/

Git地址：

https://github.com/mymagicpower/AIAS
https://gitee.com/mymagicpower/AIAS

人工智能Java SDK：大数据如何与AI技术结合使用 - kafka - 句向量提取【支持15种语言】相关推荐

python android开发月薪_学编程，学java还是大数据、android？平均月薪23k以上告诉你方向...
学编程,学java还是大数据.android?有不少同学在纠结中,最近有不少初学者来问到,学习大数据,学习spark,公司主要使用那些语言编写,每听到这一个问题,起码还是很不错的,证明你已经开始学习大 ...
python大数据和java大数据的区别-未来Java、大数据、Python哪个前景更好，薪资更高？...
都知道现在最火爆的是人工智能.大数据.而人工智能和大数据主要用的语言就是Java和Python.今天我们就来分析一下,当前java,python和大数据,哪个就业前景更好?自己该学哪一个? Java和 ...
谈谈Java与大数据之间的关系你们都了解了清楚了吗？
Java是计算机编程语言界的王者,大数据是当下IT领域中最新潮的技术,Java和大数据都是当下十分受企业欢迎的IT技术,也是企业核心竞争力的重要组成部分,都说学大数据要先学Java,那么Java和大数 ...
python工资高还是java-未来Java、大数据、Python哪个前景更好，薪资更高？
都知道现在最火爆的是人工智能.大数据.而人工智能和大数据主要用的语言就是Java和Python.今天我们就来分析一下,当前java,python和大数据,哪个就业前景更好?自己该学哪一个? Java和 ...
Java、大数据、Python哪个前景更好，薪资更高？
都知道现在最火爆的是人工智能.大数据.而人工智能和大数据主要用的语言就是Java和Python.今天我们就来分析一下,当前java,python和大数据,哪个就业前景更好?自己该学哪一个? Java和 ...
大数据中台向AI中台演进是大势所趋？
来源 | 宜信技术学院(ID:CE_TECH) 导读:自从阿里巴巴提出"中台"的概念之后,这个词汇就成为各领域企业关注的焦点,很多人在考虑建设自己的中台.然而,构建中台是否真有必要 ...
AI和大数据下，前端技术将如何发展？
简介:2010年前后,各种大数据应用进入爆发期.如果说之前的Web应用更多地是在"产生"数据,那在2010年之后,如何更好地"展现"数据则被提上了新的高度,很多 ...
上交AI研究院副院长马利庄：基于大数据的人脸识别技术进展与展望
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 转自 | 中国人工智能学会本篇大家整理的是来自上海交通大学人工智能研究院副院长.华东师范大学特聘教授 ...
UCLA教授朱松纯：走向通用人工智能，从大数据到大任务
导读:本文内容整理自美国加州大学洛杉矶分校的朱松纯教授在 2019 北京智源大会上的主题演讲<走向通用人工智能:从大数据到大任务>. 作者:朱松纯来源:AI科技大本营(ID:rgznai ...

最新文章

热门文章