LegalAI领域大规模预训练语言模型的整理、总结及介绍（持续更新ing…）
诸神缄默不语-个人CSDN博文目录
最近更新日期：2023.6.26
最早更新日期：2023.6.7
文章目录
- 1. 通用大规模预训练语言模型
- 2. 对话模型
- 3. 分句
- 4. 文本分类
- 5. 信息抽取
- 6. 案例检索
1. 通用大规模预训练语言模型
英语：
- LegalBERT
- 原始论文：(2020 EMNLP) LEGAL-BERT: The Muppets straight out of Law School - ACL Anthology
- 下载地址：huggingface
- CaseLaw-BERT
- 原始论文：(2021 ICAIL) When does pretraining help?: assessing self-supervised learning for law and the CaseHOLD dataset of 53,000+ legal holdings
- BERTLaw
- 原始论文：(2021) Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain
- 下载地址：https://huggingface.co/nguyenthanhasia/BERTLaw
- PolBERT
- 原始论文：(2022 NeurIPS) Pile of Law: Learning Responsible Data Filtering from the Law and a 256GB Open-Source Legal Dataset
- legal-longformer
- 下载地址：https://huggingface.co/saibo/legal-longformer-base-4096
- LegalLAMA
- 原始论文：(2023 ACL) LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development
- （印度） InLegalBERT
- 原始论文：(2023 ICAIL) Pre-trained Language Models for the Legal Domain: A Case Study on Indian Law
- 下载地址：https://huggingface.co/law-ai/InLegalBERT
中文：
- Lawformer
- 原始论文：(2021) Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents
- 下载方式：thunlp/LegalPLMs: Source code and checkpoints for legal pre-trained language models.
意大利语：
- ITALIAN-LEGAL-BERT
- 原始论文：(2022) ITALIAN-LEGAL-BERT: A Pre-trained Transformer Language Model for Italian Law
- 下载地址：https://huggingface.co/dlicari/Italian-Legal-BERT
罗马尼亚语：
- jurBERT
- 原始论文：(2021 NLLP) jurBERT: A Romanian BERT Model for Legal Judgement Prediction
西班牙语：
- RoBERTalex
- 原始论文：(2021) Spanish Legalese Language Model and Corpora
- 下载地址：PlanTL-GOB-ES/RoBERTalex · Hugging Face
多语言：
- ParaLaw Nets（看论文应该是日语和英语）
- 原始论文：(2021 COLIEE) ParaLaw Nets – Cross-lingual Sentence-level Pretraining for Legal Text Processing
- 下载地址：我猜是这个：nguyenthanhasia/XLM-Paralaw · Hugging Face
- LegalXLMs
- 原始论文：(2023) MultiLegalPile: A 689GB Multilingual Legal Corpus
- 下载地址：太多了，待补
越南语：
- nguyenthanhasia/VNBertLaw · Hugging Face
- PhoBERT
- 原始论文：(2020 EMNLP) PhoBERT: Pre-trained language models for Vietnamese
- 官方GitHub项目（介绍了各个预训练模型checkpoint的地址和下载方式）：VinAIResearch/PhoBERT: PhoBERT: Pre-trained language models for Vietnamese (EMNLP-2020 Findings)
法语
- JuriBERT
- 原始论文：(2022) JuriBERT: A Masked-Language Model Adaptation for French Legal Text
- 下载地址：http://master2-bigdata.polytechnique.fr/resources#juribert（用transformers包的）
2. 对话模型
中文：
- Lawyer LLaMA
AndrewZhe/lawyer-llama: 中文法律LLaMA- 原始论文：(2023) Lawyer LLaMA Technical Report
- 官方GitHub项目：AndrewZhe/lawyer-llama: 中文法律LLaMA
网页版在线体验可以直接申请访问权限（只给了100次使用权限，据说后面会动态调整，大概意思是有钱就多给点吧）
本地部署版：lawyer-llama-13b-beta1.0已公开（lawyer-llama/run_inference.md at main · AndrewZhe/lawyer-llama · GitHub），但是必须要LLaMA的权重，而我还在排LLaMA的队，所以等着吧
- LawGPT
pengxiao-song/LaWGPT:LegalAI领域大规模预训练语言模型的整理、总结及介绍（持续更新ing…）相关推荐
- 《预训练周刊》第22期：Fastformer：加法注意力就是你所需要的、用于蛋白建模的大规模预训练语言模型...
No.22 智源社区 预训练组 预 训 练 研究 观点 资源 活动 关于周刊 超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第22期&l ...
- PyTorch学习（8）-问答系统、文本摘要和大规模预训练语言模型
问答系统 1. SQuAD数据集 给定一段文字作为context,给定一个问题question,从context中寻找一段连续的文字(text span)作为问题的答案. 网址:https://raj ...
- 手把手系列！大规模预训练语言模型
最有价值的AI技术之一 预训练语言大模型 在如今的AI圈子里,人们对于AI技术的追求不仅体现在学术水平的领先性上,还越发强调技术是否能落地.是否给能人类生产生活带来实际的价值.可以看到,无论是学术圈和 ...
- 【大咖说Ⅱ】中科院信工所研究员林政：大规模预训练语言模型压缩技术
欢迎来到2022 CCF BDCI大咖说系列专题报告 听顶级专家学者围绕特定技术领域或选题,讲述自身成果的研究价值与实际应用价值 便于广大技术发烧友.大赛参赛者吸收学术知识,强化深度学习 每周一.三. ...
- 韩先培：大规模预训练语言模型是下一代知识图谱吗 | 青源 Talk 第6期
活动议程 日期:10月28日(周四) 时间 主题 14:30-14:35 开场简介 张家俊,中科院自动化所研究员,智源青年科学家 14:35-15:20 主题:大规模预训练语言模型是下一代知识图谱吗? ...
- 清华研究登Nature子刊：面向大规模预训练语言模型的参数高效微调
©作者 | 机器之心编辑部 来源 | 机器之心 近年来,清华大学计算机系孙茂松团队深入探索语言大模型参数高效微调方法的机理与特性,与校内其他相关团队合作完成的研究成果"面向大规模预训练语言模 ...
- 让预训练语言模型读懂数字：超对称技术发布 10 亿参数 BigBang Transformer [乾元]金融大规模预训练语言模型
导读:超对称技术公司发布10亿参数金融预训练语言模型BigBang Transformer[乾元].BBT大模型基于时序-文本跨模态架构,融合训练文本和时序两种模态数据,下游任务准确率较T5同级别模型 ...
- 让预训练语言模型读懂数字：超对称技术联合复旦知识工场等发布10亿参数BigBang Transformer[乾元]金融大规模预训练语言模型
目录 1.通用大模型的缺陷 2.专注于融合训练时序-文本跨模态的预训练模型算法架构 3.学术和工业界覆盖最完整,规模最大的金融投资类数据集 4.创新的预训练方法可大幅提高语言模型准确度:Similar ...
- 开源开放 | 熵简科技 AI Lab 开源金融领域中文预训练语言模型 FinBERT
1 背景及下载地址 为了促进自然语言处理技术在金融科技领域的应用和发展,熵简科技 AI Lab 近期开源了基于 BERT 架构的金融领域预训练语言模型 FinBERT 1.0.相对于Google发布的 ...
最新文章
- Javascript JQuery获取当前元素的兄弟元素/上一个/下一个元素（转）
- java断言assert初步使用：断言开启、断言使用
- （Spring）依赖注入
- oracle之 安装 11G RAC 报 NTP failed
- 史上四大“杀人”建筑，烧掉几百亿，却犯低级错误，网友：有钱人的智商，我不懂
- Java 异常练习
- 从JVM的角度看JAVA代码1
- 宁德时代考虑50亿美元在北美建厂 目标年产能最高80 GWh
- 在java中使用solrj对solr进行CRUD
- swift 笔记 (十三) —— 继承
- 拓端tecdat|matlab使用移动平均滤波器、重采样和Hampel过滤器进行信号平滑处理
- java分布式面试题_2021，Java最全的分布式面试题合集附答案，共2w字！
- 使用SHFileOperation复制网络（局域网）共享文件夹及子文件
- android tts离线库,【Android语音合成TTS】云知声离线TTS使用详解
- Vijos 1464积木游戏
- 中南大学邮箱客户端手动配置
- java索引图片,索引从图片中提取像素数据的代码的错误
- 网易新闻回答2021：靠差异化内容逆势增长
- 由一道简单的图片隐写题总结思路
- 【安全算法】一文带你简要了解常见常用的安全算法
热门文章
- 《预训练周刊》第22期：Fastformer：加法注意力就是你所需要的、用于蛋白建模的大规模预训练语言模型...