这是一个创建于 1845 天前的主题，其中的信息可能已经有所发展或是发生改变。
各位大佬们，萌新最近想学习写 nlp 中的 Bert 模型 ，，但是在网上看了一些资料 自己理解的不是很透彻。 谷歌上的源码 我也下载了 但是 不知道怎么在自己的数据集上使用这个 模型 ，，网上 各种改文件 +文件 有点懵，，，想问下各位大佬 你们有用 Bert 模型 处理 自然文本语言二分类吗 ？ 如果有的话 可以发我看看吗？ 万分感谢！！！
 |
1
Liu6 OP 我发自己的邮箱 需要注册满 14 天 我发不了自己的 邮箱 QAQ １７９３６７０７５８ｑｑ.com
|
 |
3
shicheng1993 2019-10-12 09:41:34 +08:00  1
## 谷歌给的源码确实上手有点痛苦，分享点我浏览的资料吧。
## 连接就不挨个给了，直接去搜标题，应该能搜到。 ## B 站上的视频讲的很好。 jessevig/bertviz: Tool for visualizing attention in the Transformer model (BERT, GPT-2, XLNet, and RoBERTa) 汉语自然语言处理-BERT 的解读语言模型预训练-实践应用-transformer 模型(二)-语料预处理-情感分析分类-数据增强-解决过拟合问题-深度学习训练技巧_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 9.1. Attention Mechanism — Dive into Deep Learning 0.7 documentation [MXNet/Gluon] 动手学深度学习番外篇：注意力机制概述_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 动手学深度学习 注意力 - 搜索结果 - 哔哩哔哩弹幕视频网 - ( ゜- ゜)つロ 乾杯~ - bilibili 9.3. Transformer — Dive into Deep Learning 0.7 documentation The Annotated Transformer NLP 必读：十分钟读懂谷歌 BERT 模型 - 知乎 最强 NLP 模型 BERT 可视化学习 - 知乎 [NLP] Attention 原理和源码解析 - 知乎 BERT---容易被忽视的细节 - 知乎 BERT 时代与后时代的 NLP - 知乎 [NLP] 理解 NLP 中网红特征抽取器 Tranformer - 知乎 NLP 历史突破！快速解读 Google BERT 模型 + Word Embedding_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili BERT 专题系列（一）：Attention 机制_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili BERT 专题系列（二）：Transformer （ Attention is all you need ）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili BERT 专题系列（三）： AI 解惑者的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili 超越 BERT: GPT-2 , XLNet,MT-DNN 模型详解（英文字幕）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 60 分钟带你掌握 NLP BERT 理论与实战_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili ## 下面是可以关注的一些和 BERT 相关的开源项目： keras-bert bert_sa bert-as-service ### 上手简单的： fast-bert ### 蒸馏或者提高效率的： cuBERT albert_zh PKD-for-BERT-Model-Compression https://github.com/huggingface/transformers/tree/master/examples/distillation |
|
4
Liu6 OP @shicheng1993 非常感谢
|
 |
5
tobiaslee98 2019-10-12 10:09:44 +08:00
原理相关的教程上面给的已经挺多了，不过建议有时间回头去把 Attention is All You Need / GPT / ELMo / BERT 这几篇文章看一下
对于做二分类任务，拿着官方 repo 改成你数据集上的，可以参考下面这个教程 https://leowood.github.io/2018/11/16/BERT-fine-tuning-01/ |
 |
6
xuelang 328 天前
|
Select Language