当前位置: 首页 > news >正文

南京汽车集团网站建设比较火的网页游戏

南京汽车集团网站建设,比较火的网页游戏,访问网站获取qq,wordpress分享后查看概念 Hugging Face Hub​​和 Github 类似,都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。Hugging Face为用户提供了以下主要功能: ​模型仓库(Model Repository)​​:Git仓库可以让你管理代码版本、…

概念

Hugging Face Hub​​和 Github 类似,都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。Hugging Face为用户提供了以下主要功能:

​模型仓库(Model Repository)​​:Git仓库可以让你管理代码版本、开源代码。而模型仓库可以让你管理模型版本、开源模型等。使用方式与Github类似。
​模型(Models)​​​:Hugging Face为不同的机器学习任务提供了许多​预训练好的机器学习模型​​供大家使用,这些模型就存储在模型仓库中。
​数据集(Dataset)​​:Hugging Face上有许多公开数据集。

hugging face在NLP领域最出名,其提供的模型大多都是基于Transformer的。为了易用性,Hugging Face还为用户提供了以下几个项目:

Transformers(​ ​github​​​,​ ​官方文档​​): Transformers提供了上千个预训练好的模型可以用于不同的任务,例如文本领域、音频领域和CV领域。该项目是HuggingFace的核心,可以说学习HuggingFace就是在学习该项目如何使用。
Datasets(​ ​github​​​,​ ​官方文档​​): 一个轻量级的数据集框架,主要有两个功能:①一行代码下载和预处理常用的公开数据集; ② 快速、易用的数据预处理类库。
Accelerate(​ ​github​​​,​ ​官方文档​​): 帮助Pytorch用户很方便的实现 multi-GPU/TPU/fp16。
Space(​ ​链接​​):Space提供了许多好玩的深度学习应用,可以尝试玩一下。

Transforms

Hugging Face Transformer是Hugging Face最核心的项目,可以用它做以下事情:

  • 直接使用预训练模型进行推理
  • 提供了大量预训练模型可供使用
  • 使用预训练模型进行迁移学习

安装

pip install git+https://github.com/huggingface/transformers 

使用

from transformers import pipelinetranslator = pipeline("translation_en_to_fr")
print(translator("How old are you?"))

对于部分特定任务,官方并没有提供相应的模型,但也可以到​​官网搜索模型​​,然后显示指定即可。在加载模型时,你有可能会因为缺少一些库而报错,这个时候,只需要安装对应的库,然后重启即可。

 

!pip install sentencepiece
translator = pipeline("translation_en_to_zh", model='Helsinki-NLP/opus-mt-en-zh')
translator("I'm learning deep learning.")

Helsinki-NLP/opus-mt-en-zh · Hugging Face

使用Hugging Face模型 

Transformers项目提供了几个简单的API帮助用户使用Hugging Face模型,而这几个简单的API统称为​​AutoClass​​​(​ ​官方文档链接​​),包括:

  • ​​AutoTokenizer​​: 用于文本分词
  • ​​AutoFeatureExtractor​​: 用于特征提取
  • ​​AutoProcessor​​: 用于数据处理
  • ​​AutoModel​​: 用于加载模型

它们的使用方式均为: ​​AutoClass.from_pretrain("模型名称")​​,然后就可以用了。例如:

from transformers import AutoTokenizertokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
tokenizer("I'm learning deep learning.")

通常一个模型会包含上述4个中的部分功能,例如,对于​​bert-base-uncased​​模型,就包含“分词”和“模型”两项功能,我们可以通过代码样例(Use in Transformers) 模块查看:

数据集

Datasets类库可以让你非常方便的访问和分享数据集,也可以用来对NLP、CV、语音等任务进行评价(Evaluation metrics).

pip install datasets#使用语音(Audio)数据集
pip install datasets[audio]#图片(Image)数据
pip install datasets[vision]

查找数据集

Hugging Face的数据集通常包括多个子集(subset),并且分成了train、validation和test三份。你可以通过预览区域查看你需要的子集。

from datasets import load_datasetdataset = load_dataset("glue")

Hugging Face的数据集都是放在github上的,所以国内估计很难下载成功。这就要用到​​load_dataset​​​的加载本地数据集。关于如何离线下载Hugging Face数据集,可参考​ ​该篇文章​

下载

import datasets
dataset = datasets.load_dataset("glue")
dataset.save_to_disk('your_path')

加载离线

import datasets
dataset = load_from_disk("your_path")

参考

Hugging Face快速入门(重点讲解模型(Transformers)和数据集部分(Datasets))_51CTO博客_hugging face transformers

http://www.hyszgw.com/news/62505.html

相关文章:

  • 郑州网站建设乛汉狮网络虚拟主机建网站
  • 网站开发工程师课程甘肃建网站
  • 深圳著名设计网站WordPress数据表性能
  • 广西网站建设原创做公司网站的多少钱
  • 海西州建设局网站设计培训在线
  • 温州做网站 掌熊号电子商务平台有哪些
  • 中文购物网站模板东莞网络公司排行榜
  • 建立网站一般多少钱想做软件去哪找软件公司
  • 揭阳网站建设团队网站开发内部工单
  • 自己的电脑做网站服务器品牌型网站建设
  • 集团网站建设流程网站备案账号是什么样的
  • 虹口广州网站建设技术外包
  • 网站建设费用资本化站长之家psd
  • 成都专业建站公司网站流量与广告费
  • 0经验自己做网站广东网站备案系统
  • 编程和做网站有关系吗Wordpress Flexsilder
  • 合肥商城网站建设多少钱视频营销案例
  • 做网站说什么5.0啥意思湖南建设资质申请网站
  • 智能网站建设软件wordpress 页面压缩
  • 网站设计 重庆网站收录网
  • 建设官方网站企业网银登录注册公司网站的费用
  • 优秀的移动端网站app开发公司认可湖南岚鸿推 荐
  • 有网站地图的网站济宁建设网站
  • 怎么做网站赚大钱北京高端网站建设规划
  • 合肥网站建设yjhlw营销战略咨询公司
  • 网站备案 企业备案网站建费用
  • 嘉兴专业做网站在百度阿里建个网站多少钱
  • 外贸类网站建设在校大学生可以注册公司吗
  • 旅游网站开发文档怎么写网站模板破解下载
  • 农产品的网站建设方案以及范文什么软件推广好