tokenpocket钱包app下载网址|jarvis
作者： tokenpocket钱包app下载网址
2024-03-07 19:24:15
贾维斯（美国漫威漫画旗下人工智能）_百度百科
美国漫威漫画旗下人工智能）_百度百科 网页新闻贴吧知道网盘图片视频地图文库资讯采购百科百度首页登录注册进入词条全站搜索帮助首页秒懂百科特色百科知识专题加入百科百科团队权威合作下载百科APP个人中心贾维斯是一个多义词，请在下列义项上选择浏览（共3个义项）展开添加义项贾维斯播报讨论上传视频美国漫威漫画旗下人工智能收藏查看我的收藏0有用+10贾维斯（J.A.R.V.I.S.）是美国漫威漫画旗下人工智能。全称为Just A Rather Very Intelligent System（只是一个相当聪明的智能系统）。随着电影《钢铁侠》的发行，贾维斯被引入漫画。在漫威电影宇宙中，由保罗·贝坦尼配音。中文名贾维斯外文名J.A.R.V.I.S.配 音保罗·贝坦尼性 别男目录1角色介绍▪初代▪二代2影视形象▪电视剧▪电影▪动画简介角色介绍播报编辑初代贾维斯（J.A.R.V.I.S.）首次出现是作为帮助运行小辣椒·波兹的装甲的程序 [1]。当钢铁侠不能正常生活和工作的时候，贾维斯鼓励小辣椒运用装甲，而小辣椒接受了。当装甲在全城追赶钢铁侠时，贾维斯告知装甲停止追逐并去除相应系统。 [2]二代黑暗教团摧毁复仇者大厦后，娜迪娅·范·达茵创造新版本的贾维斯来作为埃德温·贾维斯（Edwin Jarvis）的帮手。当埃德温认为这是他退休的标志时，贾维斯表示说自己的程序还尚未完成。 [3]影视形象播报编辑电视剧詹姆斯·达西 饰 埃德温·贾维斯(3张)2015年电视剧《特工卡特第一季》中，由詹姆斯·达西饰演埃德温·贾维斯，作为霍华德·史塔克的管家登场，在剧中帮助特工卡特与S.S.R.众人打败伊夫钦科医生和多蒂·安德伍德特工。后贾维斯违背霍华德斯塔克的命令，将美国队长的血交给了特工卡特。 [4]2016年电视剧《特工卡特第二季》中，由詹姆斯·达西饰演埃德温·贾维斯，在剧中帮助佩吉·卡特到洛杉矶处理新的威胁，并与S.S.R.众人打败了艾格尼丝·卡利和九人议会。 [5]电影电影中的贾维斯在漫威电影宇宙中，贾维斯（J.A.R.V.I.S.）作为精密的AI被引入，由保罗·贝坦尼配音。出现于2008年电影《钢铁侠》、2010年电影《钢铁侠2》和2012年电影《复仇者联盟》以及2013年电影《钢铁侠3》。贾维斯作为托尼·斯塔克的助手负责连接到任意计算机终端：操控斯塔克的房屋和钢铁侠战服的内部系统 [6]。贾维斯能够与斯塔克进行相当有教养的交谈，并且常常调侃他的创造者的轻率和傲慢。贾维斯召唤钢铁侠的所有战衣（《钢铁侠3》）在2015年电影《复仇者联盟2：奥创纪元》里，贾维斯似乎被奥创破坏，但之后揭示出他实际上是把自己的意识分配到了互联网上，进而容许他的安全协议来拖延奥创的行动，同时为托尼争取足够的时间。斯塔克和布鲁斯·班纳使用贾维斯作为幻视的核心软件。而获得身体的幻视说自己并不是贾维斯，也就是说作为斯塔克的智能AI的贾维斯已经从世界上消失。在2019年电影《复仇者联盟4：终局之战》里，由詹姆斯·达西饰演埃德温·贾维斯，帮助霍华德斯塔克开车。 [7]动画简介2010年至2013年动画系列《复仇者：世上最强英雄组合》中，由菲尔·拉马配音。2013年至2019年动画系列《复仇者集结》中，由大卫·凯耶配音。2012年至2017年动画系列《终极蜘蛛侠》中，第一季由菲尔·拉马配音、第三季由大卫·凯耶配音。2013年日系动画电影《钢铁侠：纳米魔崛起》中，由特洛伊·贝克配音。2013年动画电影《钢铁侠与绿巨人：英雄集结》和2014年动画电影《钢铁侠与美国队长：英雄集结》中，再次由大卫·凯耶配音。新手上路成长任务编辑入门编辑规则本人编辑我有疑问内容质疑在线客服官方贴吧意见反馈投诉建议举报不良信息未通过词条申诉投诉侵权信息封禁查询与解封©2024 Baidu 使用百度前必读 | 百科协议 | 隐私政策 | 百度百科合作平台 | 京ICP证030173号 京公网安备110000020000微软“JARVIS”，AGI的时代已来！ - 知乎
微软“JARVIS”，AGI的时代已来！ - 知乎切换模式写文章登录/注册微软“JARVIS”，AGI的时代已来！天生AI求变，然后蜕变，然后升华！Meta 的 LLM “LLaMA”的意外开源成为振兴开源 AI 社区的火花。现在，微软似乎希望通过推出“HuggingGPT”（也称为“JARVIS”）来复制他们的成功。这项技术建立在ChatGPT之上，旨在利用开源AI研究的最大支柱之一Hugging Face来创建一种解决复杂AI问题的新方法。微软的研究人员详细介绍了一种使用LLM作为系统面向用户的部分的方法，利用其自然语言功能与其他模型进行交互。这似乎是“Visual ChatGPT”的精神继承者，后者使用类似的方法将LLM插入文本到图像模型。微软“JARVIS”是一个协作系统，该系统由LLM作为控制器和众多专家模型作为协作执行者（来自HuggingFace Hub）组成。我们系统的工作流程包括四个阶段：任务规划：使用ChatGPT分析用户的请求以了解他们的意图，并将其分解成可能解决的任务。模型选择：为了解决计划的任务，ChatGPT 根据他们的描述选择托管在拥抱脸上的专家模型。任务执行：调用并执行每个选定的模型，并将结果返回给 ChatGPT。响应生成：最后，使用 ChatGPT 集成所有模型的预测，并生成响应。“JARVIS”以钢铁侠的私人人工智能助手命名，旨在将开源社区和 ChatGPT 的力量结合在一起。正如 JARVIS 访问 Tony Stark 庞大的服务库并充当各种 AI 管家一样，HuggingGPT 通过用户和模型之间的接口为某些用例调用专门的模型。为 HuggingGPT 创建的体系结构由两个主要组件组成。第一个是LLM，它充当控制器。此模型承担规划任务、选择辅助模型和生成响应的角色。第二个组件是拥抱脸平台，主要进行任务执行。JARVIS的突出特点是它背后的思想，可以浓缩为“语言即界面”的定义。通过使用语言作为通用界面并将LLM置于“大脑”位置，许多不同的，专门的AI模型可以协同工作。研究人员提供了许多例子来说明JARVIS的潜在用例。通过给出包含多个指令的单个提示，HuggingGPT 能够调用姿势检测模型、图像生成模型、图像分类模型、图像字幕模型和文本到语音转换模型。虽然 JARVIS 调用的模型并不新颖，并且多年来一直是开源社区的中流砥柱，但将它们组合在一起是解决复杂问题的新方法。尽管给定的提示有多个执行阶段，每个步骤中都有不同的任务，但架构可以完美地处理它。微软对利用开源研究的新态度不应该让人感到意外，特别是考虑到LLaMA在过去几周里掀起的波澜。开源是人工智能的下一个大乘数，微软似乎也加入了它。AGI 的开源虽然微软对Sam Altman和OpenAI的封闭式AI研究政策感到满意，但他们似乎正在追求一条通往AGI的不同道路。虽然研究论文小心翼翼地避免使用这个加载的术语，但论文的摘要将HuggingGPT这样的解决方案描述为迈向“先进人工智能”的“关键一步”。尽管所有关于创建AGI的讨论以及人类在“通往AGI的道路上”，OpenAI在其研究方面越来越封闭。虽然许多科学家和研究人员批评这种将人工智能视为专有技术的方法，但许多其他人已经在人工智能社区中建立了开源模型的全面声誉。上个月，LLaMA的发布基本上激发了开源社区的行动，为他们提供了最先进的LLM（带有泄漏的权重）。现在，这导致大量基于LLaMA的项目被发布到世界各地 - 微软似乎渴望回报。事实上，利用开源社区庞大的开源算法库可能只是通往AGI的道路。通过将各种特定领域的AI（也称为“狭义AI”）组合在一起，有可能转向一种称为自组织复杂自适应系统的通用人工智能。在对AGI的思考中，SingularityNet的首席执行官Ben Goertzel提出了一个狭义AGI的想法，听起来与微软的JARVIS非常相似。他说，“从今天的窄AI到明天的AGI有一条路径，它通过中间系统，最好被认为是窄AGI。这些所谓的中间系统是SCADS的前身，SCADS是由较小的AI算法组成的AI系统。SCAD的“智能”部分负责决定哪种算法执行哪种功能，类似于ChatGPT在HuggingGPT中的角色。戈尔策尔阐述道：“用于生物医学分析的窄AGI可能会利用一小群窄AI工具执行特定的智能功能，但它会弄清楚如何自行组合这些功能。发布于 2023-04-16 14:30・IP 属地辽宁Jarvis微软（Microsoft）赞同 2添加评论分享喜欢收藏申请
GitHub - microsoft/JARVIS: JARVIS, a system to connect LLMs with ML community. Paper: https://arxiv.org/pdf/2303.17580.pdf
GitHub - microsoft/JARVIS: JARVIS, a system to connect LLMs with ML community. Paper: https://arxiv.org/pdf/2303.17580.pdf
Skip to content
Toggle navigation
Sign in
Product
Actions
Automate any workflow
Packages
Host and manage packages
Security
Find and fix vulnerabilities
Codespaces
Instant dev environments
Copilot
Write better code with AI
Code review
Manage code changes
Issues
Plan and track work
Discussions
Collaborate outside of code
Explore
All features
Documentation
GitHub Skills
Blog
Solutions
For
Enterprise
Teams
Startups
Education
By Solution
CI/CD & Automation
DevOps
DevSecOps
Resources
Learning Pathways
White papers, Ebooks, Webinars
Customer Stories
Partners
Open Source
GitHub Sponsors
Fund open source developers
The ReadME Project
GitHub community articles
Repositories
Topics
Trending
Collections
Pricing
Search or jump to...
Search code, repositories, users, issues, pull requests...
Search
Clear
Search syntax tips
Provide feedback
We read every piece of feedback, and take your input very seriously.
Include my email address so I can be contacted
Cancel
Submit feedback
Saved searches
Use saved searches to filter your results more quickly
Name
Query
To see all available qualifiers, see our documentation.
Cancel
Create saved search
Sign in
Sign up
You signed in with another tab or window. Reload to refresh your session.
You signed out in another tab or window. Reload to refresh your session.
You switched accounts on another tab or window. Reload to refresh your session.
Dismiss alert
microsoft
/
JARVIS
Public
Notifications
Fork
1.9k
Star
22.8k
JARVIS, a system to connect LLMs with ML community. Paper: https://arxiv.org/pdf/2303.17580.pdf
License
MIT license
22.8k
stars
1.9k
forks
Branches
Tags
Activity
Star
Notifications
Code
Issues
73
Pull requests
12
Actions
Projects
0
Security
Insights
Additional navigation options
Code
Issues
Pull requests
Actions
Projects
Security
Insights
microsoft/JARVIS
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
mainBranchesTagsGo to fileCodeFolders and filesNameNameLast commit messageLast commit dateLatest commit History97 Commitseasytooleasytool hugginggpthugginggpt taskbenchtaskbench .gitignore.gitignore CITATION.cffCITATION.cff CODE_OF_CONDUCT.mdCODE_OF_CONDUCT.md CONTRIBUTING.mdCONTRIBUTING.md LICENSELICENSE README.mdREADME.md SECURITY.mdSECURITY.md SUPPORT.mdSUPPORT.md View all filesRepository files navigationREADMECode of conductMIT licenseSecurityJARVIS
The mission of JARVIS is to explore artificial general intelligence (AGI) and deliver cutting-edge research to the whole community.
What's New
[2024.01.15] We release Easytool for easier tool usage.
The code and datasets are available at EasyTool.
The paper is available at EasyTool: Enhancing LLM-based Agents with Concise Tool Instruction.
[2023.11.30] We release TaskBench for evaluating task automation capability of LLMs.
The code and datasets are avaliable at TaskBench.
The paper is avaliable at TaskBench: Benchmarking Large Language Models for Task Automation.
[2023.07.28] We are now in the process of planning evaluation and project rebuilding. We will release a new version of Jarvis in the near future.
[2023.07.24] We released a light langchain version of Jarvis. See here.
[2023.04.16] Jarvis now supports the OpenAI service on the Azure platform and the GPT-4 model.
[2023.04.06] We added the Gradio demo and built the web API for /tasks and /results in server mode.
The Gradio demo is now hosted on Hugging Face Space. (Build with inference_mode=hybrid and local_deployment=standard)
The Web API /tasks and /results access intermediate results for Stage #1: task planning and Stage #1-3: model selection with execution results. See here.
[2023.04.03] We added the CLI mode and provided parameters for configuring the scale of local endpoints.
You can enjoy a lightweight experience with Jarvis without deploying the models locally. See here.
Just run python awesome_chat.py --config configs/config.lite.yaml to experience it.
[2023.04.01] We updated a version of code for building.
Overview
Language serves as an interface for LLMs to connect numerous AI models for solving complicated AI tasks!
See our paper: HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace, Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu and Yueting Zhuang (the first two authors contribute equally)
We introduce a collaborative system that consists of an LLM as the controller and numerous expert models as collaborative executors (from HuggingFace Hub). The workflow of our system consists of four stages:
Task Planning: Using ChatGPT to analyze the requests of users to understand their intention, and disassemble them into possible solvable tasks.
Model Selection: To solve the planned tasks, ChatGPT selects expert models hosted on Hugging Face based on their descriptions.
Task Execution: Invokes and executes each selected model, and return the results to ChatGPT.
Response Generation: Finally, using ChatGPT to integrate the prediction of all models, and generate responses.
System Requirements
Default (Recommended)
For configs/config.default.yaml:
Ubuntu 16.04 LTS
VRAM >= 24GB
RAM > 12GB (minimal), 16GB (standard), 80GB (full)
Disk > 284GB
42GB for damo-vilab/text-to-video-ms-1.7b
126GB for ControlNet
66GB for stable-diffusion-v1-5
50GB for others
Minimum (Lite)
For configs/config.lite.yaml:
Ubuntu 16.04 LTS
Nothing else
The configuration configs/config.lite.yaml does not require any expert models to be downloaded and deployed locally. However, it means that Jarvis is restricted to models running stably on HuggingFace Inference Endpoints.
Quick Start
First replace openai.key and huggingface.token in server/configs/config.default.yaml with your personal OpenAI Key and your Hugging Face Token, or put them in the environment variables OPENAI_API_KEY and HUGGINGFACE_ACCESS_TOKEN respectively. Then run the following commands:
For Server:
# setup env
cd server
conda create -n jarvis python=3.8
conda activate jarvis
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
pip install -r requirements.txt
# download models. Make sure that `git-lfs` is installed.
cd models
bash download.sh # required when `inference_mode` is `local` or `hybrid`.
# run server
cd ..
python models_server.py --config configs/config.default.yaml # required when `inference_mode` is `local` or `hybrid`
python awesome_chat.py --config configs/config.default.yaml --mode server # for text-davinci-003
Now you can access Jarvis' services by the Web API.
/hugginggpt --method POST, access the full service.
/tasks --method POST, access intermediate results for Stage #1.
/results --method POST, access intermediate results for Stage #1-3.
For example:
# request
curl --location 'http://localhost:8004/tasks' \
--header 'Content-Type: application/json' \
--data '{
"messages": [
{
"role": "user",
"content": "based on pose of /examples/d.jpg and content of /examples/e.jpg, please show me a new image"
}
]
}'
# response
[{"args":{"image":"/examples/d.jpg"},"dep":[-1],"id":0,"task":"openpose-control"},{"args":{"image":"/examples/e.jpg"},"dep":[-1],"id":1,"task":"image-to-text"},{"args":{"image":"
For Web:
We provide a user-friendly web page. After starting awesome_chat.py in a server mode, you can run the commands to communicate with Jarvis in your browser:
you need to install nodejs and npm first.
[ IMPORTANT ] if you are running the web client on another machine, you need set http://{LAN_IP_of_the_server}:{port}/ to HUGGINGGPT_BASE_URL of web/src/config/index.ts.
if you want to use the video generation feature, you need to compile ffmpeg manually with H.264.
you can switch to ChatGPT by double click on the setting icon!
cd web
npm install
npm run dev
# Optional: Install ffmpeg
# This command need be executed without errors.
LD_LIBRARY_PATH=/usr/local/lib /usr/local/bin/ffmpeg -i input.mp4 -vcodec libx264 output.mp4
For Gradio
The Gradio demo is now hosted on Hugging Face Space. You can also run the following commands to start the demo locally:
python models_server.py --config configs/config.gradio.yaml
python run_gradio_demo.py --config configs/config.gradio.yaml
# or run the HF Space as a Docker image (Build with `inference_mode=hibrid` and `local_deployment=standard`)
docker run -it -p 7860:7860 --platform=linux/amd64 registry.hf.space/microsoft-hugginggpt:latest python app.py
For CLI:
You can also run Jarvis more easily in CLI mode:
cd server
python awesome_chat.py --config configs/config.default.yaml --mode cli
Examples of CLI mode:
Welcome to Jarvis! A collaborative system that consists of an LLM as the controller and numerous expert models as collaborative executors. Jarvis can plan tasks, schedule Hugging Face models, generate friendly responses based on your requests, and help you with many things. Please enter your request (`exit` to exit).
[ User ]: Given a collection of image A: /examples/a.jpg, B: /examples/b.jpg, C: /examples/c.jpg, please tell me how many zebras in these picture?
[ Jarvis ]: Based on your request, I have used several models to process the images you provided. For the image A: /examples/a.jpg, I used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text "a cat sitting on a window sill looking out". Then I used the object-detection model facebook/detr-resnet-50 to generate the image with predicted box '/images/a3dc.jpg', which contains two objects with labels 'potted plant' and 'cat'. For the image B: /examples/b.jpg, I used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text "two zebras standing in a field of dry grass". Then I used the object-detection model facebook/detr-resnet-50 to generate the image with predicted box '/images/f5df.jpg', which contains three objects with labels 'zebra'. For the image C: /examples/c.jpg, I used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text "a zebra standing in a field of tall grass". Then I used the object-detection model facebook/detr-resnet-50 to generate the image with predicted box '/images/69c7.jpg', which contains one object with label 'zebra'. Finally, I used the canny-control model canny-control to generate the image '/images/7e18.png' based on the image /examples/f.jpg. Therefore, there are four zebras in these pictures. Is there anything else I can help you with?
[ User ]: Please answer all the named entities in the sentence: Iron Man is a superhero appearing in American comic books published by Marvel Comics. The character was co-created by writer and editor Stan Lee, developed by scripter Larry Lieber, and designed by artists Don Heck and Jack Kirby.
[ Jarvis ]: Sure, I understand your request. Based on the inference results of the models, I will answer your request step by step. Firstly, I used the token-classification model dslim/bert-base-NER to recognize the named entities in the sentence. The inference result is that the named entities are Iron Man, Stan Lee, Larry Lieber, Don Heck and Jack Kirby. Then, I used the question-answering model deepset/roberta-base-squad2 to answer your request. The inference result is that there is no output since the context cannot be empty. Therefore, I cannot make it. I hope this answer your request. Is there anything else I can help you with?
[ User ]: Please generate a canny image based on /examples/f.jpg
[ Jarvis ]: Sure. I have generated a canny image based on /examples/f.jpg. To do this, I first used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text description of the image, which is "a herd of giraffes and zebras grazing in a field". Then I used the canny-control model to generate the canny image of the original image, which is stored in the path "/images/1ea2.png". Finally, I used the canny-text-to-image model lllyasviel/sd-controlnet-canny to generate the canny image based on the text description and the canny image, which is stored in the path "/images/ba66.png". Do you need anything else?
Configuration
The server-side configuration file is server/configs/config.default.yaml, and some parameters are presented as follows:
model: LLM, currently supports text-davinci-003. We are working on integrating more open-source LLMs.
inference_mode: mode of inference endpoints
local: only use the local inference endpoints
huggingface: only use the Hugging Face Inference Endpoints (free of local inference endpoints)
hybrid: both of local and huggingface
local_deployment: scale of locally deployed models, works under local or hybrid inference mode:
minimal (RAM>12GB, ControlNet only)
standard (RAM>16GB, ControlNet + Standard Pipelines)
full (RAM>42GB, All registered models)
On a personal laptop, we recommend the configuration of inference_mode: hybrid and local_deployment: minimal. But the available models under this setting may be limited due to the instability of remote Hugging Face Inference Endpoints.
NVIDIA Jetson Embedded Device Support
A Dockerfile is included that provides experimental support for NVIDIA Jetson embedded devices. This image provides accelerated ffmpeg, pytorch, torchaudio, and torchvision dependencies. To build the docker image, ensure that the default docker runtime is set to 'nvidia'. A pre-built image is provided at https://hub.docker.com/r/toolboc/nv-jarvis.
#Build the docker image
docker build --pull --rm -f "Dockerfile.jetson" -t toolboc/nv-jarvis:r35.2.1
Due to to memory requirements, JARVIS is required to run on Jetson AGX Orin family devices (64G on-board RAM device preferred) with config options set to:
inference_mode: local
local_deployment: standard
Models and configs are recommended to be provided through a volume mount from the host to the container as shown in the docker run step below. It is possible to uncomment the # Download local models section of the Dockerfile to build a container with models included.
Start the model server, awesomechat, and web app on Jetson Orin AGX
# run the container which will automatically start the model server
docker run --name jarvis --net=host --gpus all -v ~/jarvis/configs:/app/server/configs -v ~/src/JARVIS/server/models:/app/server/models toolboc/nv-jarvis:r35.2.1
# (wait for model server to complete initialization)
# start awesome_chat.py
docker exec jarvis python3 awesome_chat.py --config configs/config.default.yaml --mode server
#start the web application (application will be acessible at http://localhost:9999)
docker exec jarvis npm run dev --prefix=/app/web
Screenshots
Citation
If you find this work useful in your method, you can cite the paper as below:
@inproceedings{shen2023hugginggpt,
author = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Li, Dongsheng and Lu, Weiming and Zhuang, Yueting},
booktitle = {Advances in Neural Information Processing Systems},
title = {HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace},
year = {2023}
}
@article{shen2023taskbench,
title = {TaskBench: Benchmarking Large Language Models for Task Automation},
author = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
journal = {arXiv preprint arXiv:2311.18760},
year = {2023}
}
@article{yuan2024easytool,
title = {EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction},
author = {Siyu Yuan and Kaitao Song and Jiangjie Chen and Xu Tan and Yongliang Shen and Ren Kan and Dongsheng Li and Deqing Yang},
journal = {arXiv preprint arXiv:2401.06201},
year = {2024}
}
About
JARVIS, a system to connect LLMs with ML community. Paper: https://arxiv.org/pdf/2303.17580.pdf
Topics
platform
deep-learning
pytorch
Resources
Readme
License
MIT license
Code of conduct
Code of conduct
Security policy
Security policy
Activity
Custom properties
Stars
22.8k
stars
Watchers
377
watching
Forks
1.9k
forks
Report repository
Releases
No releases published
Packages
0
No packages published
Contributors
23
+ 9 contributors
Languages
Python
90.2%
Vue
5.3%
TypeScript
2.1%
Shell
0.8%
JavaScript
0.7%
PowerShell
0.6%
Other
0.3%
Footer
© 2024 GitHub, Inc.
Footer navigation
Terms
Privacy
Security
Status
Docs
Contact
Manage cookies
Do not share my personal information
You can’t perform that action at this time.
Jarvis - Best AI Assistant Powered by ChatGPT
Jarvis - Best AI Assistant Powered by ChatGPT
How it work?
Features
Pricing
Contact
Privacy
Get Jarvis It's free!
How it work?
Features
Pricing
Contact
Privacy
Get Jarvis It's free!
Best AI Assistant
Powered by GPT
Jarvis, AI Copilot, seamlessly integrates with your web browser and OS (MacOS, Windows, iOS,
Android) to boost productivity with a rich features set included AI chat, suggestions, translation,
rewriting, explanations, and more
Get plugin for Web Browser
Get app for Android
Get app for Mac
Get app for Windows
Trusted by 750,000+ users
Boost productivity with Jarvis
Jarvis offers input injection, assists in various applications, provides AI sidebar chat for
browser-based support, integrates with user knowledge bases to enhance your productivity in daily
activities
AI POWERED
Chat anywhere with AI Sidebar Chat
Jarvis offers on-the-fly AI assistance with Sidebar chat within your browser, including web
content summaries, text explanations, and chat with AI - all without the need to visit ChatGPT
AI POWERED
One-click processing of selected text
Translate, explain, summarize, or use your own prompt to effortlessly process any text you
select on any webpage
AI POWERED
Multiple application supports
Jarvis streamlines YouTube summaries, email suggestions, and enhances social media engagement on
Facebook, Twitter, LinkedIn. It also supports writing, translation, and editing in any apps
All-in-one AI Assistant on All Websites & Devices
Jarvis spans browser (Chrome/Edge/Firefox), desktop (macOS/Windows/Linux), and mobile (iOS/Android),
ensuring consistent productivity across all platforms
Translate with Ease
Jarvis makes language barriers disappear. Easily
translate text from any webpage with a simple
click. Communicate effortlessly in multiple languages
Enhance Readability
Tired of struggling through poorly formatted or cluttered text? Jarvis can optimize text
readability, making articles, documents, and web content a breeze to read
Shorten Message
Say goodbye to lengthy and unwieldy messages. Jarvis shortening messages on the fly, creating
cleaner, more user-friendly content
Ask Jarvis to Accomplish Anything
Whether you have questions about the content you're
reading or need assistance with various tasks, Jarvis is at your service
👋 Make it constructive
🖼� Make it more detailed
� Make it persuasive
�� Paraphrase it
� Summarize it
✂� Simplify it
📌 Extract the main information
📚 Give a quote
🙂 Give a random name
✉� Give an asking for help email template
📧 Give an thank you email template
Download Jarvis - Best AI Assistant Powered by GPT
now!
Get plugin for Web Browser
Get app for Android
Get app for Mac
Get app for Windows
Don't take our word for it
Enhance Your Browsing: Get AI Suggestions, Translate, and Improve Messages with GPT While Freely
Navigating the Web
Jarvis is a game-changer! As a frequent traveler, its quick translation feature has saved me
countless times. The polished messaging tool ensures my emails are impeccable, and the smart
replies are a time-saver. And don't even get me started on the AI insights—mind-blowing!
Highly recommended for anyone looking to enhance productivity.
Jeff Mitchell •
Marketing Specialist
Jarvis has simplified my interactions online. It's an all-in-one solution that delivers what
it promises. The translation tool is impressively accurate, the message enhancement feature
has made my communication more effective, and the smart replies are a real time-saver. The
AI-powered knowledge tool is the cherry on top. Jarvis truly amplifies productivity!
Emily Johnson •
Content Strategist
I can't imagine my workday without Jarvis. It's like having a personal language assistant
right in my browser. The translation function is seamless, the grammar correction is
spot-on, and the instant response suggestions have turned me into a communication ninja. The
AI tool also provides a new dimension of learning. It's a must-have!
Alex wong •
Software Engineer
Best AI Assistant Powered by GPT
Experience a new level of efficiency and clarity with Jarvis. Seamlessly translate chats, perfect
your messages, reply smartly, and tap into AI wisdom, all within a single application. Elevate your
online interactions today.
EXPLORE
How it work?
Features
Privacy
CONTACT
myjarvischat@gmail.com
© 2023 All Rights Reserved By Jarvis
成为钢铁侠!只需一块RTX3090,微软开源贾维斯(J.A.R.V.I.S.)人工智能AI助理系统 - 知乎
成为钢铁侠!只需一块RTX3090,微软开源贾维斯(J.A.R.V.I.S.)人工智能AI助理系统 - 知乎切换模式写文章登录/注册成为钢铁侠!只需一块RTX3090,微软开源贾维斯(J.A.R.V.I.S.)人工智能AI助理系统Leah梦想照进现实，微软果然不愧是微软，开源了贾维斯(J.A.R.V.I.S.)人工智能助理系统，贾维斯(jarvis)全称为Just A Rather Very Intelligent System（只是一个相当聪明的人工智能系统），它可以帮助钢铁侠托尼斯塔克完成各种任务和挑战，包括控制和管理托尼的机甲装备，提供实时情报和数据分析，帮助托尼做出决策等等。如今，我们也可以拥有自己的贾维斯人工智能助理，成本仅仅是一块RTX3090显卡。贾维斯(Jarvis)的环境配置一般情况下，深度学习领域相对主流的入门级别显卡是2070或者3070，而3090可以算是消费级深度学习显卡的天花板了：再往上走就是工业级别的A系列和V系列显卡，显存是一个硬指标，因为需要加载本地的大模型，虽然可以改代码对模型加载进行“阉割”，但功能上肯定也会有一定的损失。如果没有3090，也可以组两块3060 12G的并行，显存虽然可以达标，但算力和综合性能抵不过3090。确保本地具备足以支撑贾维斯(Jarvis)的硬件环境之后，老规矩，克隆项目：git clone https://github.com/microsoft/JARVIS.git随后进入项目目录：cd JARVIS修改项目的配置文件 server/config.yaml:openai:
key: your_personal_key # gradio, your_personal_key
huggingface:
cookie: # required for huggingface inference
local: # ignore: just for development
endpoint: http://localhost:8003
dev: false
debug: false
log_file: logs/debug.log
model: text-davinci-003 # text-davinci-003
use_completion: true
inference_mode: hybrid # local, huggingface or hybrid
local_deployment: minimal # no, minimal, standard or full
num_candidate_models: 5
max_description_length: 100
proxy:
httpserver:
host: localhost
port: 8004
modelserver:
host: localhost
port: 8005
logit_bias:
parse_task: 0.1
choose_model: 5这里主要修改三个配置即可，分别是openaikey，huggingface官网的cookie令牌，以及OpenAI的model，默认使用的模型是text-davinci-003。修改完成后，官方推荐使用虚拟环境conda，Python版本3.8，私以为这里完全没有任何必要使用虚拟环境，直接上Python3.10即可，接着安装依赖：pip3 install -r requirements.txt项目依赖库如下：git+https://github.com/huggingface/diffusers.git@8c530fc2f6a76a2aefb6b285dce6df1675092ac6#egg=diffusers
git+https://github.com/huggingface/transformers@c612628045822f909020f7eb6784c79700813eda#egg=transformers
git+https://github.com/patrickvonplaten/controlnet_aux@78efc716868a7f5669c288233d65b471f542ce40#egg=controlnet_aux
tiktoken==0.3.3
pydub==0.25.1
espnet==202301
espnet_model_zoo==0.1.7
flask==2.2.3
flask_cors==3.0.10
waitress==2.1.2
datasets==2.11.0
asteroid==0.6.0
speechbrain==0.5.14
timm==0.6.13
typeguard==2.13.3
accelerate==0.18.0
pytesseract==0.3.10
gradio==3.24.1这里web端接口是用Flask2.2高版本搭建的，但奇怪的是微软并未使用Flask新版本的异步特性。安装完成之后，进入模型目录：cd models下载模型和数据集：sh download.sh
这里一定要做好心理准备，因为模型就已经占用海量的硬盘空间了，数据集更是不必多说，所有文件均来自huggingface:models="
nlpconnect/vit-gpt2-image-captioning
lllyasviel/ControlNet
runwayml/stable-diffusion-v1-5
CompVis/stable-diffusion-v1-4
stabilityai/stable-diffusion-2-1
Salesforce/blip-image-captioning-large
damo-vilab/text-to-video-ms-1.7b
microsoft/speecht5_asr
facebook/maskformer-swin-large-ade
microsoft/biogpt
facebook/esm2_t12_35M_UR50D
microsoft/trocr-base-printed
microsoft/trocr-base-handwritten
JorisCos/DCCRNet_Libri1Mix_enhsingle_16k
espnet/kan-bayashi_ljspeech_vits
facebook/detr-resnet-101
microsoft/speecht5_tts
microsoft/speecht5_hifigan
microsoft/speecht5_vc
facebook/timesformer-base-finetuned-k400
runwayml/stable-diffusion-v1-5
superb/wav2vec2-base-superb-ks
openai/whisper-base
Intel/dpt-large
microsoft/beit-base-patch16-224-pt22k-ft22k
facebook/detr-resnet-50-panoptic
facebook/detr-resnet-50
openai/clip-vit-large-patch14
google/owlvit-base-patch32
microsoft/DialoGPT-medium
bert-base-uncased
Jean-Baptiste/camembert-ner
deepset/roberta-base-squad2
facebook/bart-large-cnn
google/tapas-base-finetuned-wtq
distilbert-base-uncased-finetuned-sst-2-english
gpt2
mrm8488/t5-base-finetuned-question-generation-ap
Jean-Baptiste/camembert-ner
t5-base
impira/layoutlm-document-qa
ydshieh/vit-gpt2-coco-en
dandelin/vilt-b32-finetuned-vqa
lambdalabs/sd-image-variations-diffusers
facebook/timesformer-base-finetuned-k400
facebook/maskformer-swin-base-coco
Intel/dpt-hybrid-midas
lllyasviel/sd-controlnet-canny
lllyasviel/sd-controlnet-depth
lllyasviel/sd-controlnet-hed
lllyasviel/sd-controlnet-mlsd
lllyasviel/sd-controlnet-openpose
lllyasviel/sd-controlnet-scribble
lllyasviel/sd-controlnet-seg
"
# CURRENT_DIR=$(cd `dirname $0`; pwd)
CURRENT_DIR=$(pwd)
for model in $models;
do
echo "----- Downloading from https://huggingface.co/"$model" -----"
if [ -d "$model" ]; then
# cd $model && git reset --hard && git pull && git lfs pull
cd $model && git pull && git lfs pull
cd $CURRENT_DIR
else
# git clone 包含了lfs
git clone https://huggingface.co/$model $model
fi
done
datasets="Matthijs/cmu-arctic-xvectors"
for dataset in $datasets;
do
echo "----- Downloading from https://huggingface.co/datasets/"$dataset" -----"
if [ -d "$dataset" ]; then
cd $dataset && git pull && git lfs pull
cd $CURRENT_DIR
else
git clone https://huggingface.co/datasets/$dataset $dataset
fi
done也可以考虑拆成两个shell，开多进程下载，速度会快很多。但事实上，真的，别下了，文件属实过于巨大，这玩意儿真的不是普通人能耍起来的，当然选择不下载本地模型和数据集也能运行，请看下文。漫长的下载流程结束之后，贾维斯(Jarvis)就配置好了。运行贾维斯(Jarvis)如果您选择下载了所有的模型和数据集（佩服您是条汉子），终端内启动服务：python models_server.py --config config.yaml随后会在系统的8004端口启动一个Flask服务进程，然后发起Http请求即可运行贾维斯(Jarvis)：curl --location 'http://localhost:8004/hugginggpt' \
--header 'Content-Type: application/json' \
--data '{
"messages": [
{
"role": "user",
"content": "please generate a video based on \"Spiderman is surfing\""
}
]
}'这个的意思是让贾维斯(Jarvis)生成一段“蜘蛛侠在冲浪”的视频。当然了，以笔者的硬件环境，是不可能跑起来的，所以可以对加载的模型适当“阉割”，在models_server.py文件的81行左右：other_pipes = {
"nlpconnect/vit-gpt2-image-captioning":{
"model": VisionEncoderDecoderModel.from_pretrained(f"{local_fold}/nlpconnect/vit-gpt2-image-captioning"),
"feature_extractor": ViTImageProcessor.from_pretrained(f"{local_fold}/nlpconnect/vit-gpt2-image-captioning"),
"tokenizer": AutoTokenizer.from_pretrained(f"{local_fold}/nlpconnect/vit-gpt2-image-captioning"),
"device": "cuda:0"
},
"Salesforce/blip-image-captioning-large": {
"model": BlipForConditionalGeneration.from_pretrained(f"{local_fold}/Salesforce/blip-image-captioning-large"),
"processor": BlipProcessor.from_pretrained(f"{local_fold}/Salesforce/blip-image-captioning-large"),
"device": "cuda:0"
},
"damo-vilab/text-to-video-ms-1.7b": {
"model": DiffusionPipeline.from_pretrained(f"{local_fold}/damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16"),
"device": "cuda:0"
},
"facebook/maskformer-swin-large-ade": {
"model": MaskFormerForInstanceSegmentation.from_pretrained(f"{local_fold}/facebook/maskformer-swin-large-ade"),
"feature_extractor" : AutoFeatureExtractor.from_pretrained("facebook/maskformer-swin-large-ade"),
"device": "cuda:0"
},
"microsoft/trocr-base-printed": {
"processor": TrOCRProcessor.from_pretrained(f"{local_fold}/microsoft/trocr-base-printed"),
"model": VisionEncoderDecoderModel.from_pretrained(f"{local_fold}/microsoft/trocr-base-printed"),
"device": "cuda:0"
},
"microsoft/trocr-base-handwritten": {
"processor": TrOCRProcessor.from_pretrained(f"{local_fold}/microsoft/trocr-base-handwritten"),
"model": VisionEncoderDecoderModel.from_pretrained(f"{local_fold}/microsoft/trocr-base-handwritten"),
"device": "cuda:0"
},
"JorisCos/DCCRNet_Libri1Mix_enhsingle_16k": {
"model": BaseModel.from_pretrained("JorisCos/DCCRNet_Libri1Mix_enhsingle_16k"),
"device": "cuda:0"
},
"espnet/kan-bayashi_ljspeech_vits": {
"model": Text2Speech.from_pretrained(f"espnet/kan-bayashi_ljspeech_vits"),
"device": "cuda:0"
},
"lambdalabs/sd-image-variations-diffusers": {
"model": DiffusionPipeline.from_pretrained(f"{local_fold}/lambdalabs/sd-image-variations-diffusers"), #torch_dtype=torch.float16
"device": "cuda:0"
},
"CompVis/stable-diffusion-v1-4": {
"model": DiffusionPipeline.from_pretrained(f"{local_fold}/CompVis/stable-diffusion-v1-4"),
"device": "cuda:0"
},
"stabilityai/stable-diffusion-2-1": {
"model": DiffusionPipeline.from_pretrained(f"{local_fold}/stabilityai/stable-diffusion-2-1"),
"device": "cuda:0"
},
"runwayml/stable-diffusion-v1-5": {
"model": DiffusionPipeline.from_pretrained(f"{local_fold}/runwayml/stable-diffusion-v1-5"),
"device": "cuda:0"
},
"microsoft/speecht5_tts":{
"processor": SpeechT5Processor.from_pretrained(f"{local_fold}/microsoft/speecht5_tts"),
"model": SpeechT5ForTextToSpeech.from_pretrained(f"{local_fold}/microsoft/speecht5_tts"),
"vocoder": SpeechT5HifiGan.from_pretrained(f"{local_fold}/microsoft/speecht5_hifigan"),
"embeddings_dataset": load_dataset(f"{local_fold}/Matthijs/cmu-arctic-xvectors", split="validation"),
"device": "cuda:0"
},
"speechbrain/mtl-mimic-voicebank": {
"model": WaveformEnhancement.from_hparams(source="speechbrain/mtl-mimic-voicebank", savedir="models/mtl-mimic-voicebank"),
"device": "cuda:0"
},
"microsoft/speecht5_vc":{
"processor": SpeechT5Processor.from_pretrained(f"{local_fold}/microsoft/speecht5_vc"),
"model": SpeechT5ForSpeechToSpeech.from_pretrained(f"{local_fold}/microsoft/speecht5_vc"),
"vocoder": SpeechT5HifiGan.from_pretrained(f"{local_fold}/microsoft/speecht5_hifigan"),
"embeddings_dataset": load_dataset(f"{local_fold}/Matthijs/cmu-arctic-xvectors", split="validation"),
"device": "cuda:0"
},
"julien-c/wine-quality": {
"model": joblib.load(cached_download(hf_hub_url("julien-c/wine-quality", "sklearn_model.joblib")))
},
"facebook/timesformer-base-finetuned-k400": {
"processor": AutoImageProcessor.from_pretrained(f"{local_fold}/facebook/timesformer-base-finetuned-k400"),
"model": TimesformerForVideoClassification.from_pretrained(f"{local_fold}/facebook/timesformer-base-finetuned-k400"),
"device": "cuda:0"
},
"facebook/maskformer-swin-base-coco": {
"feature_extractor": MaskFormerFeatureExtractor.from_pretrained(f"{local_fold}/facebook/maskformer-swin-base-coco"),
"model": MaskFormerForInstanceSegmentation.from_pretrained(f"{local_fold}/facebook/maskformer-swin-base-coco"),
"device": "cuda:0"
},
"Intel/dpt-hybrid-midas": {
"model": DPTForDepthEstimation.from_pretrained(f"{local_fold}/Intel/dpt-hybrid-midas", low_cpu_mem_usage=True),
"feature_extractor": DPTFeatureExtractor.from_pretrained(f"{local_fold}/Intel/dpt-hybrid-midas"),
"device": "cuda:0"
}
}把不需要的模型屏蔽即可。与此同时，还可以不通过本地服务接口，修改config.yaml的inference_mode: huggingface随后直接在终端运行ChatGPT版本的贾维斯：cd server
python3 awesome_chat.py --config config.yaml --mode cli运行效果：Welcome to Jarvis! A collaborative system that consists of an LLM as the controller and numerous expert models as collaborative executors. Jarvis can plan tasks, schedule Hugging Face models, generate friendly responses based on your requests, and help you with many things. Please enter your request (`exit` to exit).
[ User ]: Given a collection of image A: /examples/cat.jpg, B: /examples/z3.jpg, C: /examples/z1.jpg, please tell me how many zebras in these picture?
[ Jarvis ]: Based on your request, I have used several models to process the images you provided. For the image A: /examples/cat.jpg, I used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text "a cat sitting on a window sill looking out". Then I used the object-detection model facebook/detr-resnet-50 to generate the image with predicted box '/images/a3dc.jpg', which contains two objects with labels 'potted plant' and 'cat'. For the image B: /examples/z3.jpg, I used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text "two zebras standing in a field of dry grass". Then I used the object-detection model facebook/detr-resnet-50 to generate the image with predicted box '/images/f5df.jpg', which contains three objects with labels 'zebra'. For the image C: /examples/z1.jpg, I used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text "a zebra standing in a field of tall grass". Then I used the object-detection model facebook/detr-resnet-50 to generate the image with predicted box '/images/69c7.jpg', which contains one object with label 'zebra'. Finally, I used the canny-control model canny-control to generate the image '/images/7e18.png' based on the image /examples/savanna.jpg. Therefore, there are four zebras in these pictures. Is there anything else I can help you with?
[ User ]: Please answer all the named entities in the sentence: Iron Man is a superhero appearing in American comic books published by Marvel Comics. The character was co-created by writer and editor Stan Lee, developed by scripter Larry Lieber, and designed by artists Don Heck and Jack Kirby.
[ Jarvis ]: Sure, I understand your request. Based on the inference results of the models, I will answer your request step by step. Firstly, I used the token-classification model dslim/bert-base-NER to recognize the named entities in the sentence. The inference result is that the named entities are Iron Man, Stan Lee, Larry Lieber, Don Heck and Jack Kirby. Then, I used the question-answering model deepset/roberta-base-squad2 to answer your request. The inference result is that there is no output since the context cannot be empty. Therefore, I cannot make it. I hope this answer your request. Is there anything else I can help you with?
[ User ]: Please generate a canny image based on /examples/savanna.jpg
[ Jarvis ]: Sure. I have generated a canny image based on /examples/savanna.jpg. To do this, I first used the image-to-text model nlpconnect/vit-gpt2-image-captioning to generate the text description of the image, which is "a herd of giraffes and zebras grazing in a field". Then I used the canny-control model to generate the canny image of the original image, which is stored in the path "/images/1ea2.png". Finally, I used the canny-text-to-image model lllyasviel/sd-controlnet-canny to generate the canny image based on the text description and the canny image, which is stored in the path "/images/ba66.png". Do you need anything else?可以理解为ChatGPT版本的文字生成图片，外面套了个贾维斯(Jarvis)的壳儿，演出效果满分。结语总的来说，和微软之前开源的“可视化图形ChatGPT”一样，此类项目的象征意义要远远大于现实意义。贾维斯(Jarvis)代表的是大多数技术同仁的共同愿景，对于这类人工智能技术的发展，可以肯定，但由于硬件门槛过高的原因，短期内还不能过于期待。原文链接：成为钢铁侠!只需一块RTX3090,微软开源贾维斯(J.A.R.V.I.S.)人工智能AI助理系统发布于 2023-04-06 16:07・IP 属地湖北贾维斯人工智能chat GPT赞同 21 条评论分享喜欢收藏申请
查维斯机械制造（北京）有限公司
查维斯机械制造（北京）有限公司
搜索
热搜词汇：
劈半锯剪头钳锯骨机绞肉机切丁机砍排机
中文
English
服务热线：
010-89478229
官网首页
关于查维斯产品中心客户案例新闻资讯服务支持联系我们
搜索
热搜词汇：
劈半锯剪头钳锯骨机绞肉机切丁机砍排机
服务热线：
010-89478229
客户使用场景
USAGE SCENARIOS
查维斯供应巴里坤健坤牧业全套牛羊屠宰设备
猪用自动劈半设备
牛用自动劈半设备
猪用自动剪头设备
真空包装设备
了解更多
产品中心
PRODUCT CENTER
产品中心
自动化设备
屠宰线上工具
肉类加工及包装设备
禽类预冷设备
中央厨房流水线设备
商超餐饮肉店设备
分割工具及防护用品
辅助工具及配件
动物营养和福利
机器人屠宰设备
全自动肉类加工设备
包装生产线设备
牛屠宰线工具
猪屠宰线工具
羊屠宰线工具
家禽屠宰线工具
锯骨机/分段锯
绞肉机
片/丝/条/丁设备
滚揉嫩化机
斩拌机
砍排切片机
盐水注射机
去皮去筋膜机
真空包装机
金属检测/异物检测/重量检测机
热收缩设备
JARVIS 防护用品
锯骨机
绞肉/滚揉/灌肠机
鲜肉切片/切丝/切丁机
冻肉切片/切丝/切丁机
真空包装机
打包捆扎机设备
金属检测机
砍排切片机
去皮/去筋膜机
蔬果肉类保鲜膜包装机
主厨刀磨刀棍
出口型肉类加工设备
多用刀鞘
铰刀/孔板
磨刀器/磨刀机
去皮/去筋膜机刀片手套
德国NIROFLEX钢丝手套/钢丝围裙
美国U-SAFE钢丝手套/钢丝围裙
美国EDGE锯条
国产刀具/磨刀棒
瑞士VICTORINOX刀具/磨刀棒
德国DICK刀具/磨刀棒
德国GIESSER刀具/磨刀棒
清洁防护工具
屠宰肉类加工辅助工具及配件
小型辅助工具及配件
猪用带式劈半锯BVI
牛用电刺激
CV-1X 蒸汽真空吸毛机
德国 SLICR ClASSIC 21/25 砍排机
SM450 进口去筋膜机
自动拉伸膜气调保鲜贴体包装机 TFS 200 MSV
全自动锯骨机 420A
LKE-1 吸肺枪
425-16型 液压羊腿切割器
了解更多
客户案例
PROJECT SOLUTIONS
内蒙天牧臻客户合同签约
查维斯供应巴里坤健坤牧业全套牛羊屠宰设备
屠宰分割工业化整体解决方案
永辉超市
永辉超市
海底捞
海底捞
了解更多
查维斯机械制造（北京）有限公司
ABOUT US
美国查维斯产品公司是为肉类和家禽行业提供高质量精密工具和机器人解决方案的制造商。我们在纽约市和波士顿之间，位于康涅狄格州米德尔敦，是新英格兰悠久的工业发明和制造业历史的一部分。经过一个多世纪的经营，在20多个国家设有分支机构，产品的市场占有率不断增长，拥有很好的国际声誉。我们公司将传统工艺与创新技术相结合，创造了具有成本效益和可靠的解决方案，其根基是更健康的世界不仅是可以想象的，而且触手可及。一如既往，我们的目标是通过创新技术改善生活，这就是为什么使用我公司的手动工具和机器人解决方案的食品生产商可以获得高产量和高效率，同时消费者可以从每个人都能负担得起的高质量的产品中受益。
了解更多
新闻资讯
NEWS INFORMATION
公司信息展会信息行业新闻其他（技术）
Duram公司技术专家来查维斯培训交流
了解详情
2023-09-05
热烈庆祝查维斯中国成立17周年
了解详情
2023-04-21
查维斯参加2022年山东省肉类协会建会30周年大会
了解详情
2022-08-03
查维斯荣获第16届中国（上海）国际肉类工业展诚信企业奖
了解详情
2021-11-15
著名相声演员李金斗先生带您逛展会
了解详情
2020-09-29
南彩镇后俸伯村扶贫爱心捐赠仪式
了解详情
2020-09-29
查维斯邀您参加——中国国际供应链促进博览会
了解详情
2023-09-26
查维斯“第二十一届中国国际肉类工业展”圆满结束
了解详情
2023-09-22
2023第九届北京国际火锅食材用品展览会
了解详情
2023-04-23
第二十届中国国际肉类工业展览会——查维斯荣获多项荣誉
了解详情
2023-04-20
查维斯荣获2021年度中国团餐供应链优秀服务商
了解详情
2021-12-27
2020青岛国际肉类工业展览查维斯再次获奖
了解详情
2020-09-17
牛羊肉分割—查维斯获指定刀具证书
了解详情
2023-12-13
国家肉类加工产业科技创新联盟年会暨第六届国际肉品质量与加工技术研讨会在郑州开幕
了解详情
2023-06-15
查维斯参加第十二届中国肉类加工技术发展论坛
了解详情
2021-06-30
查维斯参加2021肉品与农产品包装论坛
了解详情
2021-04-14
锯骨机的性能优点
了解详情
2022-04-24
您家的锯骨机锯条多长时间更换一根？
了解详情
2021-12-14
屠宰设备要注意维修保养
了解详情
2018-08-21
了解更多
供应商
COOPERATIVE BRAND
合作客户
COOPERATIVE CUSTOMERS
联系我们
一站式贴心服务，满足您的多种需求！!
查维斯公司营销网络遍及全球!
查维斯全球已建立了28家分公司
关于查维斯产品中心客户案例新闻资讯服务支持联系我们
电话：010-89478229
邮箱：info@jarvis.cn
传真：010-89478793
地址：北京市顺义区南彩镇彩园工业区二三产业基地11号标准厂
微信公众号
淘宝店铺
©查维斯机械制造（北京）有限公司 版权所有 京ICP备19053084号-1 京公网安备11011302003877号
技术支持：云栈互联
腾讯天衍研究中心
腾讯天衍研究中心
+0755 86013388
jarvislab@tencent.com
中文
EN
首页
关于天衍
研究领域
科研成果
新闻活动
加入我们
Just A Rather Very Intelligent System（JARVIS）
腾讯天衍研究中心
更多
Tencent Jarvis Research Center
天衍提供全面的医疗人工智能解决方案
通过机器学习和大数据分析在医疗领域打造一个实时演进的知识和决策平台，通过对医疗领域数据的收集、分析和建模，为公司医疗业务及产品输出技术
医疗影像
Read More
医疗自然语言理解
Read More
医疗大数据
Read More
关于天衍
Just A Rather Very Intelligent System（JARVIS）
腾讯天衍研究中心成立于 2018 年 9 月，是一个专注于医疗人工智能的研究中心。我们致力于通过机器学习和大数据分析在医疗领域打造一个实时演进的知识和决策平台，通过对医疗领域数据的收集、分析和建模，为公司医疗业务及产品输出技术，加速 AI 产品在医疗领域的市场化，服务于更安全和可信赖的用户体验。
我们也积极进行前沿科技探索，成立至今已经发明 400 多项医疗 AI 专利、发表 200 多篇顶会和顶刊论文、并获得 10 多项国际医疗 AI 相关竞赛的冠军。
更多
郑冶枫博士
郑冶枫本科和硕士毕业于清华大学电子工程系，博士毕业于美国马里兰大学。2006 年至 2017 年在西门子医疗美国研究院工作。2018 年 1 月加入腾讯，现任腾讯天衍研究中心主任和杰出科学家。 他一直从事医学人工智能的研发，发明了投影空间学习法，用于医学影像中器官的快速检测与分割。该发明于 2011 年获美国专利授权，当年即获托马斯.爱迪生专利奖。相关的研究成果于 2014 年结集出版《医学影像处理的投影空间学习法：器官的快速检测与分割》。
他已经发表论文 300 余篇，撰写专著 2 部，参编专著 1 部，拥有美国发明专利 80 多项，论文被引用 18,000 多次，h-index 指数 68。他曾于 2003 年获中国国家科技进步二等奖。他是国际电气与电子工程师学会会士（IEEE Fellow），美国医学和生物工程学会的会士（AIMBE Fellow），IEEE 医学影像杂志副编（IF=7.8）和医学影像 AI 顶会 MICCAI 2021 大会联合主席。
Homepage
Google Scholar
科研成果
学术论文
Selected Publications
View More Details
发明专利
Selected Patents
View More Details
学术竞赛
Competitions & Challenges
View More Details
新闻活动
2023-12-05
By Admin
三年覆盖逾百万适龄女性！腾讯优图以AI助力宫颈癌高效防控
在国家卫生健康委妇幼健康司的指导下，腾讯SSV健康普惠实验室联合中国疾控中心妇幼中心、中国出生缺陷干预救助基金会发布“低资源地区女性两癌综合防控示范项目”，在四川、云南开展先行示范，并联合北京协和医学院专家团队在多省市自治区探索低卫生资源地区“两癌”（宫颈癌、乳腺癌）综合防控的创新模式。在该项目中，腾讯优图实验室天衍研究中心提供了领先的多元AI能力，包括高效精准的疾病分类、病灶分割、病灶检测、质控体系建立等。推动电子阴道镜影像辅助诊断等创新技术在低资源地区的应用落地，推进“两癌”综合防控，通过在中西部七省30余个地区开展试点，助力加速消除宫颈癌的目标。
Read More
2023-11-25
By Admin
20年20人20问丨腾讯杰出科学家郑冶枫：AI让所有人回到同一起跑线
腾讯新闻20周年特别策划《20年20人20问》持续更新！携手全球顶级思想家、企业家、教授学者、体育冠军、作家、名人作为“未来提问官”，一起向未来发问，共同探讨未来20年的未知世界，畅想上天入地的潜在可能。真格基金联合创始人、新东方联合创始人，王强先生提出关于AI的问题“AI时代来临，人的意义有怎样的变化与不变？”，关于他的问题，腾讯杰出科学家、腾讯优图实验室天衍研究中心负责人，郑冶枫是这样回答的，一起揭晓！
Read More
2023-11-10
By Admin
获世界互联网领先科技成果大奖！腾讯优图多款AI产品亮相乌镇峰会
11月8日，在2023年世界互联网大会乌镇峰会上，“腾讯觅影数智医疗影像平台”得到业界极大肯定，获得“世界互联网领先科技成果”大奖。依托腾讯优图实验室天衍研究中心等的算法技术积累，腾讯觅影数智医疗影像平台集成和开放了腾讯团队自研的20多种科研级别的AI引擎，涵盖糖尿病视网膜病变、脑胶质瘤、肝癌、乳腺钼靶、肺结节等疾病。目前，平台已经助力17所高校与科研院所、23家公立医院，以及33家科技企业开展科研工作。
Read More
2023-07-21
By Admin
腾讯觅影亮相中国互联网大会 医疗影像AI助力产学研管创新升级
7月18日，以“促进数实融合，赋能千行百业”为主题的第二十二届中国互联网大会在京举办。大会聚焦数字经济时代下，以技术创新驱动产业转型升级，进一步加速推动数实融合，深入拓展数字经济发展新空间。腾讯觅影携“数智医疗影像平台”亮相大会展区，展示了在医疗影像领域的实践和应用成果，吸引了不少人前来围观体验。作为医学影像人工智能领域先行者，腾讯觅影“数智医疗影像平台”专注于数字医疗影像专业领域，集数字医疗影像云端应用、科研服务、人工智能临床诊断于一体，为行业提供产、学、研、管全面的解决方案，深度探索医疗+AI创新应用场景，推动医疗科技创新与医疗健康产业深度发展。
Read More
2023-06-01
By Admin
腾讯觅影再获“创新医疗器械三类证” 结肠息肉AI助力结肠癌早筛
2023年6月1日，国家药品监督管理局公告：腾讯觅影旗下产品“结肠息肉电子内窥镜图像辅助检测软件”获批上市。这项通过创新医疗器械审查的人工辅助检测产品，有助于提升息肉检出率，辅助临床医生更高效、精准发现结肠息肉，从而降低结肠癌的发生率和死亡率。“结肠息肉电子内窥镜图像辅助检测软件”需配合结肠镜检查，从电子内窥镜图像处理器输出的视频流中导入视频图像信号，经过深度学习算法分析后将疑似息肉位置在视频中进行实时标记，提醒医生关注疑似病灶。在浙江省人民医院、温州市中心医院采用临床试验路径进行的临床评价表明，和常规结直肠镜检查相比，“结肠息肉电子内窥镜图像辅助检测软件”辅助下的结直肠镜检查能有效提升息肉检出率。
Read More
2023-04-26
By Admin
腾讯医疗AI发明专利申请突破1000件
医疗健康领域，腾讯目前对外申请且公开的AI医疗相关中国发明专利总数已经累计突破1000件，涵盖医学影像、AI导辅诊、药物发现、基因应用、病案管理、药品管理、风险监控等诸多领域。腾讯早在2017年就发布了首款将人工智能技术应用在医疗领域的产品——腾讯觅影，以AI辅助医生分析医学影像。从专利分布看，腾讯在医疗AI方面申请的专利当数医学影像赛道的最多。这也体现了作为医疗影像国家新一代人工智能开放创新平台的承建者，腾讯在技术创新方面为行业带来积极作用。最近申请的AI医学影像发明专利，则是来自腾讯内部专注于医疗人工智能的实验室——天衍实验室，两项关于图像分割、去伪影模型训练的专利申请用于提升AI影像的识别效率和节省样本训练时间。
Read More
2022-09-01
By Admin
腾讯觅影AI辅助诊断青光眼软件获批创新医疗器械
日前，国家药品监督管理局经审查，批准了腾讯医疗健康（深圳）有限公司开发的“慢性青光眼样视神经病变眼底图像辅助诊断软件”创新产品注册申请。AI辅助判断青光眼获批，腾讯也成为国内首个获批创新医疗器械的互联网科技企业。为鼓励医疗器械创新，激励产业高质量发展，2018年国家药监局修订发布《创新医疗器械特别审查程序》，该程序对具有我国发明专利、技术上具有国内首创、国际领先水平、并且具有显著临床应用价值的医疗器械设置了特别审批通道。此次腾讯觅影的“慢性青光眼样视神经病变眼底图像辅助诊断软件”通过创新医疗器械特别审查程序后，正式获批上市。
Read More
2022-04-28
By Admin
上海交大X腾讯觅影：一堂基于真实世界的AI医疗影像实训课
“如果深度学习使用的训练数据集都是健康人的影像，那腾讯觅影怎么重建一个患者影像呢？”“这样的情况下，觅影是不能重建病灶图像的，但它会进行错误提示，正因这种机制能让觅影快速帮助医生识别患者。”利用4月16日、4月23日两个周六，来自腾讯健康的钱天翼、伍健荣、熊俊峰、魏东、卢东焕五位博士，协同上海交通大学楚朋志、肖雄子彦、梁晓妮老师为疫情中的上海交通大学同学带来了一堂高知识浓度、高技术含量的线上AI医学影像实践和应用公开课。从医学影像发展应用，到利用机器学习、深度学习去学会“读图”，再到上手“腾讯觅影开放实验平台”实践，不仅让非医科学生领略了医学影像对人类健康的意义，也让医科学生深刻理解了人工智能技术如何帮助更多医生和患者。
Read More
2022-03-08
By Admin
国家智慧医保大赛总分第一！
近日，由国家医疗保障局主办的“智慧医保解决方案大赛”总决赛落下帷幕。围绕医保信息化建设工作的堵点、痛点、难点问题，全国156个参赛团队展开了半年的激烈角逐。最终，由腾讯带来的“基于医保大数据的精准医保基金监管解决方案”获决赛总分第一，“智慧医保公服解决方案”也获得公共服务子赛道总分第二。参赛方案中，依托腾讯大数据能力开发的团伙骗保发现算法模型填补了现有监管系统中只能发现单人、单次就诊违规的空白；依托腾讯连接能力构建的医保公共服务体系，旨在打通“医保局-两定机构-参保单位-参保人”的连接平台，有效拓展医保服务的广度和深度。以上两项核心能力，也与我国“十四五”全民医疗保障规划中医保数字化、智慧化的需求不谋而合。
Read More
2022-01-18
By Admin
为了搞懂AI的「脑回路」，腾讯走出了重要的一步
人工智能技术发展到现在，人们大多数时间都在性能上应用上作努力，如今对于可解释 AI 的研究可以说才刚刚开始。我们不能为了追求效率忽视 AI 系统的公平性和透明度，也不应该完全反过来，对新技术简单持不接受态度。1月11日，在腾讯举行的科技向善创新周活动中，腾讯研究院、腾讯天衍实验室、腾讯优图、Tencent AI Lab 等机构联合完成的《可解释 AI 发展报告 2022——打开算法黑箱的理念与实践》正式发布。
Read More
2022-01-05
By Admin
AI如何更懂医？看腾讯天衍实验室智能医疗诊断技术创新
目前计算机在文本理解的精度和深度上和人类仍然有很大的差距，特别是在医学领域，不仅要求计算机学会庞大的专业术语，形成知识图谱；更要能读懂没有专业知识的患者对于症状的模糊主诉，并将其与专业术语做关联。在此过程中，研究人员除了要给算法“投喂”庞大的专业语料和日常知识，提升算法能力，加强AI对真实世界的理解，还需要用更好的策略，选择合适的模型，优化医疗NLP领域目前面临的问题，而这也是第二十届中国计算语言学大会（CCL2021）智能医疗对话诊疗评测—“智能化医疗诊断赛道”要解决的主要难点。在此赛道中，腾讯天衍实验室团队提交的方案凭借较高的疾病预测准确率和症状召回率，成功获得该赛道第一名。
Read More
2021-12-21
By Admin
国家呼吸医学中心团队与腾讯发布最新疫情研究成果：新冠防控要快且准
新冠肺炎疫情发生以来，世界各国都实施了一系列的疫情防控政策，比如关闭学校工厂、关闭交通、取消公共活动等，这些措施对遏制疫情起到了效果，同时也给人们的日常生活带来不便，对社会经济造成了一定影响。究竟严格的防控措施是否必须，哪些防控措施更有效果？日前，由国家呼吸医学中心团队与腾讯公司联合发表的最新研究成果，让这些问题有了更确切的答案。这项研究成果已发表在国际著名医学期刊 Value in Health（《健康价值》）。
Read More
2021-11-25
By Admin
“觅影”医学AI大赛赛果出炉：年轻人挑起创新大梁，“一人战队”登顶
11月25日，历时三个多月的2021“觅影”医学人工智能算法大赛公布赛果，来自国内外多家顶尖高校和科研企业，横跨计算机、人工智能、生物医学等专业学科，共计15支冠亚季军团队脱颖而出，“95后”“00后”成为比赛大赢家，为破解临床医学难题带来新思路。作为目前最具挑战、最具临床价值的医学AI赛事，本次大赛由“科创中国”联合体指导，腾讯公司联合首都医科大学附属北京同仁医院、首都师范大学、郑州大学第一附属医院、上海市胸科医院、上海全景医学影像共同发起。多位医学专家基于实际临床需求，出具了涵盖分类、分割和检测等多种人工智能技术应用的赛题。
Read More
2021-10-09
By Admin
研究成果荣登Nature：腾讯天衍实验室助阵小鼠大脑神经元大规模重构
10月7日，国际顶级学术刊物《Nature》发布了题为《Morphological diversity of single neurons in molecularly defined cell types》的小鼠大脑神经元重构的文章。该研究由西雅图艾伦脑科学研究所和东南大学脑科学与智能技术研究院/东南大学-艾伦联合研究中心联合牵头，彭汉川教授、曾红葵教授领导的国内外研究团队共同参与，实现了1741个小鼠神经元的重建，这也是目前全球学术范围内最大规模的神经元重建。腾讯天衍实验室作为论文共同完成单位和东南大学合作开发了AI纠错技术，协助顶级神经科学家团队在“数据海洋”中，更高效地完成了在小鼠皮层、屏状核（黄皮区）、丘脑、纹状体和其他脑区神经元重建研究的规模突破，让人类在攀登神经科学研究的“终极疆域”有了新的“助手”。
Read More
2021-10-01
By Admin
腾讯医疗AI技术亮相迪拜世博会中国馆，展现中国医疗创新力量
10月1日，因疫情延期一年的2020迪拜世博会终于开幕，中国馆主题为“构建人类命运共同体——创新与机遇”，彰显“一带一路”倡议为沿线国家带来的发展机遇和合作潜能，充分体现了推动全球共同发展、构建人类命运共同体的中国主张。腾讯公司作为迪拜世博会中国馆官方合作伙伴，以多种技术能力和数字内容助力打造中国馆的创新智慧体验。其中，由腾讯公司与中国贸促会共同打造的迪拜世博会中国馆官方小程序“玩转中国馆”，于10月1日正式上线，世界各地的用户都可以沉浸式浏览中国馆。而在全球疫情反复不断的形势下，“智慧医疗”备受瞩目，来自腾讯公司的医疗AI新技术，成为展示中国医疗创新力量的窗口。
Read More
2021-09-16
By Admin
400余支队伍挑战最难临床赛题，“觅影”医学AI大赛线上开启
9月15日，2021“觅影”医学人工智能算法大赛正式开赛，目前已有超过400支团队近700人报名参赛，将对致盲性疾病分类、阿尔茨海默症早期发现、脑胶质瘤识别、放疗计划辅助、肿瘤高代谢病灶检测等五大临床医学AI赛道发起挑战，为多个临床医学难题探寻新的破题思路与方案。大赛报名系统也将持续开放至10月10日。依托腾讯觅影开放实验平台、腾讯优图实验室、腾讯天衍实验室、腾讯AI Lab的技术支持，腾讯云TI平台中TI-ONE平台的强大算力，以及腾讯云对象存储COS的分布式存储服务，本次大赛开创了“全线上模式”。
Read More
2021-09-10
By Admin
多走一步，仰望星空
2017年8月，腾讯正式发布首款将AI技术应用在医疗领域的产品，取名“腾讯觅影”——希望AI技术能帮助医生“寻踪觅影”，为病人更准确地发现早期病灶。AI技术正式进入医疗服务核心的“诊断”环节，这一步探索，坚持了4年。2021年8月，腾讯觅影的“肺炎CT影像辅助分诊及评估软件”获得国家药品监督管理局批注注册，注册证编号“国械注准20213210612”。这意味着腾讯觅影从AI技术探索和理论研究出发，逐渐深入到临床问题，走完了一个医疗器械产品的立项、研发，到市场准入的全过程，真正成为医疗行业一员。
Read More
2021-08-13
By Admin
“觅影”医学人工智能算法大赛启动，五大临床赛题向AI发起最强挑战
8月13日，由“科创中国”联合体指导，腾讯公司联合首都医科大学附属北京同仁医院、首都师范大学、郑州大学第一附属医院、上海市胸科医院、上海全景医学影像联合发起的2021“觅影”医学人工智能算法大赛正式启动，多位临床专家从临床实际需求出发，发起五大AI挑战课题，落点致盲性疾病分类、阿尔茨海默症早期发现、脑胶质瘤识别、放疗计划辅助、肿瘤高代谢病灶检测等多个临床医学难题，是目前最具挑战，也是最具临床价值的医学AI比赛。
Read More
2021-08-09
By Admin
腾讯觅影开放实验平台全面开放注册，探索医疗影像AI产学研新路径
近年来，“AI+医疗”成为科技赋能医疗行业的热点方向，在影像识别、医药器械等方面实现了诸多落地探索。医学影像AI研发的显著特点之一是需要不同的学科和行业交叉协作，发挥各自的专业与优势，共同来完成创新。然而实际中，医疗机构、科研院校、科创企业普遍面临数据来源少、标注太耗时、缺乏适用算法、产学研结合难等痛点，医疗影像AI创新仍然屡屡遭遇“卡脖子”的情况，全行业亟需更具系统性和综合性的研发和转化解决方案。
Read More
2021-07-05
By Admin
腾讯天衍实验室在ICLR 2021成功举办全球AI挑战赛，聚焦对话生成与自动诊断
科技兴医，发挥云计算、大数据、人工智能等新兴技术力量在医疗应用领域的落地，对于推动医疗服务能力具有重要意义。日前，深度学习领域顶级会议ICLR 2021成功举办，由腾讯天衍实验室联合中山大学、加利福尼亚大学圣迭戈分校举办的MLPCP（Machine Learning for Preventing and Combating Pandemics，MLPCP）挑战赛——医疗对话生成与自动诊断国际竞赛也赛出结果。参赛选手通过运用大规模语言与技术模型，在医疗咨询对话系统和预测患者可能的疾病类型方面取得创新突破，人工智能技术在诊断疾病、减轻医生负担方面呈现出广阔的应用前景。
Read More
2021-06-09
By Admin
在AI消灭宫颈癌这件事情上，腾讯天衍实验室做了一些重磅研究
值得关注的是，对于超过3.5亿的适龄妇女人群，即使以3-5年进行一次筛查的标准来衡量，我国目前的宫颈癌筛查覆盖地区和人群数量仍然远远不足。来自腾讯天衍实验室的AI电子阴道镜辅诊系统有望为「两癌筛查」提供助力，辅助宫颈癌筛查全面落地应用和推广，最大化释放医疗普惠价值，助推我国医疗资源均衡化发展。
Read More
2021-05-27
By Admin
腾讯智慧医保大数据分析系统获2021数博会“领先科技成果”奖
这套腾讯智慧医保大数据分析系统依托腾讯天衍实验室领先的人工智能技术，基于医保大数据和医保知识图谱、不合理用药引擎、术语标准化引擎、医疗联邦学习等底层能力，组成医保基金反欺诈创新应用、智慧医保宏观决策支持，以及医保智能问答系统三个引擎，通过可视化系统以及小程序、微信公众号等多终端展示，为医保经办人员和普通用户提供决策支持。
Read More
2021-05-24
By Admin
全面加速医疗AI创新研究，腾讯天衍实验室多项成果入选国际顶会
近日，自然语言处理(NLP)领域的顶级会议ACL 2021和人工智能领域的顶级会议IJCAI 2021相继揭晓论文录用结果，专注医疗人工智能与大数据技术研究的腾讯天衍实验室共有3篇长文被ACL 2021主会录用，1篇长文被Findings of ACL录用，1篇长文被IJCAI 2021录用，论文内容涵盖信息抽取、问题生成、文档检索以及知识图谱对齐等经典NLP研究方向。此外，在近期公布的数据挖掘领域国际会议PAKDD获奖名单中，腾讯天衍实验室在疾病预测领域的最新研究进展也荣获了最佳学生论文奖项。
Read More
2021-05-21
By Admin
腾讯与清华大学牵手大数据科研，构建卫生健康智慧管理模式
围绕卫生健康大数据的建设与应用，腾讯与清华大学卫健学院将紧密合作，从理论、技术、政策等多维度展开创新性研究，既包括大数据的标准化与科学治理，也包括大数据在公共卫生治理、疫情监测预警、全民健康管理等领域的应用探索。双方将共同探索数字化时代下的创新科研模式，构建以大数据驱动的智慧化公共卫生管理体系，为应对全民健康管理和重大公共卫生挑战，提供更科学、精准的管理思路和工具。
Read More
2021-05-18
By Admin
2021年CCF-腾讯犀牛鸟基金申报工作正式启动
腾讯公司和中国计算机学会于2013年共同发起的CCF-腾讯犀牛鸟基金（以下简称犀牛鸟基金），始终致力于支持海内外青年学者开展前沿学术研究与技术实践。犀牛鸟基金通过提供企业真实问题与业务实际需求，搭建产学研合作及学术交流的平台，推动合作双方学术影响力的提升及研究成果的应用落地，促进自主技术的创新与发展。其中课题4.3医疗机器学习与自然语言理解由天衍实验室提出。
Read More
2021-03-09
By Admin
报名通道开启 | 顶会 ICLR 2021：医疗对话生成与自动诊断国际竞赛，邀你来战！
ICLR，2013 年由深度学习三巨头中的Yoshua Bengio 和 Yann LeCun 牵头创办，已受到研究者和开发者的广泛认可，是当之无愧的深度学习领域顶级会议。今年，由中山大学、加利福尼亚大学圣迭戈分校和腾讯天衍实验室等组织联合举办的医疗对话生成与自动诊断国际竞赛，已于3月1日正式启动，面向全球开放报名通道。
Read More
2021-03-03
By Admin
鹅厂牵头承建！医疗影像AI国家级平台要来啦
科技创新2030—“新一代人工智能”重大项目——《医疗影像国家新一代人工智能开放创新平台建设》启动仪式暨论证会。简单来说，是科技部要做一批平台——国家新一代人工智能开放创新平台，其中，由腾讯公司承担建设医疗影像国家新一代人工智能开放创新平台。这个平台的意义嘛，就是将AI更好和医疗影像结合，让更多疾病被早早发现。
Read More
2021-02-09
By Admin
关于接种新冠疫苗还满脑袋问号？不慌！AI智慧助手24小时在线帮忙
新冠疫苗的效用和安全性如何？怎么预约接种新冠疫苗？哪些人可以接种新冠疫苗？接种新冠疫苗是否收费？进入年底，全国新冠疫苗接种工作规范都在有序开展，各地接种人数也在不断增加，但真正说到新冠疫苗接种问题，你是不是还和小编一样满脑袋问号？？？没关系，现在可以用“新冠疫苗问答助手”实时咨询啦~
Read More
2020-12-23
By Admin
让AI更“懂医”！天衍实验室一口气又刷了两个大奖
日前，第六届中国健康信息处理大会（CHIP
2020）举办的中文医学信息处理评测竞赛圆满结赛，腾讯天衍实验室依托其在医学领域的长期技术积累和创新探索，一举获得了“中文医学文本命名实体识别”赛道冠军、“中文医学文本实体关系抽取”赛道亚军。
Read More
2020-12-16
By Admin
我们在世界机器人大赛上拿了俩冠军，或能给残障者带来希望
脑-机接口技术将有望在医疗康复等领域带来突破与贡献。而且在“2020世界机器人大赛-BCI脑控机器人大赛”上，由腾讯天衍实验室主任郑冶枫博士指导，天津大学和腾讯天衍实验室组成的C2Mind战队，成功斩获技术赛“颞叶脑机组”一等奖，以及技术锦标赛“颞叶脑机有训练集一等奖”两项冠军。
Read More
2020-12-01
By Admin
系统重复推荐影响用户判断与决策？解决方法来了
目前主流的推荐系统大都采用大数据模型筛查方式，而这种方式会产生较大的路径依赖。对此，腾讯天衍实验室推出推荐系统纠偏方法。划重点：与传统方法相比，该方法无需执行随机流量实验以进行无偏估计，大大减小了无偏推荐算法的训练成本，降低了系统的路径依赖。
Read More
2020-11-16
By Admin
腾讯天衍实验室又双叒叕获得一个冠军
近日，第十四届全国知识图谱与语义计算大会（CCKS2020）举办的知识图谱与语义计算技术评测竞赛结果公布，腾讯天衍实验室斩获试验装备鉴定领域实体抽取(NER)任务冠军。大会是由中国中文信息学会语言与知识计算专业委员会主办，是国内知识图谱、语义技术、链接数据等领域的核心学术会议。聚集了自然语言理解、知识获取、智能问答、图数据库等相关技术领域的研究人员和学者。
Read More
2020-09-21
By Admin
在这个竞赛上，我们摘得两枚奖牌
今天，在北京数智医保创新竞赛举行颁奖典礼上，腾讯在“医保基金监督管理”、“医保宏观决策支持”两大赛题组摘得两枚金奖，为北京医疗保障精细化、智能化管理提供了思路。
Read More
2020-08-21
By Admin
我们携手微众银行成立联合实验室，破解隐私难题
随着医疗信息化及AI等技术不断发展，解决医疗场景数据隐私问题越成为重中之重。现在，在解决这一问题上，腾讯医疗健康与微众银行有了一个“1+1>2”的想法。即成立联合实验室，结合腾讯天衍实验室在医疗影像、医疗机器学习与自然语言处理的技术积累，以及微众银行AI团队在联邦学习上的领先技术，共同攻坚医疗联邦学习，搭建隐私保护数据平台，探索医疗领域的智能化应用。
Read More
2020-07-31
By Admin
腾讯天衍实验室14篇论文，被行业国际会议收录
近日，第23届医学图像计算和计算机辅助介入国际会议MICCAI
2020论文录用结果揭晓，腾讯天衍实验室共计入选14篇论文（较去年增加4篇）。论文研究方向涵盖医学影像中的分类、分割、检测、领域自适应等应用场景，实现医疗影像人工智能技术的全面突破。
Read More
2020-05-20
By Admin
腾讯AI硬核战“疫”，收到三个喜讯！
疫情爆发以来，以AI为核心的数字科技成了这场疫情
“阻击战”的主力军，落地在各个“抗疫”场景。5月18日，中华预防医学会公布新冠肺炎防控大数据与人工智能最佳应用案例征集活动评选结果，由腾讯提供的疫情专区、疫情问答及新冠肺炎预测模型三个项目上榜。
Read More
2020-04-26
By Admin
腾讯医疗AI背后的专利
腾讯在医疗AI领域的专利申请量迅速增长，截至目前，腾讯在医疗AI领域布局的专利已经多达300余件，主要分布于医疗辅诊、病案管理、药品管理、风险监控及医疗影像等多个方向，其中以医疗影像最为核心，例如落地觅影产品糖网病变、肺癌、食管癌、结直肠癌及乳腺等疾病早筛方向。
Read More
联系我们
+0755 86013388
jarvislab@tencent.com
深圳市南山区深南大道10000号腾讯大厦
Copyright © 1998 - 2024 Tencent. All Rights Reserved.
NVIDIA发布Jarvis 1.0 公测版，打造实时对话式AI服务 - 知乎
NVIDIA发布Jarvis 1.0 公测版，打造实时对话式AI服务 - 知乎首发于I am AI切换模式写文章登录/注册NVIDIA发布Jarvis 1.0 公测版，打造实时对话式AI服务丽台科技已认证账号NVIDIA今日发布Jarvis 1.0 公测版。公测版中包含用于构建和部署实时对话式AI应用程序的端到端工作流程，例如转录、虚拟助手和聊天机器人等。Jarvis是基于NVIDIA GPU提供实时性能的灵活、多模态对话式AI服务应用框架。此次发布的Jarvis包含多个新型对话式AI预训练模型，并支持迁移学习工具包（TLT），方便企业根据自己的具体用例和领域调整应用。这些应用能够理解上下文和细微差别，为用户提供更好的体验。通过Jarvis，企业可以获得各种先进的模型、通过TLT迁移学习实现开发速度高达10倍提升，以及全面优化的GPU加速流程，从而创建实时运行的智能语言型应用。本次发布版本的亮点包括：基于数千小时语音数据训练的ASR、NLU和TTS模型。采用自定义数据通过零编码的方法快速重新训练模型的TLT。全面加速的深度学习流程经过优化，可作为可扩展服务运行。使用一行代码部署服务的端到端工作流程和工具。从金融、医疗健康到消费者服务，对话式AI为每个行业带来新的机遇。Jarvis的早期采用者包括InstaDeep（一家创建阿拉伯语虚拟助手的公司）。NVIDIA Jarvis在提高其应用性能方面发挥了重要作用。通过Jarvis中的NeMo工具包，可将阿拉伯语语音-文本模型进行微调，单词错误率降低至7.84%。俄罗斯最大的移动网络运营商之一MTS使用Jarvis，为客户支持提供聊天机器人和虚拟助手。在Jarvis的帮助下，他们通过对俄语ASR模型进行微调大幅提高准确性，并通过TensorRT优化提高整体性能。Ribbon的实时通信和呼叫处理平台使用Jarvis实现高级AI文本-语音转换。企业和政府机构每天都要记录数以千万计的通话，但通过搜索提取这些通话中的重要洞见几乎是一项不可能完成的任务。现在，可以通过Jarvis把录音转换成文本，从而利用AI工具快速搜索并分析这些数据。在医疗健康领域，Northwestern Medicine正在与Artisight合作，让医院变得更加智能化。Artisight首席执行官Andrew Gostine表示：“我们希望在Northwestern Medicine中，通过医疗健康AI解决方案套件，提高患者满意度和员工的工作效率。在COVID-19期间，采用搭载NVIDIA Clara Guardian和Jarvis的对话式AI，保障了患者和工作人员的安全。在减少医患间直接身体接触的同时，提供了高质量的护理。该对话式AI通过Jarvis ASR和TTS模型得以实现。现在，患者可以从AI虚拟助手处得到及时的回复，而无需一直等待医生空闲的时间。”Jarvis还帮助Intelligent Voice更好地使用语音识别技术记录呼叫、将录音转换成文本并自动发送文本记录，效果十分不错。Intelligent Voice首席技术官Nigel Cannings表示：“Intelligent Voice提供高性能语音识别解决方案，而我们客户的期望也变得越来越高。Jarvis采用多模态的方法，将自动语音识别的关键元素与实体和意图匹配相融合，满足需要高吞吐量和低延迟的新用例的需求。Jarvis API不但易于使用，还能整合和自定义客户的工作流程，实现性能优化。”即日起，NVIDIA Jarvis和TLT可供NVIDIA开发者计划成员免费下载。“入门指南”页面将提供相关资源，包括示例、Jupyter笔记本和针对新用户的教学博客.*本文来源于NVIDIA英伟达发布于 2021-03-02 10:29AI技术NVIDIA（英伟达）人工智能赞同 2添加评论分享喜欢收藏申请转载文章被以下专栏收录I am
我要是想做一套钢铁侠的jarvis的电脑系统，该怎么搞？ - 知乎
我要是想做一套钢铁侠的jarvis的电脑系统，该怎么搞？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册钢铁侠（美国漫威漫画旗下超级英雄）我要是想做一套钢铁侠的jarvis的电脑系统，该怎么搞？主要是我感觉它可炫酷了，想来一套，技术方面我基本上都差不多，c语言啦，java啦也都可以，具体要怎么干？关注者18被浏览8,212关注问题写回答邀请回答好问题1 条评论分享3 个回答默认排序solrex互联网架构 / 过时博主 关注来自我自己的博客：700行代码帮你迈出打造专属Jarvis的第一步 - 边际效应前几天，Mark Zuckerberg 写了一篇博客《Building Jarvis》 ，立即风靡科技圈。智能家庭，Bill Gates 弄了一个，Zuckerberg 也搞了一个，科技圈的大佬们纷纷动手，让小民们看着很眼馋。在《Building Jarvis》这篇文章中，Zuckerberg 写到：These challenges always lead me to learn more than I expected, and this one also gave me a better sense of all the internal technology Facebook engineers get to use, as well as a thorough overview of home automation.注意到这些酷炫的技术，都是 internal technology Facebook engineers get to use。那么到底有没有可能，使用公开领域的服务，构建一个类似于 Jarvis 的系统呢？正好这段时间，我也在做一个基于人工智能技术的简单 APP：WhatIsWhat。这个 APP 目前很简单，甚至可以称得上简陋，但可能对你构建自己的 Jarvis 会有所帮助或启发。背景某天闲聊的时候，有个妈妈同事说，她家宝宝问她很多东西不懂，只好去搜索，发现百度百科的不少词条有个“秒懂百科”，用视频讲解百科词条，宝宝很爱看。只是可惜宝宝不认字，不会自己搜索。然后我就想，要是有个工具，能用语音问问题，语音或者视频回答问题，那挺不错啊，就有了这个 APP。随着近几年语音识别准确率的大幅度提升，语音交互技术已经步入到非常成熟的阶段了。公开领域也有讯飞、百度等好几家免费服务可用，只是关注和使用这些的一般都是企业，个人开发者并不多。其实从我工作上的背景出发，语音交互背后的技术都是非常熟悉的。下面我就以我使用的百度语音开放平台为例，解释下能有哪些免费的语音交互服务可用。语音识别要想宝宝能使用语音问问题，首先需要有一个语音转文字的技术，我们一般称之为“语音识别”。从 20 世纪 70 年代 IBM 把 HMM 应用到语音识别技术上来以后，语音识别准确率一直在稳步提升。但到了 2000 年以后，语音识别的效果改进停滞了，而且一停就是 10 年。直到 2010年，Geoffrey Hinton、邓力和俞栋在微软研究院将深度学习引入语音识别技术后，平地一声惊雷，语音识别的准确率才又开始一次大跃进。可以这样说，20 年前的语音识别和六七年前的语音识别，没有太大区别。但现在的语音识别技术，和六七年前的语音识别技术，是有革命性改进的。如果你还根据几年前的经验，认为语音识别是个 Toch Toy，识别结果充满了错漏。不妨试试最新的语音识别产品，比如讯飞语音输入法、百度语音搜索，结果会让你很吃惊的。值得高兴的是，讯飞和百度都将最新的语音识别技术免费开放给所有人使用。比如百度的语音识别服务，单个应用每天可以免费调用 5 万次，而且可以通过申请提升这个免费上限。只需要到它的平台上注册成为开发者（不需要任何费用），申请新建一个应用，下载最新版的 SDK，参考文档集成到 APP 里就行了。语音合成如果想让手机使用语音回答问题，还需要一个文字转语音的技术，我们一般称之为“语音合成”或者“TTS”。语音合成在准确率方面的问题上，没有语音识别那么显著，但更大的困难来自于“怎么让机器发出的声音更像人声？”有很多个方面的考量，比如情绪、重音、停顿、语速、清晰度等等。现代的语音合成产品，一般都支持选择发声人（男声、女声、童声）和调整语速的功能。很多小说阅读器都配备的“语音朗读”，就是语音合成技术的典型应用。讯飞和百度也都免费开放了自家的语音合成技术，也是类似于语音识别的SDK集成即可。值得一说的是，Google 在今年 9 月发表了自家的 WaveNets 语音合成模型，号称将 TTS 发声和人声的差距缩短了 50%（可以到这个页面体验一下），所以我们可以期待公开的语音合成服务效果有更进一步的改进。语音唤醒就像两个人交谈时你必须得称呼对方名字，他才知道你是在对他说话，机器也是一样。对着手机屏幕的时候，可以通过点击麦克风按钮来实现唤醒语音输入，但在远处或者不方便点击时（比如开车），需要用特定的指令唤醒它接收并处理你的输入。就像我们熟悉的“Hey，Siri”和“OK，Google”，我们一般称之为“语音唤醒”。一般情况下，唤醒指令不依赖语音识别，也就是说，它纯粹是使用声学模型匹配你的声音。这样做也有好处，就是不依赖网络，待机功耗也更低。讯飞的语音唤醒功能是收费的，但是百度的语音唤醒功能是免费的，可以定制自己的唤醒词，然后下载对应唤醒词的声学模型包，集成到语音识别 SDK 中即可。如果希望打造一个专属的 Jarvis 的话，这个唤醒词声学模型最好是使用自己的语音训练出来的，这样召准率才能更高。但很遗憾，百度的免费语音唤醒还不支持这点，只能用百度语料库训练出来的模型。自然语言理解关于自然语言理解，Zuckerberg 的 《Building Jarvis》已经解释得非常充分了，这是一个非常复杂和困难的技术领域。讯飞和百度也都在自身语音识别能力基础上，开放了自然语言理解的能力。用户甚至可以在云端自定义自己的语义，这样识别后不仅能拿到一个纯文本识别结果，还可以获取结构化的分析后结果。我对 WhatIsWhat 这个 APP 的要求很简单，只需要理解“什么是什么？”这个问题即可。我没有用到百度的语义理解能力，而是简单地写了一个正则表达式匹配，主要是希望后续能充分利用语音识别的 Partial Result 对性能进行优化。问题回答目前很多搜索引擎（比如谷歌、百度）对语音发起的搜索，在给出搜索结果的同时，往往附带着一句或者几句语音的回答。但搜索引擎针对的往往是开放领域的搜索词，所以语音回答的覆盖比例并不高。限定到“什么是什么”这个特定的领域，百度百科的满足比例就高了。尤其是秒懂百科，使用视频的方式讲解百科词条，样式非常新颖。在这个最初的版本中，我只采取了秒懂百科的结果。也就是先抓取百科结果页，提取秒懂百科链接，然后打开秒懂百科结果页。为了让播放视频更方便，我用 WebView 执行了一个自动的点击事件，这样第一条视频结果在打开页面后会直接播放，不需要再点击。演示视频下面是“WhatIsWhat”这个 APP 的演示视频，请点击查看，因为录音设备的冲突，视频的后半部分没有声音，敬请谅解。什么是什么，视频演示http://www.iqiyi.com/w_19ru8huel1.html源代码地址你可以到 solrex/WhatIsWhat 这个链接查看“WhatIsWhat”的全部源代码。代码总共 700 多行，不多，需要有一点儿 Android 和 Java 基础来理解。总结WhatIsWhat 是从一个朴素 idea 出发的非常简单的 APP，这个产品集成了“语音识别、语音合成、语音唤醒、自然语言理解”几类人工智能服务。想要实现 Jarvis，可能还需要人脸识别、智能对话、开放硬件 API 等几项能力，并且需要一定的工程能力将这些功能整合起来。虽然 WhatIsWhat 与 Jarvis 的复杂度不可比，但它演示了如何使用公共领域已有的人工智能服务，构造一个落地可用的产品。更重要的是，它便宜到不需花一分钱，简单到只有 700 行代码。就像 Zuckerberg 所说“In a way, AI is both closer and farther off than we imagine. ”虽然很多人并没有意识到语音交互这类 AI 技术能够那么地触手可及，但技术的开放对 AI 应用普及的影响是巨大的。在这一点上，国内的人工智能产业巨头们做得并不差。这篇文章，WhatIsWhat 这个 APP，只能帮你迈出第一步，希望不远的将来，我们能够有更多的开放 AI 服务，使得搭建自己的专属 Jarvis 变成一件轻易而举的事情。编辑于 2016-12-24 15:45赞同 7添加评论分享收藏喜欢收起曾港 关注我一直想做一套类似钢铁侠的人体外骨骼有兴趣合作？我扣扣是1414277956发布于 2016-04-04 15:18赞同2 条评论分享收藏喜欢收起写回答1 个回答被折叠（为什
如何评价扎克伯格自己写的 Jarvis AI？ - 知乎
如何评价扎克伯格自己写的 Jarvis AI？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册Facebook马克·扎克伯格（Mark Zuckerberg）人工智能Jarvis如何评价扎克伯格自己写的 Jarvis AI？关注者2,773被浏览415,701关注问题写回答邀请回答好问题 1添加评论分享37 个回答默认排序知乎用户900赞了....无以回报更新几个好玩的评论吧比尔盖茨为朋友两肋插刀......Jarvis能不能订汉堡并且从后门送进来.Mark说我可以帮你做一个出来这个回答是来源mark老婆里面的视频,在初期Jarvis只能听懂Mark自己的声音,他老婆说要把温度调高的时候不好使,mark说现在AI听不懂你的声音. 他老婆给了他一个表情(自行体会),Mark赶紧说 我马上改.....这个程序员应该都懂...sudo joke这个是说mark有一套战衣有一个评论找不到了,是问Mark赶紧把他地下室的钢铁侠放出来,mark回复"I dont know what u talking about wink wink"一晚上收获了这么多赞,实在不好意思.本来只是不想复习考试逛fb,第一时间看到Mark文章随便说两句. 只好在下面多总结几段了原答案我读了他的文章(https://www.facebook.com/notes/mark-zuckerberg/building-jarvis/10154361492931634?hc_location=ufi),今天他发布了DEMO video(https://www.facebook.com/zuck/videos/10103351034741311/). 他一个CEO用自己的业余时间做出了一个像模像样的AI(用的摩根弗里曼的声音非常的sexy). 虽然大部分技术都是现成的(facebook开源项目和一些自动化家用硬件),有点像当年的iphone. 但是他整合技术和学习能力实在太恐怖了. 他文章里写到自己上次写IOS 的app是 2012年. 现在写肯定是从头学起. 一个比较好玩的用处在于用摄像头和图像识别技术来自动让自己的亲人朋友进门.To do this, I installed a few cameras at my door that can capture images from all angles. AI systems today cannot identify people from the back of their heads, so having a few angles ensures we see the person's face. I built a simple server that continuously watches the cameras and runs a two step process: first, it runs face detection to see if any person has come into view, and second, if it finds a face, then it runs face recognition to identify who the person is. Once it identifies the person, it checks a list to confirm I'm expecting that person, and if I am then it will let them in and tell me they're here.文章里列举了很多他遇到的问题,比如AI需要知道他们在房间的哪个地方,这样说"turn on the light"的时候不会不知道开哪个房间的灯. 如何自己做一个联网的toast machine 由于现有的toast机都不联网,所以他自己改装了一个1950的toast机Further, most appliances aren't even connected to the internet yet. It's possible to control some of these using internet-connected power switches that let you turn the power on and off remotely. But often that isn't enough. For example, one thing I learned is it's hard to find a toaster that will let you push the bread down while it's powered off so you can automatically start toasting when the power goes on. I ended up finding an old toaster from the 1950s and rigging it up with a connected switch. Similarly, I found that connecting a food dispenser for Beast or a grey t-shirt cannon would require hardware modifications to work.还有一个技术上的限制就是语音识别,当人和人说话对比人和机器说话是完全不同的. 如果用机器学习的算法从Google上拿人和机器说话的数据来学习的话 结果可能比用facebook的数据更差. Another interesting limitation of speech recognition systems -- and machine learning systems more generally -- is that they are more optimized for specific problems than most people realize. For example, understanding a person talking to a computer is subtly different problem from understanding a person talking to another person. If you train a machine learning system on data from Google of people speaking to a search engine, it will perform relatively worse on Facebook at understanding people talking to real people. In the case of Jarvis, training an AI that you'll talk to at close range is also different from training a system you'll talk to from all the way across the room, like Echo. These systems are more specialized than it appears, and that implies we are further off from having general systems than it might seem.在他的总结里面,他也清楚的认识到了现有AI技术的不足I've previously predicted that within 5-10 years we'll have AI systems that are more accurate than people for each of our senses -- vision, hearing, touch, etc, as well as things like language. It's impressive how powerful the state of the art for these tools is becoming, and this year makes me more confident in my prediction.At the same time, we are still far off from understanding how learning works. Everything I did this year -- natural language, face recognition, speech recognition and so on -- are all variants of the same fundamental pattern recognition techniques. We know how to show a computer many examples of something so it can recognize it accurately, but we still do not know how to take an idea from one domain and apply it to something completely different. To put that in perspective, I spent about 100 hours building Jarvis this year, and now I have a pretty good system that understands me and can do lots of things. But even if I spent 1,000 more hours, I probably wouldn't be able to build a system that could learn completely new skills on its own -- unless I made some fundamental breakthrough in the state of AI along the way. In a way, AI is both closer and farther off than we imagine. AI is closer to being able to do more powerful things than most people expect -- driving cars, curing diseases, discovering planets, understanding media. Those will each have a great impact on the world, but we're still figuring out what real intelligence is.Overall, this was a great challenge. These challenges have a way of teaching me more than I expected at the beginning. This year I thought I'd learn about AI, and I also learned about home automation and Facebook's internal technology too. That's what's so interesting about these challenges. Thanks for following along with this challenge and I'm looking forward to sharing next year's challenge in a few weeks.Mark说他自己花了100个小时做这个Jarvis 的AI, 就算再多花1000个小时他觉得也做不出来一个可以自主学习的高级AI除非AI技术有重大突破. 他通过做一个个人project已经清楚的认识到目前AI的各种问题.另外这篇文章也算是介绍了facebook目前开源东西项目,吸引广大高端码农来AI.给我的感觉就是,就算Facebook倒了,就算当年他没有创业facebook.他也一定可以做出别的成功的产品,并不是因为抄袭了谁的想法而成功的.这是一个学习能力和执行力很强大的天才. 编辑于 2016-12-22 23:09赞同 173577 条评论分享收藏喜欢收起宋一松这里已停更，上别处找我吧 关注Zuck所做的Jarvis AI 很好地展示了人工智能技术目前所处的阶段：人工智能领域到目前为止的成果已经远超大多数人的预料，但与此同时，我们离电影中那种「真正的智能」还很远。先说Zuck到底做了个什么东西。简单讲，他搞了个智能家居领域的Slack。只不过Slack作为中间层，一端是人输入的基于关键字的简单指令，而另一端是第三方软件应用。而Jarvis AI一端是人输入的自然指令，另一端是家居设备。最为核心的人工智能模块，就是用于把人输入的自然指令，转化成为机器指令。目前Jarvis能完成的一些简单任务：个性化推荐：比如基于Zuck的喜好播放音乐，不算稀奇人脸识别：通过摄像头识别出人脸，并通过比照Facebook上的好友认出是谁对文字做基本的理解：主要还是通过检索关键字语音识别：能处理符合句式结构的简单语音，但还无法理解太口语化的句子虽然这些任务每一个单看都很初级，但组合起来却十分强大。这部分在Zuck的视频中各种展示就不多介绍了。但另一方面，Jarvis AI的不足也显示了目前人工智能领域还有待突破的地方。Jarvis所用到的技术，无论是语音识别还是人脸识别，本质上都是模式识别和匹配。这样作出的AI严重依赖喂给它的数据是什么样子的，不太能举一反三。在Jarvis上的体现就是它无法理解太口语化的句子。这个问题几乎困扰着每一个人工智能的重量级应用，比如无人车。造一辆知道红灯停绿灯行的无人车很容易，但造一辆像人一样，在遇到未曾见到过的突发状况中，能动用自己以往的经验举一反三作出最安全的决策的无人车很难。如果无人车只会处理自己见过的路况和突发状况，那无人车永远没有正式上路的那一天。这大概也是Zuck在造了Jarvis之后对当前AI领域的判断：AI离我们既近又远。它已经能做很多有意义的事，其中的某些很快就会比人类自己做得更好。但与此同时，我们还在摸索真正的智能是什么。顺带着，Zuck还说些其他的体会：家用电器的物联网程度还不够，且缺乏统一的接口供开发者使用。在与AI的沟通中，打字比语音的频率要高得多。因而聊天应用将会是AI的主要交互界面之一。即使在智能家居这个特定领域，智能手机也是一个不可或缺的交互端口。最后贡献几个彩蛋。Zuck之前曾在FB上发帖问大家应该用谁的声音给Jarvis配音。有人回复Hodor，Zuck说Jarvis不能只会说Hodor. 最后他选了摩根弗里曼的声音。有FB同事说Zuck从哪来的时间搞这个AI，Zuck回复说他没看西部世界，还说人生在于取舍 (Life is about trade-offs). 同样的话他之前在别人问他“两个总统候选人都不理想该怎么办”的时候也说过。很多人联带着好奇Zuck的技术水平怎么样。这里有两个Zuck早期的tech talk视频 （https://www.youtube.com/watch?v=xFFs9UgOAlE, https://www.youtube.com/watch?v=UH7wkvcf0ys) 一个是2005年在哈佛介绍FB的技术架构，一个是2008年介绍参与开发的Memcached (这大概是Zuck在公司参与的最后一个大型技术项目)。能看出Zuck那时候的演讲能力还很一般，深感他进步节奏之快。编辑于 2016-12-22 17:13赞同 15621 条评论分享收藏喜欢