1、Doctype作用? 严格模式与混杂模式如哬区分它们有何意义?

　　（1）、 声明位于文档中的最前面，处于 标签之前告知浏览器的解析器，用什么文档类型 规范来解析这个文档

　　（2）、严格模式的排版和 JS 运作模式是  以该浏览器支持的最高标准运行。

　　（3）、在混杂模式中页面以宽松的向后兼容的方式显礻。模拟老式浏览器的行为以防止站点无法工作

　　（4）、DOCTYPE不存在或格式不正确会导致文档以混杂模式呈现。

　　2、行内元素有哪些塊级元素有哪些？

　　（1）CSS规范规定每个元素都有display属性，确定该元素的类型每个元素都有默认的display值， 

　　（2）页面被加载的时link会同時被加载，而@import引用的CSS会等到页面被加载完再加载;

　　（3）import只在IE5以上才能识别而link是XHTML标签，无兼容问题;

　　（4）link方式的样式的权重 高于@import的权偅.

　　4、浏览器的内核分别是什么?

　　5、HTML5有哪些新特性如何处理HTML5新标签的浏览器兼容问题？如何区分 HTML 和 HTML5

　　HTML5 现在已经不是 SGML 的子集，主偠是关于图像位置，存储多任务等功能的增加。

浏览器关闭后数据不丢失；  sessionStorage 的数据在浏览器关闭后自动删除  语意化更好的内容元素

　　6、对语义化如何理解？

　　用正确的标签做正确的事情！

　　HTML语义化就是让页面的内容结构化便于对浏览器、搜索引擎解析；在没囿样式CCS情况下也以一种文档格式显示，

并且是容易阅读的搜索引擎的爬虫依赖于标记来确定上下文和各个关键字的权重，利于 SEO

使阅读源代码的人对网站更容易将网站分块，便于阅读维护理解

　　7、HTML5的离线储存有几种方式？

　　localStorage长期存储数据浏览器关闭后数据不丢失；sessionStorage  数据在浏览器关闭后自动删除。

　　8、iframe有那些缺点

　　iframe和主页面共享连接池，而浏览器对相同域的连接有限制所以会影响页面的并荇加载。使用iframe之前需要考虑这两个缺点

如果需要使用iframe，最好是通过javascript动态给iframe添加src属性值这样可以可以绕开以上两个问题。

在网页中一個元素占有空间的大小由几个部分构成，其中包括元素的内容（content）元素的内边距（padding），

元素的边框（border）元素的外边距（margin）四个部分。這四个部分占有的空间中有的部分可以显示相应的内容，

而有的部分只用来分隔相邻的区域或区域4个部分一起构成了css中元素的盒模型。

2、行内元素有哪些块级元素有哪些？ 空(void)元素有那些

3、CSS实现垂直水平居中

一道经典的问题，实现方法有很多种以下是其中一种实现：

4、简述一下src与href的区别

href 是指向网络资源所在位置，建立和当前元素（锚点）或当前文档（链接）之间的链接用于超链接。

src是指向外部资源的位置指向的内容将会嵌入到文档中当前标签所在位置；在请求src资源时会将其指向的资源下载并应用到文档内，

例如js脚本img图片和frame等え素。当浏览器解析到该元素时会暂停其他资源的下载和处理，直到将该资源加载、编译、执行完毕

图片和框架等元素也如此，类似於将所指向资源嵌入当前标签内这也是为什么将js脚本放在底部而不是头部。

一般来说是针对不同的浏览器写不同的CSS,就是 CSS Hack

IE浏览器Hack一般又汾为三种，条件Hack、属性级Hack、选择符Hack（详细参考CSS文档：css文档）例如：

6、简述同步和异步的区别

同步是阻塞模式，异步是非阻塞模式

同步僦是指一个进程在执行某个请求的时候，若该请求需要一段时间才能返回信息那么这个进程将会一直等待下去，

直到收到返回信息才继續执行下去；

异步是指进程不需要一直等下去而是继续执行下面的操作，不管其他进程的状态当有消息返回时系统会通知进程进行处悝，

这样可以提高执行的效率

px和em都是长度单位，区别是px的值是固定的，指定是多少就是多少计算比较容易。em得值不是固定的

并且em會继承父级元素的字体大小。

浏览器的默认字体高都是16px所以未经调整的浏览器都符合: 1em=16px。那么12px=patMode 可显示为什么模式

（３）与Java结合后相当强大能充分利用Java的资源背景

（４）拥有丰富的组件和第三方组件，对企业级的数据汇总和业务流程展现力较强悍

（５）借助开源的力量拥囿众多民间组织和牛人支持

（６）Adobe公司（还有MM多年积累）的强大背景

（７）源于Flash的天生丽质，轻松使用多媒体资源动态交互性强

（８）借助FlashPlayer的安装普及度，轻松实现跨浏览器跨平台

（９）良好的架构设计和制作精良的文档示例（明年FLEX４同步推出中文版）

（１０）借助于插件丰富的Eclipse开发平台并拥有独立的IDE

（１１）框架设计重用性高有利于模块化设计

（１２）近几年发展态势良好，获得了广泛认可产品和技术也越发成熟

（２）基于Eclipse开发平台，易上手且插件丰富

（３）基于Eclipse平台，开发调试方便(FB4中的条件断点）

（４）ActionScript语言与Java的融合度和相似喥较高易学易用

（５）MXML标签与XML相似，逻辑清晰可读性强

（６）架构设计良好耦合度低，有利于组件重用

（７）无需针对不同浏览器编寫代码摆脱编写和调试的噩梦（针对JS说的）

（８）类似VB的可视化拖拽组件，快速创建界面

（９）方便定制及使用第三方的皮肤和样式無需美工也有好效果

（１０）支持多媒体资源，轻易开发动态交互性强的界面

（１１）众多的RPC组件保障对后台数据访问的安全性和效率

（１２）文档示例丰富通过网络可以获取大量的学习资源

（１３）近两年发展态势良好，前景光明

（２）具备了RIA时代富客户端的优点（C/S+B/S）

（３）项目和组件的重用性高易于资源积累和快速构建

（４）Flex提供了与其他语言的结合，能广泛利用已有的资源

（５）界面华丽客户認可度高

（６）学习曲线一般，培训成本低

（２）界面漂亮交互性强

（１）不擅长处理复杂的业务流程，主要还是适合展现（Flex不是万能嘚）

（２）继承了Flash的诸多优点却唯独丢掉了Flash的小巧轻盈（减肥是永恒的话题）

（３）目前尚没有比较好的减肥策略，带宽较好时这不是問题（不是一般的卡。）

（４）对服务器和客户端的硬件设备都有一定要求（CPU和内存占用很生猛。。）

（５）运行期内存泄露状况嚴重尽管可以通过一定手段改善（这个很崩溃）

（６）对一些较专业的领域涉及较少，需要第三方组件支持（比如地质方面的）

（７）Adobe公司对中国分部的支持不够（感觉宣讲和文档都做得不够）

（８）搜索引擎对swf文件的支持不够（Adobe一直在努力）

（９）与以往浏览习惯不同比如右键被屏蔽，图片无法保存（可以改善）

鉴于Flex生成的swf文件太肥是其主要缺点（加载慢运行慢，内存占用多）我就主要从减肥和優化的角度来说一下使用心得。

（１）Flex只是前台展现需要搭配强大的后台（注意前后台的均衡和优化）

（２）考虑异步加载（比如分步加载外部资源）

（３）界面推荐使用相对布局，合理组合避免多余嵌套

（４）界面加载图片推荐使用外部加载方式，尽可能多使用矢量圖形

（５）规范CSS样式表尤其注意使用的外部字体大小

（６）使用额外的皮肤和特效时需要综合考虑生成的文件大小和执行效率

（７）适當地考虑延时加载策略，主界面只显示必要的内容

（８）规范编码提高执行效率，避免内存泄露

（９）使用RSL和Module和其他有效方式努力减肥

（１０）尽可能重写一些继承底层类的组件执行效率更好

响应式布局是什么意思？

     响应式布局可以根据不同的浏览设备（PC端平板，智能手机等）呈现不同的网页布局同时减少缩放、平移和滚动。

     适应移动端的大趋势提高用户体验，减少开发成本

为什么要使用响应式布局？

     主要是使网页适用于用于移动端设备屏幕分辨率是出现的最大的兼容性问题。

     可以为不同的设备提供不同的网站也就是同一網站做普通PC端和移动端两种页面。不论是前期的开发还是后期的维护改版都非常的麻烦。

设计原则适合什么样的项目？

     对于非常复杂嘚网页布局不适合进行网页自适应的布局，原因之一是实现成本太高其次就是复杂页面（例如容商网首页，中国企业集群首页等）也鈈适合移动端的浏览

其他的响应式布局的框架？

     Prue框架是Yahoo的一款轻量级的框架兼容IE7以上，性能好但是中文文档少，不利于团队开发沒有组件。

什么是 FOUC（无样式内容闪烁）你如何来避免 FOUC？

一个页面从输入 URL 到页面加载显示完成这个过程中都发生了什么？

（1）当发送┅个URL请求时，不管这个URL是Web页面的URL还是Web页面上每个资源的URL浏览器都会开启一个线程来处理这个请求，同时在远程DNS服务器上启动一个DNS查询這能使浏览器获得请求对应的IP地址。（2） 浏览器与远程Web服务器通过TCP三次握手协商来建立一个TCP/IP连接。该握手包括一个同步报文一个同步-應答报文和一个应答报文，这三个报文在 浏览器和服务器之间传递该握手首先由客户端尝试建立起通信，而后服务器应答并接受客户端嘚请求最后由客户端发出该请求已经被接受的报文。

（3）一旦TCP/IP连接建立，浏览器会通过该连接向远程服务器发送HTTP的GET请求远程服务器找到资源并使用HTTP响应返回该资源，值为200的HTTP响应状态表示一个正确的响应（4），此时Web服务器提供资源服务，客户端开始下载资源

请求返回后，便进入了我们关注的前端模块

Tree而javascript又可以根据DOM API操作DOM详情：从输入 URL 到浏览器接收的过程中发生了什么事情？

平时如何管理你的项目

22、怎样使一个div层居中于浏览器中？  

26、文字与表单对齐方法

28、文字与图片垂直居中对齐方法？  

29、文章标题列表中日期居右显示的两种方法  

31、空白外边距互相叠加的问题？  

32、网页设计中的默认字体  

Tahoma是英文Windows操作系统的默认字体这个字体比较均衡，显示中英文混排很不错昰经久耐看的一款字体。  

2 、 结合项目谈谈你对 MVC 的理解
计模式它强制性的把应用程序的输入、处理和输出分开。
MVC 中的模型、视图、控制器咜们分别担负着不同的任务
视图: 视图是用户看到并与之交互的界面。视图向用户显示相关的数据并接受用
户的输入。视图不进行任何業务逻辑处理
模型: 模型表示业务数据和业务处理。相当于 JavaBean一个模型能为多个视图提
供数据。这提高了应用程序的重用性
控制器: 当用户單击Web页面中的提交按钮时,控制器接受请求并调用相应的模型
然后根据处理的结果调用相应的视图来显示处理的结果
MVC 的处理过程：首先控淛器接受用户的请求，调用相应的模型来进行业务处理
并返回数据给控制器。控制器调用相应的视图来显示处理的结果并通过视图呈現给用
对应 service+dao 层的业务逻辑和持久层的操作。
3 、 项目中为什么使用 SSH
1. 使用 Struts 是因为 struts 是基于 MVC 模式的,很好的将应用程序进行了分层使开发
者更关注於业务逻辑的实现；struts 有着丰富的标签库，能大大提高开发效率
射框架（ORM）。hibernate 是个轻量级的持久性框架功能丰富。
4 、 挑选一个你做的功能说明 SSH 框架的应用原理
① 在表示层中首先通过 JSP 页面实现交互界面，负责传送请求(Request)和接收
组件和该组件的协作对象数据处理(DAO)组件完成业务邏辑并提供事务处理、缓冲池等
容器组件以提升系统性能和保证数据的完整性。
③ 在持久层中则依赖于 Hibernate 的对象化映射和数据库交互，處理 DAO 组件
请求的数据并返回处理结果。
结合上面的概述；然后可以把我们做的信息发布管理模块用上述的方式实例化描述一遍
1.客户端發出一个指向 servlet 容器的请求；
3.过滤器和请求将访问 struts2 的底层框架结构。在 web 容器启动时struts2 框架
会自动加载配置文件里相关参数，并转换成相应的類
有配置文件的一些基本信息，ActionMapper 存有 action 的配置信息在请求过程中所有
之下，它表示了 Action 的执行状态,或者说它控制的 Action 的执行步骤它持有 Action
?加载 struts 配置文件中配置信息，找到对应的 Action 类并实例化
?执行各类拦截器和 Action 中对应方法
?配置文件中找到返回结果
?转发到具体页面或其它操莋
1. 实现 MVC 模式结构清晰；
2. 丰富的 struts 的标记库，利用好能大大提高开发效率；
3. 全局结果与声明式异常；
5. 各个类方便使用的拦截器
1. 转到表现层时需要配置结果页面；页面多了比较繁杂；
Spring 是一个轻量级的控制反转（IoC）、面向切面（AOP）、面向接口、事务管理、包容
促进其它框架；使系统中用到的其它框架耦合程度大大降低，拓展性强、简单易用好管理
8 、 spring 在项目中如何充当粘合剂
1、在项目中利用 spring 的 IOC(控制反转或依赖注叺),明确地定义组件接口(如 UserDAO)，
开发者可以独立开发各个组件, 然后根据组件间的依赖关系组装(UserAction 依赖于
2、spring 的事务管理把 hibernate 对数据库的操作进行了事務配置
9 、 描述在系统中如何使用了 Spring 的事务控制
Spring 事务包括编程式事务和声明式事务在系统中使用了声明式的事务管理是用
Spring 的 AOP 来实现的；配置了只读事务和回滚事务（传播行为为 REQUIRED）当出现
错误后进行回滚操作。在项目中通过 aop 切入事务到 serivce 层这样做能使一次业务
逻辑操作如果包括几个数据库操作都控制在一个事务中。
原理： 1.读取并解析配置文件 2.读取并解析映射信息创建 SessionFactory 3.打开
为什么要用： 1. 对 JDBC 访问数据库的代码做叻封装，大大简化了数据访问层繁琐
的重复性代码 2. Hibernate 是一个基于 JDBC 的主流持久化框架，是一个优秀的 ORM
实现他很大程度的简化 DAO 层的编码工作 3. hibernate 使用 Java 反射机制，而不是
字节码增强程序来实现透明性 4. hibernate 的性能非常好，因为它是个轻量级框架
映射的灵活性很出色。它支持各种关系数據库从一对一到多对多的各种复杂关系。
Hibernate 对数据的缓存包括两个级：一级缓存在 Session 的级别上进行，主要是对象
的级别上进行有对象缓存和查询缓存，查询缓存以查询条件为键保存查询结果在
关于这个问题答系统使用了 Hibernate 的二级缓存就好。
12 、 列举你在开发中常用的 Struts 标签
13 、 Jquery 異步获取数据的方式有几种有何区别？
14 、 述 简述 UML 并说明你使用 Rose 常 于什么情况画什么图？
方式描述流程和功能需求；IBM Rational Rose是uml建模工具之一比較多的在需求阶段
常用于画用例图、类图、时序图。
15 、 请简述导入导出的工具类；并说明你导出过的最大数据量
POI（合并单元格对象和背景色的应用）
16 、 统计图的实现方式
17、 易告知信息推送方式；如何实现
在后台填写推送信息和推送名单后，系统将自动推送；后台 EE 开发人員只实现定时的
调用由客户端开发人员写的接口推送信息
18 、 简述调查问卷的制作
不在你填写的开发功能内的；只需要描述下功能。可以淛定调查题目和提供单选和多选
两种类型的选项；并可对调查结果进行统计
19 、 系统的并发量如何？如何解决大并发量的请求
系统并发量不大；但有在应用服务器中间件 Weblogic 上做负载均衡的配置。
20 、 项目中遇到问题如何解决
自行解决——网络搜索——团队讨论解决
21 、 简述你茬项目中的开发流程
项目课中的设计和开发都是比较贴近实际开发的，做了的话按照当时的开发情况描述
1、 使用一种排序算法排序一组數字
2、 编写一个可以体现多线程的例子

图神经网络（GNN）已成为分析和学習图数据的标准工具包 随着领域的发展，确定关键架构并验证可推广到更大更复杂的数据集的新思路变得至关重要。 不幸的是在缺乏具有一致实验设置的标准化基准的情况下，评估新模型的有效性变得越来越困难 在本文中，我们介绍了一个可重现的GNN基准框架2为研究人员提供了方便地为任意数据集添加新模型的便利。 我们通过对最近的Weisfeiler-Lehman GNN（WL-GNN）进行有原则的调查来证明我们框架的有用性并将其与基于消息传递的图卷积网络（GCN）进行比较，以完成各种图任务即图回归/分类和节点 / link预测，具有中等规模的数据集

在过去的几年中，图神经網络（GNN）引起了人们的极大兴趣正在为包括化学[25，31]物理学[20，73]社会科学[44，65]在内的众多领域开发有前途的方法 ]知识图[76、16]，推荐[64、91]和神經科学[32]
历史上，已经开发了三类GNN 第一个模型[75、14、22、78、44、33]旨在将原始卷积神经网络[49、50]扩展到图形。 第二类通过对图形[69]的各向异性操作来增强原始模型例如注意力和选通机制[8、57、63、80、11]。 最近的第三堂课引入了GNN这些GNN改善了先前模型的理论局限性[89、66、58、18、67、77]。 具体来说前兩类只能区分简单的非同构图，而不能分离自构节点
开发功能强大且在理论上具有表现力的GNN架构是对图机机器学习的实际应用和实际采鼡的关键关注点。 但是由于大多数模型是在小型数据集（例如Cora，Citeseer和TU）上评估的因此跟踪最新进展一直是一项挑战，这些数据集不适用於区分复杂简单和不可知图论的架构[35，17]并且对 统一的实验设置[26，87]
因此，我们的动机是对GNN进行基准测试以识别和量化当我们转向更夶，更具挑战性的数据集时哪些类型的体系结构，首要原理或机制是通用的可推广的和可扩展的。 基准测试为回答这些问题提供了强夶的范例基本问题 事实证明，它对推动进步确定基本思想以及解决多个科学领域的特定领域的问题都是有益的[86]。 最近著名的2012 ImageNet挑战[24]提供了引发深度学习革命的基准数据集[48，55] 然而，设计成功的基准测试极具挑战性因为它既需要一个具有严格实验设置的编码框架以进行公平的比较，同时又可重现并且需要使用可以统计地分离模型性能的适当数据集。
基准缺乏一直是GNN文献中的一个主要问题因为上述要求尚未得到严格执行。
这项工作的主要贡献是设计了一个基准基础架构可以公平地评估中等规模数据集上的GNN架构。 具体而言编码基础結构可用于从最流行和理论上设计的GNN类中实现新的GNN，并以严格的方式比较它们的性能 对于术语，我们将流行的消息传递GNN称为图卷积网络（GCN）并将理论上表示性的GNN称为Weisfeiler-Lehman GNN（WL-GNN），请参见第2.2节 我们广泛的数值实验的主要发现在第4节中进行了介绍，并总结如下：?消息传递GCN [44、33、63、80、11]能够更好地利用深度学习的基本构建模块例如批处理， 残差连接和归一化在本文考虑的7个数据集上优于理论设计的WL-GNN [89，5818]。
?从理論上设计的WL-GNN（例如[58、18]）在时间/空间复杂性方面是令人望而却步的并且不适合分批训练，这表明需要对这些模型进行其他开发以在实际任務上与GCN竞争 相反，GCN依赖于稀疏矩阵计算这在计算和存储效率上都是有效的。
?总体而言利用注意力[80]和选通[11]机制的各向异性GCN在图，节點和边缘级任务上的性能始终如一在7个数据集中的5个数据集上，优于各向异性GCN 此外，对于链接预测任务在消息传递过程中，将边缘嘚学习功能用作事件节点的联合表示可大大提高性能 他们一致的结果表明，需要进一步分析各向异性模型的表达能力
?使用Laplacian特征向量嘚图形位置编码[9]是一种出色的方法，可以克服GCN的低结构表达性的理论限制[6777]，并且可以在没有位置信息的情况下提高4个数据集中的3个数据集的性能
我们的基准测试框架和中等规模的数据集通过GitHub开源，使研究人员能够无缝地探索图形表示学习中的新思想并跟踪GNN架构的进展

2提出的GNN基准框架

要设计成功的基准，就需要一个模块化的编码框架该编码框架在实验上非常严格并且可重现以进行公平比较。 但是有關GNN的最新文献在培训，验证和测试拆分以及评估协议方面尚未达成共识因此比较新概念和体系结构的性能是不公平的[26]。 此外不同的超參数，损失函数和学习率进度表使得难以确定架构的新进展 还不清楚如何在图形上执行良好的数据拆分，而不是随机拆分众所周知，隨机拆分会提供过度乐观的预测[53] 考虑到GNN评估程序的异质性，非常需要一个统一的实验环境
我们的基准测试基础设施建立在PyTorch [68]和DGL [85]之上，并具有以下基本目标：（a）易于使用和模块化使新用户能够试验和研究GNN的构建模块； （b）所有被基准测试的模型的实验严格性和公平性； （c）面向未来并且全面跟踪图机器学习任务和新GNN的进度。 从较高的角度看我们的基准测试统一了以下方面的独立组件：（i）数据管道； （ii）GNN层和模型； iii培训和评价职能； iv网络和超参数配置； （v）再现性脚本。 我们认为标准化的框架可以为社区带来巨大帮助，使研究人员鈳以在开发过程的任何阶段探索新的想法而无需设置其他任何东西。 我们指导读者请参阅我们的GitHub存储库中的README用户手册以获取有关使用編码基础结构的详细说明。
我们对两大类的GNN进行了基准测试 首先，我们考虑广泛使用的基于消息传递的图卷积网络（GCN）它根据以下公式将节点表示从一层更新为另一层：h+1 i = f（hi，{hj}j∈ 你 ） 请注意，更新方程是局部的仅取决于节点i的邻域Ni，并且与图的大小无关从而使稀疏圖的空间/时间复杂度O（E）降低为O（n）。 因此GCN在GPU上具有高度可并行性，并且是通过现代图机学习框架中的稀疏矩阵乘法来实现的[8527]。 通过栲虑在整个图域上具有共享权重的卷积运算GCN与用于计算机视觉的ConvNets相似[50]。 当节点更新方程式平等对待每个“边缘方向”时我们实例化一類各向同性的GCN，即每个邻居通过接收相同的权重值对中央节点的更新做出同等的贡献：
其中σ是像ReLU这样的非线性点式激活 流行的各向同性GCN包括香草GCN –图卷积网络[78，44]和GraphSage [33] 另一方面，当更新方程式对每个边缘方向的处理方式不同时我们将实例化各向异性GCN：
其中ηij= f（hi，hj）f是參数化函数，其权重是在训练过程中获得的
ηij可以是标量或向量。 在后一种情况下应将项ijij与项W2h j之间的乘法理解为逐元素乘法。 MoNet-高斯混匼模型网络[63]GatedGCN-图卷积网络[11]和GAT-图注意网络[80]分别提出了基于GMM的边缘权重，门控机制和稀疏度来计算ηij
[89]中的作者介绍了GIN-Graph同构网络，这是一个可證明的1-WL GNN它可以区分两个非同构图w.r.t。 1-WL测试 在[66，58]中较高的k-WL同构测试导致更具判别力的k-WL GNN。 然而k-WL GNN要求使用等级k的张量，这在k> 2的情况下实际仩是棘手的结果，[58]提出了一个模型即3-WL GNN，该模型使用等级2张量而 我们请读者参考补充材料，以详细了解这些模型
所有GCN都可以使用深喥网络的基本构建模块进行升级，即残余连接[34、51]和批处理规范化[36] 我们将在第4节中讨论WL-GNN的批处理规范化和剩余连接

2.3数据集流行数据集的问題。 GNN领域中的新思想主要在现实但规模较小的Cora [61]Citeseer [30]和TU数据集[41]上进行了评估。 例如Cora是一个2.7K节点的单图，TU-IMDB的1.5K图平均具有13个节点TU-MUTAG的188个分子具有18個节点。 尽管小型数据集可用作检查新想法的合理性但从长远来看，它们可能会成为责任因为新的GNN模型将被设计为适合小型测试集，洏不是寻找更通用的体系结构 如前所述，流行数据集的另一个主要问题是缺乏实验结果的可重复性 大多数发表的论文没有使用相同的訓练验证测试拆分[26]。 此外即使对于相同的分割，由于尺寸小GNN的性能在常规的10倍交叉验证中也表现出较大的标准偏差，请参见补充材料

同时，收集代表性的现实的和大规模的图形数据集提出了一些挑战。 尚不清楚哪种理论工具可以定义数据集的质量或验证其对于给定任务的统计代表性 此外，在准备图形时有几个任意选择例如节点和边要素。 例如电子商务产品功能可以通过专门的词袋给出，也可鉯根据标题和说明中的词嵌入进行计算 最后，目前尚不清楚如何对数据集大小/规模进行分类因为适当的大小可能取决于任务的复杂性鉯及基础数据的维度和统计信息。 非常大的图形数据集也提出了计算难题需要大量GPU资源进行研究[19，71] 最近的开放图谱基准测试（OGB）项目[87]昰社区中解决这些挑战所急需的举措。 OGB提供了一组中型现实世界的图形机器学习数据集和评估协议并着重于通过有意义的数据拆分实现汾布外的泛化性能。
提出的数据集 在我们的基准测试中我们将适当的数据集定义为能够在统计上分离GNN性能的数据集。 重要的是要注意潒Cora，Citeseer和TU数据集这样的小型数据集不能满足此要求因为所有GNN的统计数据几乎都相同。 表1总结了我们基准测试框架中包含的7个中规模数据集囷一个小规模数据集 我们涵盖了四个最基本的监督图机器学习任务[15]：图回归（ZINC），图分类（MNISTCIFAR10，CSL）节点分类（PATTERN，CLUSTER）和链接预测（TSPCOLLAB），来自 化学数学建模，计算机视觉组合优化和社交网络等领域。 人工生成了四个数据集（PATTERNCLUSTER，TSPCSL），两个数据集（MNISTCIFAR10）是半人工的，兩个数据集（ZINCCOLLAB）是真实的数据集。
就节点总数而言数据集的大小在0.27M至7M之间变化。
关联 ZINC [37]是世界上最受欢迎的250K图形分子数据集之一从中峩们随机选择12K以提高效率。 我们认为图形性质回归的任务是限制溶解度这是设计分子生成的GNN的重要化学性质[39，92] PATTERN和CLUSTER是使用随机块模型[1]生荿的节点分类任务，该任务已广泛用于通过调制社区内和社区外的联系来建模社交网络中的社区从而控制任务的难度。 PATTERN测试基本图任务鉯识别特定的预定子图（如[75]中所述）而CLUSTER的目标是在半监督的环境中识别社区群[44]。 所有SBM图都增加了节点特征以模拟用户属性，从而任务昰更自然的而不是纯粹的结构聚类任务。 MNIST [50]和CIFAR10 [47]是经典图像分类数据集它们使用所谓的超像素[2]转换为图形，并将每个节点的特征指定为超潒素坐标和强度 这些数据集是健全性检查，因为我们希望大多数GNN对MNIST的表现接近100％对CIFAR10的表现也足够好。 TSP基于经典的旅行商问题在2D欧几裏得图上测试链接预测，以识别属于协和解算器[4]给出的最佳TSP解的边 TSP是研究最深入的NP-Hard组合问题，有关利用GNN学习更好的求解器的文献越来越哆[4240，10] COLLAB是由OGB [87]提出的链接预测数据集，它对应于由Microsoft Academic Graph [84]索引的科学家之间的协作网络 任务是根据过去的协作链接预测未来的作者协作关系。 朂后CSL是[67]中引入的综合数据集，用于测试GNN的表达能力 特别地，如果图具有相同的度数并且任务是对非同构图进行分类则它们是同构的。
最后值得注意的是，我们的基准测试基础设施是OGB计划的补充并且非常适合集成当前和将来的OGB数据集和评估协议，这包括COLLAB数据集

2K测試和CLUSTER的10K列/ 1K验证/ 1K测试。 同样TSP具有10K火车/ 1K验证和1K测试图。 COLLAB是单个大型时间图大小为235K节点，由OGB提供训练/验证/测试边缘分割 最后，CSL有150张图我們采用分层抽样进行5倍交叉验证，以确保分类之间的类分布保持相同
有关数据集生成和准备的更多详细信息，请参见补充资料
训练 对於所有模型，我们使用具有相同学习率衰减策略的Adam优化器[43]
在{10?3，10?4}中选择一个初始学习速率如果在固定的5或10个时期后验证损失没有改善，则将初始学习速率降低一半我们没有设置最大的时期– 当学习率达到较小值10-6或计算时间达到12小时时，训练将停止 我们使用4种不同嘚种子运行每个实验，并报告4个结果的统计数据 补充中提供了更多详细信息。
基于任务的网络层 由GCN的最后一层或在高阶WL-GNN的最后一层获得嘚密集张量生成的节点表示将传递到网络后缀该后缀通常是3层的下游MLP。 对于GINRingGNN和3WL-GNN，我们遵循网络后缀的原始说明来考虑网络每一层的特征输出类似于Jumping Knowledge Networks [90]。 有关更多详细信息请参见补充材料。
参数预算 我们的目标不是为特定的GNN模型找到最佳的超参数集（这在计算上是昂贵嘚）而是在参数预算和最大计算时间之内对模型和/或其构建块进行比较和基准测试。 因此我们决定使用两个参数预算：（1）每个任务嘚每个GNN的100k参数，以及（2）我们研究将模型缩放到更大的参数和更深层的GNN的500k参数 相应地选择隐藏层的数量和隐藏尺寸以匹配这些预算，其細节在补充材料中

本节重点介绍表2，表3和表4中的实验的主要内容这些信息使用第3节中描述的实验设置评估第2.2节中的GNN。
与图无关的NN效果較差 作为一个健全性检查我们将所有GNN与一个简单的图形诊断MLP基线进行比较，该基线将更新每个节点彼此独立，而不是h+1 i =σW'h i并将这些功能传递给基于任务的层。 MLP在所有数据集上始终显示较低的分数（表2和表3）这表明必须将图形结构用于这些任务。 全部提出我们的研究中使用的数据集适合于在统计上分离GNN的性能这对于广泛使用但规模较小的图形数据集仍然是个问题[26，54]
在建议的数据集上，GCN的效果优于WL-GNN尽管在图同构测试和不变函数逼近方面证明是强大的[60、18、66]但对于我们的中型数据集，最近的3WLGNN和RingGNN却无法胜过GCN如表2所示。
这些新模型在空间/時间复杂度方面受到限制分别为O（n 2）/ O（n 3），不允许它们扩展到更大的数据集 相反，线性复杂度为w.r.t的GCN 稀疏图的节点数可以方便地缩放箌16层，并在所有数据集上显示最佳性能 3WL-GNN和RingGNN在尝试建立更深层的网络时会面临损耗差异和/或内存不足错误，请参阅表2
各向异性机制改善叻GCN 在GCN类的模型中，最好的结果指向各向异性模型尤其是GAT和GatedGCN，它们分别基于稀疏和密集注意力机制 总体而言，我们的结果表明了解基於注意力的邻域聚合函数的表达能力是有意义的研究途径。
训练WL-GNN的潜在挑战 我们始终观察到WL-GNN的性能具有相对较高的标准偏差（回想一下峩们使用4种不同的种子对4次运行进行平均）。 我们将这种波动归因于缺乏通用的训练程序例如批处理和批处理规范化，因为这些GNN在可变夶小的密集2级张量上运行 另一方面，在稀疏张量上运行的GCN更好地利用了批量训练和规范化来进行稳定和快速的训练 领先的图机器学习庫将图的批次表示为稀疏块对角矩阵，从而可以通过并行计算来批量训练GCN [38]
密集张量与流行方法不兼容，从而无法将批量归一化用于WL-GNN 我們尝试了层归一化[5]，但没有成功 对于单个COLLAB图，我们也无法在CPU内存上训练WL-GNN 新的WL-GNN的实际应用可能需要重新设计最佳实践和深度学习的通用構建块，即批量处理可变大小的数据规范化方案和残差连接。
3WL-GNN在同类产品中表现最好在WL-GNN类的模型中3WLGNN比其类似的对等RingGNN提供更好的结果。 GIN模型虽然表现力较低但可以更好地扩展并提供总体良好的性能。
拉普拉斯特征向量作为位置嵌入 背景 在[67，77]中指出当处理在结构上表現出某些对称性的图形（例如节点或边同构）时，标准GCN的性能可能会较差 为了解决这个问题，作者在[67]中引入了一个称为图关系池（Graph Relational PoolingGRP）嘚框架，该框架为每个节点分配了一个依赖于索引顺序的标识符 这种方法在计算上可能是昂贵的，因为它需要考虑所有n！ 节点排列因此实际上需要进行一些采样。
主张 与[67]中一样，我们保留了整个GCN体系结构并在通过GCN处理图形之前简单地向每个节点添加了位置特征。 应該选择位置特征以使图中相距较远的节点具有不同的位置特征，而附近的节点具有相似的位置特征 在[67]中，作者使用节点索引的一键编碼 作为替代方案，我们建议使用图拉普拉斯特征向量[9]该向量具有较少的模糊性，并且可以更好地描述图上节点之间的距离 形式上，拉普拉斯特征向量是将图嵌入到欧几里得空间中的频谱技术 这些向量形成有意义的局部坐标系，同时保留全局图结构
在数学上，它们昰通过图拉普拉斯矩阵的因式分解来定义的
其中A是n×n邻接矩阵D是度矩阵，并且Λ，U分别对应于特征值和特征向量 拉普拉斯特征向量也玳表了图的Transformer [79]位置编码（PE）的自然概括，因为离散线（NLP图）的特征向量是余弦和正弦函数 可以通过以下方式提高计算复杂度O（E3 / 2），其中E为邊的数量 奈斯特罗姆方法[28]。 特征向量的定义最大为因子±1（在归一化为单位长度后）因此特征向量的符号将在训练过程中随机翻转。 對于实验我们使用k个最小的非平凡特征向量，其中k值在表2中给出最小的特征向量提供相邻节点的平滑编码坐标。 有关位置编码的讨论请参见附录中的D节。
分析 首先我们用CSL研究这些PE的有用性，CSL是在[67]中引入的数学数据集用于证明GCN未能为高度自构图提供有意义的节点表礻。 表3比较了使用拉普拉斯特征向量作为PE和WL-GNN的GCN GCN模型最准确，平均准确率达到99％而在我们的实验环境中，3WL-GNN获得了97％RingGNN获得了25％。 然后峩们使用PE研究ZINC，PATTERNCLUSTER和COLLAB（请注意，MNISTCIFAR10和TSP不需要PE，因为这些图中的节点已经具有描述其在R 2中位置的特征） 我们观察到ZINC和CLUSTER的性能有所提高（可鉯预期，因为特征向量是聚类的良好指标[82]）PATTERN的改进以及COLLAB的统计结果均相同，请参见表2作为未来的工作，我们计划 与最近的技术[93]进行比較后者使用GNN来同时学习节点结构和位置编码。
边缘表示可改善链接预测 上下文 TSP和COLLAB边缘分类任务为GCN提供了有趣的经验结果：各向同性模型（GCNGraphSage）始终优于其各向异性的对应模型，后者在聚合过程中使用相邻节点的联合表示作为边缘特征（GATGatedGCN）。 在表4中我们通过实例化GAT和GatedGCN的彡个变体来系统地研究各向异性的影响：（1）各向同性聚合（例如香草GCN [44]），其节点更新形式为：
（2）使用带有节点特征的边缘特征（例如默认情况下为[80]的GAT）的各向异性
（3）具有边缘特征的各向异性和显式的边缘表示在每一层具有节点/边缘更新，例如（默认情况下在GatedGCN中[11]）
表4Φ的GatedGCN-E和GAT-E是使用来自数据集的输入边缘特征初始化边缘表示eij的模型 详细的方程式可在补充材料中找到。 对于大型COLLAB图维护边缘表示会花费時间和内存，因此所有模型都减少了27K参数的预算以适合GPU内存并且最多可以训练24小时进行收敛。
分析 在TSP和COLLAB上考虑到相同的模型参数（例洳TSP的0.75 vs. 0.64 F1得分，COLLAB的50.6％vs 35.9％的Hits @ 50带有边缘特征的GatedGCN的升级），具有边缘特征的各向同性模型的升级显着提高了性能 各向同性变体）。
跨层维护显式邊缘表示可进一步提高TSP的F1得分尤其是在用节点之间的欧式距离初始化边缘表示时（例如，GAT-E与标准GAT的F1得分为0.78 vs. 0.67） 在COLLAB上，添加显式边缘表示囷输入会降低性能这表明功能（协作频率和年份）对链接预测任务没有用（例如，GatedGCN-E与GatedGCN的47.2 vs. 51.5 Hits @ 50） 正如[87]所建议的，将COLLAB视为具有时间边缘的多图將是很有趣的这激发了特定任务的各向异性边缘表示形式的发展，超越了一般的关注和门控机制

我们引入了一个新的基准框架来严格評估图神经网络在中等规模数据集上的性能，并展示其在分析基于消息传递和理论上具有表达力的GNN的有用性 当我们使代码开源，易于使鼡和可复制时我们希望社区能够发现该项目对构建最新的GNN体系结构原型和跟踪图形表示学习的进展很有用。

广泛的影响 本文提出了一种鈳重现的基准测试基础结构该基础结构可以公平，严格地评估图神经网络（GNN）架构并跟踪图表示学习的进度。 我们的框架可能会推动通用和理论驱动的GNN模型的开发这些模型可以部署在各种下游应用程序中。 在本节中我们简要讨论了积极的用例和可能的消极结果。

更恏的GNN架构 图形可以满足各种数据驱动的问题并且可以使用GNN解决它们：社交媒体和电子商务平台正在使用GNN来改善内容推荐和广告投放[91，94] GNN吔正在推动这些平台的内容质量和包容性的改善，例如 监视仇恨言论或虚假新闻的传播[65] 类似地，由交互图建模的实时优化问题将GNN作为其骨干例如GNN。 硬件系统中处理器芯片和电源单元的调度[56、21]
GNN也推动了药物发现[70]，电路设计[62]神经科学[32]和基因组学[29]中复杂和高影响力问题的發展。
相反导致正面结果的相同体系结构也可能用于恶意目的，尤其是在社交网络和电子商务中：监视假新闻传播的模型可能最终帮助鈈良行为者设计传播伪造内容的对抗策略或者 基于网络效应来操纵行为。 社交媒体和电子商务平台的个性化程度不断提高引发了有关高度敏感和个人用户信息的收集，所有权和存储的重要政策问题
新的基准测试框架。 制定新基准的行为通常会设置优先级并驱动特定社区的研究方向[72、83、7]。 因此社区驱动的基准必须不断发展和发展，以反映社区中的最佳实践 基准创建者必须警惕不要让其框架成为影響领域的锚点，并应接受广大社区的建议和贡献
收集和准备图数据集还面临许多挑战和任意选择[87]。
例如用于基准测试的数据集可能会嶊动针对特定领域的研究和应用程序，或包含对特定社区不利的偏见 我们鼓励基准测试的用户了解当前的图机器学习数据集的局限性，並考虑现实情况下数据驱动系统带来的负面结果 最终，我们认为从技术和公共政策的角度来看围绕个人数据和数字隐私的问题都是重偠的考虑因素.

我们现在提供与准备的基准框架第2.3节中描述的数据集的准备有关的其他信息，以及用于训练和绩效指标的相应实验设置

A.1SBM数據集 进行节点分类SBM数据集考虑了图模式识别的节点级任务[75] –模式和半监督图聚类–集群。 这些图是通过随机块模型（SBM）[1]生成的该模型广泛用于通过调制社区内和社区外的联系来建模社交网络中的社区，从而控制任务的难度 SBM是一个随机图，它按如下方式为每个节点分配社區：如果两个顶点属于同一社区则它们与概率p相关；如果它们属于不同社区，则它们与概率q相关（ q充当噪声级别）

模式：[75]中提出的图形模式识别任务旨在找到嵌入可变大小的较大图形G中的固定图形模式P。 对于所有数据我们生成具有5个社区的图G，其大小在[535]之间随机选擇。 每个社区的SBM为p = 0.5q = 0.35，并且G上的节点特征是通过均匀随机分布生成的其词汇表的大小为3，即{01，2} 我们随机生成由20个节点组成的100个模式P，其内概率pP = 0.5而超概率qP = 0.5（即P中50％的节点连接到G） P的节点特征还作为值为{0，12}的随机信号生成。
这些图的大小为44-188个节点 如果节点属于P，则輸出节点标签的值为1如果位于G中，则输出值为0
集群：对于半监督聚类任务，我们生成6个SBM聚类其大小在[5，35]和概率p = 0.55q = 0.25之间随机选择。 这些图的大小为40-190个节点
每个节点都可以采用{0，12，…6}中的输入要素值。 如果值为1则该节点属于类0，值2对应于类1…。 。 值6对应于類5。否则如果值是0，则节点的类是未知的并将由GNN推断。 只有一个带标签的节点被随机分配给每个社区并且大多数节点功能都设置为0。输出节点标签被定义为社区/集群类标签
训练 如第3节中的标准实验协议中所述，我们使用具有学习速率衰减策略的Adam优化器 对于所有GNN，初始学习速率设置为1×10-3缩减因子为0.5，耐心值为5停止学习速率为1×10-5。
性能指标 性能度量是相对于类大小加权的平均节点级别准确性。

A.2具有超像素数据集 图分类超像素数据集使用流行的MNIST和CIFAR10图像分类数据集测试图分类 我们使用这些数据集的主要动机是进行健全性检查：我們期望大多数GNN对MNIST的表现接近100％，对CIFAR10的表现也足够好

原始MNIST和CIFAR10图像使用超像素转换为图形。 超像素代表图像中强度均匀的小区域可以使用SLIC技术提取[3]。 我们使用[45] 4中的SLIC超像素 对于每个样本，我们建立一个k最近邻邻接矩阵其中
CIFAR10，分别 对于MNIST，结果图的大小为40-75个节点对于CIFAR10，结果图的大小为85-150 图1展示了超像素图的可视化。
训练 对于所有GNN除了3WLGNN和RingGNN经历了一次学习失败后，学习衰减率策略的初始学习率为1×10-3减少因孓0.5，耐心值为10停止学习率为1×10?5。 训练上的困难导致我们稍微调整了他们的学习进度表超参数。 对于3WLGNN和RingGNN耐心值均更改为5。对于RingGNN初始学习率更改为1×10-4，停止学习率更改为1×10-6
性能指标 每个图的预测标签与地面标签之间的分类精度是性能指标。

A.3使用TSP数据集进行边缘分类/鏈接预测

近年来利用机器学习来解决NP硬组合优化问题（COP）一直是研究的重点[81，10] 最近提出的以学习驱动的COP求解器[42、52、46]将GNN与经典搜索结合起来，可以直接从问题实例（表示为图）中预测近似解 考虑经过深入研究的旅行推销员问题（TSP），它提出以下问题：“给出一个城市列表以及每对城市之间的距离访问每个城市并返回原城市的最短路线是什么？” 形式上给定一个二维欧几里得图，需要找到一个最优的節点序列称为游览，具有最小的总边缘权重（游览长度）TSP的多尺度性质使其成为一项极具挑战性的图任务需要对两个局部节点进行推悝 邻域以及全局图结构。
对于我们使用TSP进行的实验我们遵循[52，40]中描述的基于学习的COP方法其中GNN是用于将概率分配给属于或不属于预测解決方案集的每个边的骨干架构。 然后通过图搜索技术将概率转换为离散决策 每个实例都是在单位平方S = {xi} n i = 1和xi∈[0，1] 2中均匀采样的n个节点位置的圖 通过为每个实例统一采样节点数n∈[50，500]我们会产生大小和复杂度不同的问题。
为了从搜索组件中分离出骨干GNN架构的影响我们将TSP设置為二进制边缘分类任务，每个边缘的地面真实值属于Concorde [4]给出的TSP巡视 为了缩放到大型实例，我们使用稀疏k = 25最近邻图而不是完整图，紧随[42] 囿关各种大小的示例TSP实例，请参见图2
训练 所有GNN均采用一致的学习率策略：初始学习率设置为1×10-3， 减少因子为0.5耐心值为10，停止学习率为1×10-5
性能指标 鉴于班级的高度失衡，即只有TSP巡回赛的边缘具有正面标签我们将F1得分用于正面班级作为我们的绩效指标。
非学习基准 除了報告GNN的性能外我们还与简单的k最近邻居启发式基线进行比较，定义如下：对与每个节点的k个最近邻居相对应的边预测为true对所有其他边預测为false。 我们将k = 2以获得最佳性能 将GNN与非学习基准进行比较，可以告诉我们模型是否比识别节点最近的邻居学得更复杂

链接预测COLLAB是OGB [87]提出嘚链接预测数据集，它对应于大约235K科学家之间的协作网络并由Microsoft Academic Graph [84]索引。 节点表示科学家节点表示它们之间的协作。 对于节点特征OGB提供叻128维向量，该向量是通过对科学家论文的词嵌入进行平均得到的 将给定年份中的年份和合着论文的数量连接起来以形成边缘特征。 该图吔可以视为动态多图因为如果两个节点协作多年，则两个节点之间可能有多个时间边缘
通过引入COLLAB数据集，我们还想证明我们的基准测試基础结构是OGB计划的补充并且非常适合集成当前和将来的OGB数据集和评估协议。
分裂 我们使用OGB提供的切合实际的训练验证和测试边缘拆汾。 具体来说他们将直到2017年的协作作为训练优势，将2018年的协作作为验证优势并将2019年的协作作为测试优势。
训练 所有GNN都使用一致的学习率策略：初始学习率设置为1×10-3缩减因子为0.5，耐心值为10停止学习率为1×10-5。
性能指标 我们使用OGB提供的评估程序旨在评估模型根据过去的匼作来预测未来合作关系的能力。 具体来说他们将一组100,000个随机采样的负协作中的每个真实协作排名，并计算排名在K位或更高（Hits @ K）的正边緣的比率 他们建议通过初步实验使用K = 10，但我们发现K = 50更好地从统计学上分离了GNN的性能
矩阵分解基线 除了GNN，我们报告了简单矩阵分解基线嘚性能[87]该基线为235K节点中的每一个训练256维嵌入。
将GNN与矩阵分解进行比较可以告诉我们模型是否除了图结构之外还利用节点特征，因为矩陣分解可以认为与特征无关

A.5使用ZINC数据集 图形回归我们使用ZINC分子图（250K）数据集的子集（12K）[37]来回归称为受限溶解度的分子特性 对于每个分子圖，节点特征是重原子的类型边缘特征是它们之间的键的类型。

训练 对于所有GNN的学习率策略初始学习率设置为1×10-3，缩减因子为0.5停止學习率设置为1×10-5。 3WLGNN和RingGNN的耐心值为5其他所有GNN的耐心值为10。
性能指标 性能量度是每个分子图的预测溶解度和地面溶解度约束之间的平均绝对誤差（MAE）

A.6使用CSL数据集进行图分类和同构测试 圆形跳过链接数据集是[67]中引入的对称图数据集，用于测试GNN的表达能力 每个CSL图是一个4正则图，边缘相连形成一个循环并包含节点之间的跳过链接。 正式地用GN，C表示其中N是节点数，C是同构类是图的跳过链接。 我们使用具有C∈{23，45，66，911，1213，16}的相同数据集G41C。 数据集具有每个C的15个图的类平衡因此总共有150个图。

分裂 我们按照[67]进行5倍交叉验证拆分它以3：1：1的比例提供5组训练，验证和测试数据索引我们使用分层抽样来确保类分布在整个过程中保持相同 分裂。 索引被保存并在所有实验中鼡于公平比较
训练 对于所有GNN的学习率策略，将初始学习率设置为5×10-4减少因子为0.5，耐心值为5停止学习率则为1×10-6。 在[18]之后我们对20种不哃的初始化种子进行了5倍交叉验证。
性能指标 我们使用预测标签和地面标签之间的图形分类精度作为我们的性能指标 在每次运行的5折测試拆分中评估模型性能，然后在[6718]之后，我们报告100分的最大最小，平均和标准偏差即20次5折。

除了基准中建议的数据集（第3节）之外，我们还对3种TU数据集进行了图形分类的实验-ENZYMESDD和PROTEINS。 我们的目标是凭经验强调使用这些常规数据集对GNN进行基准测试所面临的一些挑战
分裂 甴于我们使用的3个TU数据集没有标准分割，因此我们执行10倍交叉验证分割从而以10：1：1的比率提供10组训练，验证和测试数据索引
训练 我们將Adam优化器与基准实验协议中使用的学习率策略类似。 使用每个GNN模型的网格搜索可以将初始学习率从1×10-3调整为7×10-5。 学习速率降低因子为0.5耐心值为25，停止学习速率为1×10-6
性能指标 我们使用预测标签和地面标签之间的分类准确性作为我们的性能指标。 对于所有TU数据集在10倍的測试拆分中评估模型性能，并报告为10分的平均值和标准偏差
表6给出了我们在TU数据集上的数值结果-ENZYMES，DD和PROTEINS我们观察到，由于标准偏差相当夶所有NN的统计测试性能均相似。 我们还报告了这些实验的第二次运行它们具有相同的实验方案，即相同的10倍拆分和超参数但初始化（種子）不同 我们观察到模型排名的变化，这归因于数据集的小尺寸和梯度下降优化器的不确定性 我们还观察到，对于DD和蛋白质与图無关的MLP基线的性能与GNN一样好。 我们的观察重申了如何在小型TU数据集上进行实验很难确定哪些GNN既强大又强大

标准GCN不能区分同构节点[67，93] 为叻克服这个问题，提出了节点的位置编码（PE） 理想情况下，PE对于每个节点都应该是唯一的并且图中相距较远的节点应具有不同的位置特征，而附近的节点应具有相似的位置特征 请注意，在具有某些对称性的图形中不能以规范的方式分配位置特征。 例如如果节点i和節点j为由于结构上是对称的，并且我们具有区分它们的位置特征pi = apj = b，因此也可以任意选择pi = bpj = a，因为根据定义i和j完全对称 换句话说，PE始终昰任意的直到图中的对称性数量为止。
结果网络将不得不学习在训练过程中应对这些歧义。
可能的最简单的位置编码是在n！个节点之間给节点（任意）排序
可能的订单。 在训练过程中从n！中均匀地采样顺序！ 为了使网络学习独立于这些任意选择而可能的选择[67]。
我们提出了一种替代方法来减少采样空间从而减少网络要解决的歧义。 拉普拉斯特征向量是位置和结构的混合编码因为它们通过节点重新參数化是不变的。 但是它们也受到自然对称性（例如特征向量的任意符号）的限制（在归一化为单位长度后）。 可能的符号翻转次数为2 k其中k为特征向量的数量。 实际上我们选择k n，因此2 k比n小得多！ （节点的可能排序数） 在训练期间，特征向量将在2 k种可能性之间随机地進行均匀采样 如果我们不寻求学习不变性w.r.t. 特征向量的所有可能的符号翻转，然后我们可以通过取绝对值来消除特征向量的符号歧义 这種选择会严重降低位置特征的表达能力。
表7报告了不同位置编码的数值结果对于所有结果，我们使用GatedGCN模型[11] 我们研究了5种类型的位置编碼； EigVecs-k对应于最小的非平凡特征向量，兰德（EigVecs）随机翻转每批中k个最小非平凡特征向量的符号Abs（EigVecs）取k个特征向量的绝对值，固定节点排序 使用图的原始节点顺序并且Rand节点顺序随机排列每批中的节点顺序。 我们观察到拉普拉斯PE训练时始终随机翻转，始终能产生最佳结果 對于索引PE，与保持固定的原始节点顺序相比随机排列节点的顺序还可以显着提高性能。 但是拉普拉斯PE明显优于指数PE。

E 剖析用于边缘表礻分析

GNN在第4部分表4中，我们通过实例化GAT和GatedGCN的三个变体来系统地研究各向异性的影响：（1）各向同性聚集例如香草GCN，等式（13）； （2）使鼡边缘特征的各向异性例如默认情况下的GAT等式（18）； （3）具有边缘特征的各向异性和在每个层上更新的显式边缘表示，例如默认情况下茬GatedGCN中公式（24）。 本节提供每个模型变量的形式方程式 （请注意，除了我们考虑的方法外还可以使用多种方法实例化各向异性GNN并使用邊缘特征[8、74、13]。）

F关于图形大小归一化的注意

直观上可变大小的批处理图可能会导致不同比例的节点表示，这使得难以了解不规则批大尛和可变图上BatchNorm的最佳统计量?和σ。 这项工作的初步版本引入了一种称为GraphNorm的图大小标准化技术该技术可以标准化节点特征h`iw.r.t。 图的大小峩
我们想指出的是，GraphNorm到目前为止还没有任何具体的理论基础它是基于ZINC和CLUSTER等数据集的最初有希望的经验结果提出的。
未来的工作将研究更哆原则性的方法来设计图结构化数据的规范化层

Gold 6132 CPU上运行PATTERN和CLUSTER 每个实验都在单个GPU上运行，并且在任何给定时间（在不同GPU上）在服务器上运行4個实验 每个实验最多进行12小时

关于step,贴两个网址：
关于二维线性差值贴两张图：