{"id":24502573,"url":"https://github.com/btlmd/dbs-tutorial","last_synced_at":"2025-10-28T14:37:01.506Z","repository":{"id":115199693,"uuid":"566490955","full_name":"Btlmd/dbs-tutorial","owner":"Btlmd","description":"Course project for Introduction to Database Management System, 2022 Fall, THU-CST","archived":false,"fork":false,"pushed_at":"2023-01-07T12:43:16.000Z","size":1676,"stargazers_count":9,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"master","last_synced_at":"2025-03-27T20:23:09.059Z","etag":null,"topics":["database-system"],"latest_commit_sha":null,"homepage":"","language":"C++","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Btlmd.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2022-11-15T19:34:59.000Z","updated_at":"2024-11-18T06:01:40.000Z","dependencies_parsed_at":null,"dependency_job_id":"1f8db570-0fbe-48af-9de4-6545500f7f0b","html_url":"https://github.com/Btlmd/dbs-tutorial","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Btlmd%2Fdbs-tutorial","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Btlmd%2Fdbs-tutorial/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Btlmd%2Fdbs-tutorial/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Btlmd%2Fdbs-tutorial/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Btlmd","download_url":"https://codeload.github.com/Btlmd/dbs-tutorial/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":248837260,"owners_count":21169373,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["database-system"],"created_at":"2025-01-21T23:12:29.097Z","updated_at":"2025-10-28T14:36:56.464Z","avatar_url":"https://github.com/Btlmd.png","language":"C++","readme":"# 《数据库系统概论》项目总结报告\n\n\u003ccenter\u003e计02 刘明道  2020011156\u003cbr /\u003e计04 高焕昂  2020010951\u003c/center\u003e\n\nCourse project for *Introduction to Database Management System (2022 Fall)*.\n\n## 使用说明\n\n### 运行环境\n\n- Linux\n- C++ 20\n- CMake \u003e= 3.22\n\n### 运行步骤\n\n- 检查 `./utils/setup_env.sh`，安装相应依赖\n\n- 使用以下命令构建项目\n  ```bash\n  pip install -r requirements.txt\n  conan profile new default --detect\n  conan profile update settings.compiler.libcxx=libstdc++11 default\n  \n  cd build\n  conan install ..\n  cmake ..\n  make front -j$(nproc)\n  bin/front\n  ```\n\n## 系统架构设计\n\n数据库系统的主要功能模块包括\n\n| 模块   | 功能                               |\n| ------ | ---------------------------------- |\n| io     | 页式文件系统，缓存系统             |\n| index  | 索引系统                           |\n| record | 记录管理：字段，记录，数据页，约束 |\n| system | 查询解析和执行                     |\n| node   | 查询计划树节点                     |\n\n## 各模块详细设计\n\n### 文件管理\n\n和文件管理系统有关的代码主要位于 `src/io` 文件夹下。\n\n- `FileSystem` 类是一个页式文件管理系统，对 Linux 系统调用和 `std::filesystem` 提供的文件输入输出函数进行了一次封装，对外提供了按页为粒度对文件进行读写的接口。\n- `Page` 类表示实际的一页数据，提供了额外的标志位标志其是否为脏页，同时提供了 `Lock()` 函数和 `Release()` 函数为上层缓存系统在换页时标记本页是否可以被交换。\n- `BufferSystem` 类是一个基于 LRU 算法的缓存系统，这也是数据库系统进行文件读写的接口。缓存系统将部分页缓存在内存中，并使用 LRU 替换算法在适当的时机调用文件管理系统提供的函数将被替换页写入硬盘。\n\n### 记录管理\n\n和记录管理系统有关的代码主要位于 `src/record` 文件夹下。\n\n- `DataPage` 是对 `Page` 类的一次封装，可以同时支持定长记录和变长记录，并对外开放了查看剩余空间和根据槽号插入记录、更新记录与删除记录的接口。删除后，我们默认将尾指针置为 -1。其页面布局遵循以下规则\n\n```c++\n/** DataPage Layout\n * | PageHeader |\n * | Slot 0 | Slot 1 | ... | Slot \u003cslot_count - 1\u003e |\n * | Free Space | ...\n * | Pointer to free space | Pointer to \u003cSlot \u003cslot_count - 1\u003e\u003e | ... | Pointer to \u003cSlot 0\u003e |\n */\n```\n\n- `FreeSpaceManager` 类将一张表的各个数据页面的剩余空间组织起来，在面对新记录作为输入，需要申请分配一定的空间的时候，可以将具有对应空间的页面快速地查询出来。具体来说，我们采用了文档中提出的链表实现，将 4096 Byte 的页面划分成 256 个不同的状态，然后使用 (页号 → 状态)，(状态 → 页号列表) 两种映射来辅助查询与修改工作。\n- `Field` 类定义了表列的类别，包括 `Int`, `Float`, `Char`, `VarChar` 与 `Date` 这几种。同时，其中定义的 `PrimaryKey`, `ForeignKey`, `UniqueKey`, `IndexKey` 类分别定义了主键、外键、唯一性约束与索引的结构。\n- `Record` 类是对一行记录的定义，其由 `Field` 的向量组成。在序列化与反序列化时，我们使用 `NullBitmap` 来记录某一列是否为空。\n- `TableMeta` 类是对一张表元信息的表述，其 Layout 如下所示：\n\n```c++\n/**\n * TableMeta Layout\n * Page 0: Fixed info (ensured that will not exceed one page)\n * Page 1 ~ Page n: Foreign Keys (each foreign key has fixed length)\n * Page (n + 1) ~ Page m: Index Keys\n * Page (m + 1) ~ Page k: Field Metas\n * Page (k + 1) ~ Page ([total_page_count] - 1): Free Space Records\n */\n```\n\n### 索引管理\n\n和索引管理系统有关的代码主要位于 `src/index` 文件夹下。索引管理系统和记录管理系统很相似，下面做具体介绍：\n\n- `IndexPage` 类是对 `Page` 类的一次封装。注意到内部节点页和叶节点页对应的布局结构不同。对外其表现类似于一个向量，提供了根据槽号拿出记录，插入记录，更新记录，删除记录，切片选取记录，范围插入与范围删除记录的接口。其页面布局遵循以下规则\n\n```c++\n/*\n ** Index Page Layout (Leaf)\n * | PageHeader |\n * | IndexRecord \u003c0\u003e | IndexRecord \u003c1\u003e | ... | IndexRecord \u003cn-1\u003e |\n * where IndexRecord \u003ci\u003e == (PageID \u003ci\u003e, SlotID \u003ci\u003e, Key \u003ci\u003e)\n *\n * Index Page Layout (Internal)\n * | PageHeader |\n * | IndexRecord \u003c0\u003e | IndexRecord \u003c1\u003e | ... | IndexRecord \u003cn-1\u003e |\n * where IndexRecord \u003ci\u003e == (PageID \u003ci\u003e, Key \u003ci\u003e)\n *\n * For every internal node \u003cj\u003e, we ensure that all elements in the subtree rooted at \u003cj\u003e\n * are less than or equal to Key \u003cj\u003e.\n *\n * The methods of IndexPage act like a vector. ()\n */\n```\n\n+ `IndexField` 类是对可以被索引的字段相应的索引记录的描述，目前支持 `IndexINT`, `IndexINT2` 两种类型，分别对应记录类型的 `Int` 型与两列 `Int` 型的联合索引。其为内部节点与叶结点提供了两套 `FromSrc` 方法与 `Write` 方法，这是因为在联合索引的实现中，内部节点只需存储第一个列的关键码，而叶结点需要以第一列为主排序条件，第二列为次排序条件进行排序。\n+ `IndexFile` 类整体将 `IndexPage` 类的对象作为结点，将其组织成一颗 B+ 树的形式。对外其提供了索引查找的接口，以 (叶结点页号, 槽号) 的二元组作为迭代器提供沿下侧链遍历所有索引叶结点页的方法。具体来说，其包括记录的读取、插入、删除、范围删除与更新。在内部节点间查询时我们使用二分查找的方法。\n+ `IndexRecord` 类是索引记录项，同样分为针对内部节点的索引记录和针对叶结点的索引记录。其提供了从 `Record` 类对象转换的方法。\n+ `IndexMeta` 类是对某个索引系统的元信息的定义，包括 B+ 树的阶数，目前索引系统的页数，根页面页号，索引类型等等。这里我们在创建索引系统时，默认采用的阶数为最大程度利用叶结点页空间的阶数值。\n\n### 查询处理\n\n和查询处理系统有关的代码主要位于 `src/node` 文件夹下与 `src/system/WhereConditions.h` 中，我们构造的查询计划树的可能结点类型如下：\n\n- `TrivialScanNode` 和 `IndexScanNode` 两种结点用于扫描任务，其中前者按照数据页的存储顺序进行扫描筛选，后者按照索引进行扫描筛选并在条件合适时提前终止。\n- `NestedJoinNode` 和 `HashJoinNode` 两种表合并结点，分别对应文档中提到的嵌套循环连接与哈希连接两种表连接方法。\n- `ProjectNode ` 计算结点用于对选取出的列进行投影。\n- `AggregateNode` 计算结点用于实现查询算法的聚合查询、分组查询功能。\n- `OffsetLimitNode` 计算结点可以实现查询算法的 OFFSET 与 LIMIT 功能。\n- `LikeCondition` 用于实现模糊查询。其将输入先进行正则表达式的 escape，然后将输入中的 `_` 和 `%` 转换为 `.` 和 `.*` 接下来使用正则表达式引擎进行匹配。\n- `InSubqueryCondition` 和 `CompareSubQueryCondition` 分别用于 `IN` 和 `=` 引导的嵌套查询。在构造时，其先执行嵌套的查询计划树，然后判断结果的合法性，若不合法则给出报错。\n\n### 解析器\n\n语法解析使用实验框架提供的默认语法文件 `src/grammar/SQL.g4`，使用 antlr 库进行解析，之后生成具有 Vistor 模式的文件。我们继承了自动生成的 Visitor 方法，编写了 `src/system/DBVistor.h`，以实现语法解析的功能。\n\n绝大部分的解析工作是平凡的，主要是从抽象语法树中将相应的字符串提取出来后，进行如类型检查等初步的合法性检查，然后提取出执行操作需要的所有信息。\n\n理论上，解析器是将 SQL 语句的抽象语法树转换成执行计划树再交给执行器进行执行。考虑到 `SELECT` 之外的语句执行较为简单，我们直接将相应信息交给 `DBSystem` 对象执行，并将结果返回而省略了转化为执行计划树这一步。\n\n对 `SELECT` 语句，我们则构建相应执行计划树：\n\n- 对于每个查询，先访问 `WHERE` 从句获得过滤条件和连接条件\n- 根据对每张表的过滤条件和表的索引情况选择是否使用索引，构建每张表的**扫描节点**\n- 构造**连接节点**，根据连接条件选择使用嵌套连接或哈希连接\n- 根据是否使用聚合算子以及 `GROUP BY` 语句选择构造**聚合节点**或**投影节点**\n- 根据是否使用 `LIMIT OFFSET` 语句选择是否添加 **LimitOffset 节点**\n\n然后将执行计划树交给 `DBSystem` 进行执行操作，再将结果返回\n\n### 系统管理\n\n我们系统管理的有关代码位于 `src/system/DBSystem.h` 与  `src/system/DBSystem.cpp`，这是程序逻辑的主要部分。系统管理支持创建、删除、调整当前正在使用的数据库和数据表的相关接口，同时对解析器解析出的其他命令进行了简单的一步封装。其具体功能和相应的接口见下一节的介绍。\n\n## 主要接口说明\n\n### 文件系统 FileSystem\n\n```c++\n// 创建目录，第二个参数表示是允许目录在创建前就存在    \nstatic void MakeDirectory(const std::string \u0026, bool = true);\n\n// 删除目录\nstatic void RemoveDirectory(const std::string \u0026);\n\n// 创建文件\nstatic FileID NewFile(const std::string \u0026);\n\n// 删除文件\nstatic void RemoveFile(const std::string \u0026);\n\n// 打开文件\nstatic FileID OpenFile(const std::string \u0026);\n\n// 关闭文件\nstatic void CloseFile(FileID fd);\n\n// 整页写入\nstatic void WritePage(FileID fd, PageID page_id, uint8_t *src);\n\n// 整页读出\nstatic void ReadPage(FileID fd, PageID page_id, uint8_t *dst);\n```\n\n### 缓存系统 BufferSystem\n\n```c++\n// 读取页面\nPage *ReadPage(FileID fd, PageID page_id);\n\n// 创建页面\nPage *CreatePage(FileID fd, PageID page_id);\n\n// 将页面写回\nvoid WriteBack(Page *page);\n\n// 标记页面访问\nvoid Access(Page *page);\n\n// 写回 fd 的所有脏页\nvoid ReleaseFile(FileID fd);\n\n// 写回 fd 的所有脏页并关闭 fd\nvoid CloseFile(FileID fd);\n```\n\n由于 Page 有统一的创建和回收点，所以这里直接使用裸指针。\n\n### 查询处理系统 DBSystem\n\n查询处理系统的对外接口供 DBVisitor 解析并执行语句时调用。其返回一个 `Result` 的指针，表示执行的结果（包括文本型结果和表格型结果）。如果执行出错，如不满足约束条件等，系统将会抛出相应的异常。\n\n- 数据库的增加，使用，删除和列举\n\n  ```c++\n  std::shared_ptr\u003cResult\u003e CreateDatabase(const std::string \u0026db_name);\n  std::shared_ptr\u003cResult\u003e UseDatabase(const std::string \u0026db_name);\n  std::shared_ptr\u003cResult\u003e DropDatabase(const std::string \u0026db_name);\n  std::shared_ptr\u003cResult\u003e ShowDatabases() const;\n  ```\n\n- 数据表的增加，删除，列举与显示\n\n  ```c++\n  std::shared_ptr\u003cResult\u003e CreateTable(\n      const std::string \u0026table_name, \n      const std::vector\u003cstd::shared_ptr\u003cFieldMeta\u003e\u003e \u0026field_meta,\n      std::optional\u003cRawPrimaryKey\u003e raw_pk, \n      const std::vector\u003cRawForeignKey\u003e \u0026raw_fks\n  );\n  std::shared_ptr\u003cResult\u003e DropTable(const std::string \u0026table_name);\n  std::shared_ptr\u003cResult\u003e ShowTables() const;\n  std::shared_ptr\u003cResult\u003e DescribeTable(const std::string \u0026table_name);\n  ```\n\n- 约束的增加与删除\n\n  ```c++\n  std::shared_ptr\u003cResult\u003e AddForeignKey(\n      const std::string \u0026table_name, \n      const RawForeignKey \u0026raw_fk\n  );\n  std::shared_ptr\u003cResult\u003e AddPrimaryKey(\n      const std::string \u0026table_name, \n      const RawPrimaryKey \u0026raw_pk\n  );\n  std::shared_ptr\u003cResult\u003e AddUnique(\n      const std::string \u0026table_name, \n      const std::vector\u003cstd::string\u003e \u0026fields\n  );\n  std::shared_ptr\u003cResult\u003e DropForeignKey(\n      const std::string \u0026table_name, \n      const std::string \u0026fk_name\n  );\n  std::shared_ptr\u003cResult\u003e DropPrimaryKey(\n      const std::string \u0026table_name, \n      const std::string \u0026pk_name\n  );\n  ```\n\n- 索引的增加与删除\n\n  ```c++\n  std::shared_ptr\u003cResult\u003e AddIndex(\n      const std::string \u0026table_name, \n      const std::vector\u003cstd::string\u003e \u0026field_name\n  );\n  std::shared_ptr\u003cResult\u003e DropIndex(\n      const std::string \u0026table_name, \n      const std::vector\u003cstd::string\u003e \u0026field_name\n  );\n  ```\n\n- 记录的增删查改\n\n  ```c++\n  std::shared_ptr\u003cResult\u003e Insert(\n      TableID table_id, \n      RecordList \u0026records\n  );\n  std::shared_ptr\u003cResult\u003e Delete(\n      TableID table_id, \n      const std::shared_ptr\u003cAndCondition\u003e \u0026cond\n  );\n  std::shared_ptr\u003cResult\u003e Select(\n      const std::vector\u003cstd::string\u003e \u0026header, \n      const std::shared_ptr\u003cOpNode\u003e \u0026plan\n  );\n  std::shared_ptr\u003cResult\u003e Update(\n      TableID table_id, \n      const std::vector\u003cstd::pair\u003cstd::shared_ptr\u003cFieldMeta\u003e,\n      std::shared_ptr\u003cField\u003e\u003e\u003e \u0026updates,\n      const std::shared_ptr\u003cAndCondition\u003e \u0026cond\n  );\n  ```\n\n系统也提供了一些信息查询接口供 `DBVisitor` 使用，包括\n\n- 表 ID 和元信息的查询\n\n  ```c++\n  // 获取表 ID\n  TableID GetTableID(const std::string \u0026table_name) const;\n  \n  // 获取表的元信息\n  std::shared_ptr\u003cconst TableMeta\u003e GetTableMeta(TableID table_id);\n  ```\n\n- 页扫描节点的生成。\n\n  ```c++\n  // 获取页的遍历扫描节点\n  std::shared_ptr\u003cScanNode\u003e GetTrivialScanNode(\n      TableID table_id, \n      const std::shared_ptr\u003cFilterCondition\u003e \u0026cond\n  );\n  \n  // 获取索引扫描节点\n  std::shared_ptr\u003cScanNode\u003e GetIndexScanNode(\n      TableID table_id, \n      std::vector\u003cFieldID\u003e field_ids, \n      const std::shared_ptr\u003cFilterCondition\u003e \u0026cond,\n      const std::shared_ptr\u003cIndexField\u003e\u0026 key_start, \n      const std::shared_ptr\u003cIndexField\u003e\u0026 key_end\n  );\n  \n  // 以及根据 `WHERE` 条件和索引情况选择扫描节点\n  std::shared_ptr\u003cScanNode\u003e GetScanNodeByCondition(\n      TableID table_id, \n      const std::shared_ptr\u003cAndCondition\u003e \u0026cond\n  );\n  ```\n\n此外还有一些工具函数\n\n- 约束检查，用于建立约束或增删改记录时使用\n\n  ```c++\n  // 检查元组的唯一性 (遍历，用于建立约束时的检测)，将找到的重复记录返回\n  std::optional\u003cstd::shared_ptr\u003cRecord\u003e\u003e CheckRecordsUnique(\n      TableID table_id, \n      const std::vector\u003cFieldID\u003e \u0026fields\n  );\n  \n  // 检查元组的唯一性 (索引加速，用于已经建立的约束)，将找到重复记录的条数返回\n  std::size_t TupleExists(\n      TableID table_id, \n      const std::vector\u003cFieldID\u003e \u0026fields, \n      const std::vector\u003cstd::shared_ptr\u003cField\u003e\u003e\u0026 field_vals\n  );\n  \n  // 插入时检查约束\n  void CheckConstraintInsert(\n      const TableMeta \u0026meta, \n      const std::shared_ptr\u003cRecord\u003e \u0026record\n  );\n  \n  // 删除时检查约束\n  void CheckConstraintDelete(\n      const TableMeta \u0026meta, \n      const std::shared_ptr\u003cRecord\u003e \u0026record\n  );\n  \n  // 更新时检查约束\n  void CheckConstraintUpdate(\n      const TableMeta \u0026meta,\n      const std::shared_ptr\u003cRecord\u003e \u0026record_prev,\n      const std::shared_ptr\u003cRecord\u003e \u0026record_updated,\n      const std::unordered_set\u003cFieldID\u003e \u0026affected\n  );\n  ```\n\n- 索引维护\n\n  - 我们只在 B 树中支持 2 列联合索引，而对于 2 列以上的主键 / 外键 / 唯一约束，我们实现为自动对前 2 列创建索引，对索引给出的结果遍历查找。\n  - 一个索引可能被多个约束使用。为节约空间，我们实现为对索引引用计数，当索引被引用次数等于 0  时将索引删除。\n\n  ```c++\n  // 添加索引（只看前 lim 个字段）\n  template\u003cFieldID lim\u003e\n  void AddIndexLimited(\n      TableID table_id, \n      const std::vector\u003cFieldID\u003e \u0026field_ids, \n      bool is_user\n  );\n  \n  // 删除索引（只看前 lim 个字段）\n  template\u003cFieldID lim\u003e\n  void DropIndexLimited(\n      TableID table_id, \n      const std::vector\u003cFieldID\u003e \u0026field_ids, \n      bool is_user\n  );\n  \n  // 更新 原地更新的记录 的索引\n  void UpdateInPlaceRecordIndex(\n      const std::unordered_set\u003cFieldID\u003e \u0026affected,\n      TableID table_id, PageID page_id, SlotID j,\n      const std::shared_ptr\u003cRecord\u003e \u0026record_prev,\n      const std::shared_ptr\u003cRecord\u003e \u0026record_updated\n  );\n  \n  // 插入新索引记录\n  void InsertRecordIndex(\n      TableID table_id, \n      PageID page_id, SlotID j, \n      const std::shared_ptr\u003cRecord\u003e record\n  );\n  \n  // 删除索引记录\n  void DropRecordIndex(\n      TableID table_id, \n      PageID page_id, SlotID j, \n      const std::shared_ptr\u003cRecord\u003e record\n  );\n  \n  // 获取索引文件\n  std::shared_ptr\u003cIndexFile\u003e \u0026GetIndexFile(\n      TableID table_id, \n      FieldID field_id1, \n      FieldID field_id2\n  );\n  ```\n\n- 还有非常简单的封装以及一些同类函数的重载，用于不同情境，这里就不主一列举了\n\n### 字段 Field\n\n我们定义了 5 种数据类型，他们的继承关系如下\n\n- 抽象类 Field\n  - 整型 Int\n  - 浮点型 Float\n  - 日期型 Date\n  - 字符串型 String\n    - 定长字符串 Char\n    - 变长字符串 VarChar\n\nField 的接口列举如下\n\n```c++\n// 获取字段的占用的存储空间\nvirtual RecordSize Size() const = 0;\n\n// 将记录序列化到 dst 指向的地址，并将 dst 偏移相应长度\nvirtual void Write(uint8_t *\u0026dst) const = 0;\n\n// 获取字段的哈希值，用于 Hash Join\nvirtual std::size_t Hash() const = 0;\n\n// 将字段输出为文本\nvirtual std::string ToString() const = 0;\n\n// 字段大小比较：NULL 与任何值没有偏序关系，非 NULL 只能进行同类比较，否则抛出异常\nvirtual std::partial_ordering operator\u003c=\u003e(const Field \u0026rhs) const = 0;\n\n// 字段判等：NULL 与任何值不等，非 NULL 只能进行同类比较，否则抛出异常\nvirtual bool operator==(const Field \u0026rhs) const = 0;\n\n// 从 src 根据类型加载字段\nstatic std::shared_ptr\u003cField\u003e LoadField(\n    FieldType type, \n    const uint8_t *\u0026src, \n    RecordSize max_len = -1\n);\n\n// 生成特定字段类型的 NULL 值\nstatic std::shared_ptr\u003cField\u003e MakeNull(FieldType type, RecordSize max_len = -1);\n```\n\n### 记录 Record\n\n```c++\n// 从 src 按照表元 meta 的指导读取一条记录，并偏移 src\nstatic std::shared_ptr\u003cRecord\u003e FromSrc(const uint8_t *\u0026src, const TableMeta \u0026meta);\n\n// 将记录写入 dst 所指向的位置，并偏移 dst\nvoid Write(uint8_t *\u0026dst);\n\n// 获取记录占用的空间\nRecordSize Size();\n\n// 将记录的全部字段逐一表示为字符串，用于查询结果输出\nstd::vector\u003cstd::string\u003e ToString();\n\n// 将记录表示为单个字符串，用于调试和报错\nstd::string Repr();\n\n// 复制记录\nstd::shared_ptr\u003cRecord\u003e Copy() const;\n\n// 更新记录中的特定字段\nvoid Update(\n    const std::vector\u003c\n    \tstd::pair\u003cstd::shared_ptr\u003cFieldMeta\u003e, std::shared_ptr\u003cField\u003e\u003e、\n    \u003e \u0026updates\n);\n\n// 将记录进行投影\nstd::vector\u003cstd::shared_ptr\u003cField\u003e\u003e Project(const std::vector\u003cFieldID\u003e target) const;\n\n// 判断记录中是否存在空值\nstatic bool HasNull(const std::vector\u003cstd::shared_ptr\u003cField\u003e\u003e\u0026 target_reference);\n\n// 记录判等\nbool operator == (const Record\u0026 rhs) const;\n```\n\n### 数据页 DataPage\n\n```c++\n// 读取 slot 中存放的记录\nstd::shared_ptr\u003cRecord\u003e Select(SlotID slot) const;\n\n// 插入一条新记录\nSlotID Insert(std::shared_ptr\u003cRecord\u003e record);\n\n// 删除 slot 中存放的记录\nvoid Delete(SlotID slot);\n\n// 更新 slot 中存放的记录\nvoid Update(SlotID slot, std::shared_ptr\u003cRecord\u003e \u0026record);\n\n// 初始化页面结构\nvoid Init();\n```\n\n### 查询计划树节点 OpNode\n\n查询计划的执行采取流水线策略。每个节点的 `Over()` 方法表示该节点是否还有输出，而 `Next()` 则给出一部分输出。父级节点可以通过反复调用 `Next()` 方法逐步获取节点的输出，或者使用 `All()` 方法一次获取全部输出。\n\n```c++\n// 节点是否已经遍历完成\nvirtual bool Over() const;\n\n// 将节点恢复初始状态\nvirtual void Reset();\n\n// 获取部分输出\nvirtual RecordList Next();\n\n// 获取全部输出\nvirtual RecordList All();\n```\n\n\n\n## 实验结果\n\n对于数据库的后端，我们将其编译为\n\n- library **`main_shared`** ：数据库逻辑的动态链接库，供其他目标使用。\n\n我们支持 3 种前端\n\n- library **`connect_db`** ：在 Python 中调用数据库系统并返回执行结果，例如：\n\n  ```Python\n  import connect_db\n  results: list = connect_db.query(\"SELECT * FROM T;\");\n  ```\n\n  用于对拍测试。\n\n- executable **`front`** ：用户友好的交互界面，使用 [cpp-terminal](https://github.com/jupyter-xeus/cpp-terminal) 库，支持历史记录回溯，查看当前行号列号，跨列编辑等功能。用户可以在这里输入支持的 SQL 语句，然后交由 `DBVisitor` 中的对应函数进行解析。`front` 会捕获所有异常，并给出提示。\n\n\n![image-20230106114414520](https://git.net9.org/cc7w/picgo/uploads/1b8cbd0a105009aa2b1783b6239ece6d/image-20230106114414520.png)\n\n- executable **`debug`** ：从 `stdout` 中读取命令并执行，用于批量执行语句，如导入数据或者调试测试。\n\n### 验收测试 \n\n我们将验收测试的 CSV 文件转换成 SQL 语句执行导入数据库。在验收中我们成功通过了以下功能测试\n\n- **基本功能**：基本运行、系统管理、查询解析、完整性约束、模式管理、索引模块\n\n- **扩展功能**：多表 JOIN、5 种高级查询、扩展数据类型 DATE、高级索引：UNIQUE 约束、高级完整性约束：NULL、联合主外键、联合索引\n\n### 对拍测试\n\n我们编写了若干测试程序位于 `tests` 文件夹下。其中在 `tests/python/` 下我们可以创建 Python 文件生成相应的测例 SQL；在 `tests/python_utils` 下我们提供了连接 MySQL 服务器的 Python 客户端，方便与我们数据库的输出结果进行对拍； 在 `tests/sql` 文件夹下是我们生成的测例 SQL 语句代码。\n\n我们对记录增删查改，连接，LIMIT OFFSET，聚合等涉及大量数据的操作，与 MySQL 进行对拍以验证结果的正确性。\n\n## 其它\n\n### 成员分工\n\n- 刘明道：系统与文件管理、记录管理、查询解析\n- 高焕昂：索引管理、记录管理\n\n### 参考资料\n\n- [实验文档](https://thu-db.github.io/dbs-tutorial/)\n\n- 我们使用了如下 C++ 开源库\n\n  ```\n  antlr4-cppruntime/4.9.3\n  argparse/2.9\n  boost/1.80.0\n  cpp-terminal/17cd990\n  fmt/9.1.0\n  gtest/1.10.0\n  magic_enum/0.8.1\n  tabulate/1.4\n  ```\n\n  它们以 git submodule 引用或使用 conan 进行管理，详见 `/.gitmodules` 和 `/conanfile.txt` 。引用的外部库和自动生成的代码没有包含在项目文件中。\n\n\n- 查询计划树的接口参考了 2022 春《数据库专题训练》的实验设计。\n\n- 除上述资料外，未参考任何其他资料或开源代码。\n","funding_links":[],"categories":[],"sub_categories":[],"project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fbtlmd%2Fdbs-tutorial","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fbtlmd%2Fdbs-tutorial","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fbtlmd%2Fdbs-tutorial/lists"}