linux系统_内存和网络

Word count: 4.3k   |   Reading time≈ 16 min
  • 系统底层相关。 主要是以 Linux 系统为主，其中有大量的文章可以让你学习到 Linux 内核，以及内存、网络、异步 I/O 模型、Lock-free 的无锁编程，还有其它和系统底层相关的东西。注意，系统底层要是深下去是可以完全不见底的。而且内存方面的知识也是比较多的，所以，这里还是主要给出一些非常有价值的基础性的知识和技术。学好这些东西，你会对系统有很深的理解，而且可以把这些知识反哺到架构设计上来。
  • 数据库相关。数据库方面主要是 MySQL 和各种开源 NoSQL 的一些相关的有价值的文章和导读，主要是让你对这些数据库的内在有一定的了解，但又不会太深。真正的深入是需要扎入到源代码中的。需要说明的是，这块技术不是长项，但又是每个架构师需要知道的，所以，在这里给的学习资源可能会比较浅，这点还希望你来补充和指正。
  • 分布式架构。这一部分是最长最多的。其中有架构入门、分布式理论中各种非常有价值的经典论文，然后是一些分布式工程设计方面的文章，其中包括设计模式和工程应用，最后还有各大公司的架构供参考。
  • 微服务。有了分布式架构理论和工程的基础，接下来是对微服务的学习。在这部分内容中，罗列几个介绍微服务架构非常系统的文章，然后比较一下微服务和 SOA 的差别，最后则是一些工程实践和最佳实践。
  • 容器化和自动化运维。在容器化和自动化运维中，主要是学习 Docker 和 Kubernetes 这两个自动化运维的杀手型技术。而不是 Salt、Puppet、Chef 和 Ansible 这样比较传统的工具。原因很简单，因为自动化部署根本不够，还需要对环境和运行时的管理和运维才够，而只有 Docker 和 Kubernetes 才是未来。所以，这里重点让你学习这两个技术，其中有很多文章需要一些系统底层的知识。
  • 机器学习和人工智能。主要给了一些基础性的知识，其中包括基本原理、图书、课程、文章和相关的算法。顺着这路走，不能说能成为一个人工智能专家，但成为一个机器学习的高级工程师甚至准专家还是可能的。
  • 前端开发。这里的前端主要是 H5 的前端了，这一节会带你学习一下前端开发所需要知道的基础知识，尤其是对前端开发语言 JavaScript 的学习，花费了相当的篇幅列出了很多很经典的学习资料，必定会让你成为一个 JavaScript 高手。然后你还需要了解浏览器是怎样工作的，还有相关的网络协议和一些性能优化的技巧。最后则是 JavaScript 框架的学习，这里只给了 React.js 和 Vue.js，并通过 React.js 带出来函数式编程的学习。后端程序员给出来的这组前端开发的学习资料和路径会比前端程序员更靠谱一些。
  • 信息源。最后，则是一些信息源，其中包括各大公司的技术 Blog，还有相关的论文集散地。

另外，这里需要说明几点。

  • 假设你在前面已经打下了非常扎实的基础，但是要成为一个高手，基础知识只是一个地基，你还需要很多更为具体的技术。对很多人来说，就是看各种各样的文章、手册、论文、分享…… 其实，学习到一定程度，就是要从书本中走出去，到社区里和大家一起学习，而且还需要自己找食吃了。所以，对于这里面的文章，有很多都是在罗列各种文章和资源，只是为你梳理信息源，而不是喂你吃饭。
  • 老实说，已经为你梳理并过滤掉了很多的信息，这里只留下了 30% 觉得最经济也最有价值的信息。虽然对于不同定位和不同需求的人还可以再对这些信息进行删减，但是这么一做就会对其它人不公平了。所以，这也是最小数量集的信息和资源吧。你也可以把这里的东西当成一个索引来对待。
  • 这些内容，不能说是隔离开来的，应该说是相辅相成的。也没什么顺序，可以各取所需。虽然看上去内容很多，但你也别害怕，真的不用害怕，你会越学越快，越实践越有感觉，也越有效率。在一开始可能会很慢，但是坚持住，积累一段时间后就会越来越快的。 而且，绝大多数人是坚持不下来的。只要你能坚持下来，你一定会成为各个大公司的抢手货。你不需要特别努力，只需要日进一步，3-5 年后，你就会发现，绝大多数人都在你身后很远的地方了。

今天分享的内容为系统底层知识中的 Linux 系统、内存和网络等方面的相关知识及推荐的学习资料。

Linux 系统相关

学习 Linux 操作系统的原理是通向系统工程师的必经之路。Unix/Linux 操作系统里的东西并不难学。你千万不要一下子扎到源代码里去，那样没用——你还是要在上层先通过读一些不错的文档来学习。下面罗列了一些很不错的站点，其中有很多内容供你去钻研和探索。

在这里默认你前面已经读过并读懂了推荐的那些和 Unix/Linux 相关的图书了。所以，相信你对 Unix/Linux 下的编程已经是有一些基础了，因此，你继续深挖 Linux 下的这些知识应该也不是很难的事了。

  • Red Hat Enterprise Linux 文档 。Red Hat Enterprise Linux（RHEL）是老牌 Linux 厂商 Red Hat 出品的面向商业的 Linux 发行版。Red Hat 网站上的这个文档中有很多很有价值的内容，值得一看。
  • Linux Insides ，GitHub 上的一个开源电子书，其中讲述了 Linux 内核是怎样启动、初始化以及进行管理的。
  • LWN’s kernel page ，上面有很多非常不错的文章来解释 Linux 内核的一些东西。
  • Learn Linux Kernel from Android Perspective ，从 Android 的角度来学习 Linux 内核，这个站点上的 Blog 相对于前面的比较简单易读一些。
  • Linux Kernel Doc， Linux 的内核文档也可以浏览一下。
  • Kernel Planet ，Linux 内核开发者的 Blog，有很多很不错的文章和想法。
  • Linux Performance and Tuning Guidelines ，这是 IBM 出的红皮书，虽然有点老了，但还是非常值得一读的。
  • TLK: The Linux Kernel ，这是一本相对比较老的书了，Linux 内核版本为 2.0.33，但了解一下前人的思路，也是很有帮助的。
  • Linux Performance ，这个网站上提供了和 Linux 系统性能相关的各种工具和文章收集，非常不错。
  • Optimizing web servers for high throughput and low latency ，这是一篇非常底层的系统调优的文章，来自 DropBox，从中你可以学到很多底层的性能调优的经验和知识。

内存相关

计算机内存管理是每一个底层程序员需要了解的非常重要的事儿。当然，这里重点还是 Linux 操作系统相关的内存管理上的知识。

首先，LWN.net 上有一系列的 “What every programmer should know about memory” 文章你需要读一下。当然，你可以直接访问一个完整的 PDF 文档。下面是这个系列文章的网页版列表。读完这个列表的内容，你基本上就对内存有了一个比较好的知识体系了。

然后是几篇和内存相关的论文。下面这三篇论文是个人觉得能对你非常有帮助的文章，尤其是你要做一些程序的性能优化方面。

  • Memory Barriers: a Hardware View for Software Hackers。内存的读写屏障是线程并发访问共享的内存数据时，从程序本身、编译器到 CPU 都必须遵循的一个规范。有了这个规范，才能保证访问共享的内存数据时，一个线程对该数据的更新能被另一个线程以正确的顺序感知到。在 SMP（对称多处理）这种类型的多处理器系统（包括多核系统）上，这种读写屏障还包含了复杂的缓存一致性策略。这篇文章做了详细解释。
  • A Tutorial Introduction to the ARM and POWER Relaxed Memory Models，对 ARM 和 POWER 的宽松内存模型的一个教程式的简介。本篇文章的焦点是 ARM 和 POWER 体系结构下多处理器系统内存并发访问一致性的设计思路和使用方法。与支持较强的 TSO 模型的 x86 体系结构不同，ARM 和 POWER 这两种体系结构出于对功耗和性能的考虑，使用了一种更为宽松的内存模型。本文详细讨论了 ARM 和 POWER 的模型。
  • x86-TSO: A Rigorous and Usable Programmer’s Model for x86 Multiprocessors，介绍 x86 的多处理器内存并发访问的一致性模型 TSO。

接下来是开发者最关心的内存管理方面的 lib 库。通常来说，有三种内存分配管理模块。就目前而言，BSD 的 jemalloc 有很大的影响力。后面可以看到不同公司的实践性文章。

关于 C 的这些内存分配器，你可以参看 Wikipedia 的 “C Dynamic Memory Allocation”这个词条。

下面是几篇不错的文章，让你感觉一下上面那三种内存分配器的一些比较和工程实践。

计算机网络

网络学习

首先，推荐一本书——《计算机网络（第五版）》，这本“计算机网络”和前面推荐的那本计算机网络不一样，前面那本偏扫盲，这本中有很多细节。这本书是国内外使用最广泛、最权威的计算机网络经典教材。全书按照网络协议模型自下而上（物理层、数据链路层、介质访问控制层、网络层、传输层和应用层）有系统地介绍了计算机网络的基本原理，并结合 Internet 给出了大量的协议实例。

这本书还与时俱进地引入了最新的网络技术，包括无线网络、3G 蜂窝网络、RFID 与传感器网络、内容分发与 P2P 网络、流媒体传输与 IP 语音，以及延迟容忍网络等。另外，本书针对当前网络应用中日益突出的安全问题，用了一整章的篇幅对计算机网络的安全性进行了深入讨论，而且把相关内容与最新网络技术结合起来阐述。这本书读起来并不枯燥，因为其占有很多小故事和小段子。

然后，有两个网上的教程和讲义也可以让人入门。

网络调优

接下来，你可能需要一些非常实用的可以操作的技术，下面的几篇文章相信可以帮助到你。

网络协议

接下来，想要学习网络协议最好的方式就是学习通讯相关的 RFC。所以，在这里会推荐一系列值得读的 RFC 给你。读 RFC 有几个好处，一方面可以学习技术，另一方面，你可以通过 RFC 学习到一个好的技术文档是怎么写的，还能看到各种解决问题的方案和思路。

对于第 2 层链路层，你可能需要了解一下 ARP：

以及 Tunnel 相关的协议：

对于第 4 层，你最需要了解的是 TCP/IP 了。和 TCP 相关的 RFC 相当多，这里给一系列经典的 RFC。这些 RFC 都引用在了在 CoolShell 上的《TCP 的那些事儿（上）》和《TCP 的那些事儿（下）》两篇文章中。如果你看不懂 RFC，你也可以去看上述的文章。

个人觉得 TCP 最牛的不是不丢包，而是拥塞控制。对此，如果你感兴趣，可以读一下经典论文《Congestion Avoidance and Control》。

关于 Linux 下的 TCP 参数，你需要仔仔细细地读一下TCP 的 man page 。

对于第 7 层协议，HTTP 协议是重点要学习的。

首先推荐的是《HTTP 权威指南 》，这本书有点厚，可以当参考书来看。这本书中没有提到 HTTP/2 的事，但是可以让你了解到 HTTP 协议的绝大多数特性。

HTTP 1.1 的原始 RFC 是 1999 年 6 月的 RFC 2616，但其在 2014 后很快被下面这些 RFC 给取代了。

关于HTTP/2，这是 HTTP 的一个比较新的协议，它于 2015 年被批准通过，现在基本上所有的主流浏览器都默认启用这个协议。所以，你有必要学习一下这个协议。下面是相关的学习资源。

最后，你可以上 Wikipedia 的 Internet Protocol Suite 上看看，这是一个很不错的网络协议的词条汇集地。顺着这些协议，你可以找到很多有用的东西。

扫一扫，分享到微信

微信分享二维码
  • Copyrights © 2020-2022 Henry
  • Visitors: | Views:

请我喝杯咖啡吧~

支付宝
微信