跳到主要內容

Dev 日誌 | 一次 Segmentation Fault 和 GCC Illegal Instruction 編譯問題排查


摘要


筆者最近在重新整理和編譯 Nebula Graph 的第三方依賴，選出兩個比較有意思的問題給大家分享一下。


Flex Segmentation Fault——Segmentation fault (core dumped)


在編譯 Flex 過程中，遇到了 Segmentation fault：


make[2]: Entering directory '/home/dutor/flex-2.6.4/src'
 ./stage1flex   -o stage1scan.c ./scan.l
 make[2]: *** [Makefile:1696: stage1scan.c] Segmentation fault (core dumped)

使用 gdb 查看 coredump：


Core was generated by `./stage1flex -o stage1scan.c ./scan.l'.
 Program terminated with signal SIGSEGV, Segmentation fault.
 #0  flexinit (argc=4, argv=0x7ffd25bea718) at main.c:976
 976             action_array[0] = '\0';
 (gdb) disas
 Dump of assembler code for function flexinit:
    0x0000556c1b1ae040 <+0>:     push   %r15
    0x0000556c1b1ae042 <+2>:     lea    0x140fd(%rip),%rax        # 0x556c1b1c2146
    ...
    0x0000556c1b1ae20f <+463>:   callq  0x556c1b1af460 <allocate_array> #這裏申請了buffer
    ...
 => 0x0000556c1b1ae24f <+527>:   movb   $0x0,(%rax) # 這裏向buffer[0]寫入一個字節，地址非法，掛掉了
    ...
 (gdb) disas allocate_array
 Dump of assembler code for function allocate_array:
    0x0000556c1b1af460 <+0>:     sub    $0x8,%rsp
    0x0000556c1b1af464 <+4>:     mov    %rsi,%rdx
    0x0000556c1b1af467 <+7>:     xor    %eax,%eax
    0x0000556c1b1af469 <+9>:     movslq %edi,%rsi
    0x0000556c1b1af46c <+12>:    xor    %edi,%edi
    0x0000556c1b1af46e <+14>:    callq  0x556c1b19a100 <reallocarray@plt> # 調用庫函數申請內存
    0x0000556c1b1af473 <+19>:    test   %eax,%eax # 判斷是否為 NULL
    0x0000556c1b1af475 <+21>:    je     0x556c1b1af47e <allocate_array+30># 跳轉至NULL錯誤處理
    0x0000556c1b1af477 <+23>:    cltq   # 將 eax 符號擴展至 rax，造成截斷
    0x0000556c1b1af479 <+25>:    add    $0x8,%rsp
    0x0000556c1b1af47d <+29>:    retq
    ...
 End of assembler dump.

可以看到，問題出在了 allocate_array 函數。因為 reallocarray 返回指針，返回值應該使用 64 bit 寄存器rax，但 allocate_array 調用 reallocarray 之後，檢查的卻是 32 bit 的 eax，同時使用 cltq 指令將 eax 符號擴展 到 rax。原因只有一個：allocate_array 看到的 reallocarray 的原型，與 reallocarry 的實際定義不符。翻看編譯日誌，確實找到了 implicit declaration of function 'reallocarray' 相關的警告。configure 階段添加 CFLAGS=-D_GNU_SOURCE 即可解決此問題。


注：此問題不是必現，但編譯/鏈接選項 -pie 和 內核參數 kernel.randomize_va_space 有助於復現。


總結：



  • 隱式聲明的函數在 C 中，返回值被認為是 int。

  • 關注編譯器告警，-Wall -Wextra 要打開，開發模式下最好打開 -Werror。


GCC Illegal Instruction——internal compiler error: Illegal instruction


前陣子，接到用戶反饋，在編譯 Nebula Graph 過程中遭遇了編譯器非法指令的錯誤，詳見(#978)[]


錯誤信息大概是這樣的：


Scanning dependencies of target base_obj_gch
 [ 0%] Generating Base.h.gch
 In file included from /opt/nebula/gcc/include/c++/8.2.0/chrono:40,
 from /opt/nebula/gcc/include/c++/8.2.0/thread:38,
 from /home/zkzy/nebula/nebula/src/common/base/Base.h:15:
 /opt/nebula/gcc/include/c++/8.2.0/limits:1599:7: internal compiler error: Illegal instruction
 min() _GLIBCXX_USE_NOEXCEPT { return FLT_MIN; }
 ^~~
 0xb48c5f crash_signal
 ../.././gcc/toplev.c:325
 Please submit a full bug report,
 with preprocessed source if appropriate.

既然是 internal compiler error，想必是 g++ 本身使用了非法指令。為了定位具體的非法指令集及其所屬模塊，我們需要復現這個問題。幸運的是，下面的代碼片段就能觸發：


#include <thread>
 int main() 
 {
     return 0;
 }

非法指令一定會觸發 SIGILL，又因為 g++ 只是編譯器的入口，真正幹活的是 cc1plus。我們可以使用 gdb 來運行編譯命令，抓住子進程使用非法指令的第一現場：


$ gdb --args /opt/nebula/gcc/bin/g++ test.cpp
 gdb> set follow-fork-mode child
 gdb> run
 Starting program: /opt/nebula/gcc/bin/g++ test.cpp
 [New process 31172]
 process 31172 is executing new program: /opt/nebula/gcc/libexec/gcc/x86_64-pc-linux-gnu/8.2.0/cc1plus
 Thread 2.1 "cc1plus" received signal SIGILL, Illegal instruction.
 [Switching to process 31172]
 0x00000000013aa0fb in __gmpn_mul_1 ()
 gdb> disas
 ...
 0x00000000013aa086 <+38>: mulx (%rsi),%r10,%r8
 ...

Bingo！mulx 屬於 BMI2 指令集，報錯機器 CPU 不支持該指令集。
仔細調查，引入該指令集的是 GCC 的依賴之一，GMP。默認情況下，GMP 會在 configure 階段探測當前機器的 CPU 具體類型，以期最大化利用 CPU 的擴展指令集，提升性能，但卻犧牲了二進制的可移植性。解決方法是，在 configure 之前，使用代碼目錄中的 configfsf.guess configfsf.sub 替換或者覆蓋默認的 config.guess 和 config.sub


總結：



  • 某些依賴可能因為性能或者配置的原因，造成二進制的不兼容。

  • 缺省參數下，GCC 為了兼容性，不會使用較新的指令集。

  • 為了平衡兼容性和性能，你需要做一些額外的工作，比如像 glibc 那樣在運行時選擇和綁定某個具體實現。


最後，如果你想嘗試編譯一下 Nebula 源代碼可參考以下方式：


bash> git clone https://github.com/vesoft-inc/nebula.git
 bash> cd nebula && ./build_dep.sh N

有問題請在 GitHub 或者微信公眾號上留言。


附錄



  • Nebula Graph：一個開源的分佈式圖數據庫

  • GitHub：

  • 知乎：

  • 微博：


本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】

※想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計



※不管是台北網頁設計公司、台中網頁設計公司，全省皆有專員為您服務



※Google地圖已可更新顯示潭子電動車充電站設置地點!!



※帶您來看台北網站建置，台北網頁設計，各種案例分享



※小三通物流營運型態?



※快速運回,大陸空運推薦?



Orignal From: Dev 日誌 | 一次 Segmentation Fault 和 GCC Illegal Instruction 編譯問題排查

留言

張貼留言

這個網誌中的熱門文章

架構設計 | 異步處理流程，多種實現模式詳解

本文源碼：GitHub·點這裏 || GitEE·點這裏 一、異步處理 1、異步概念 異步處理不用阻塞當前線程來等待處理完成，而是允許後續操作，直至其它線程將處理完成，並回調通知此線程。 必須強調一個基礎邏輯，異步是一種設計理念，異步操作不等於多線程，MQ中間件，或者消息廣播，這些是可以實現異步處理的方式。 同步處理和異步處理相對，需要實時處理並響應，一旦超過時間會結束會話，在該過程中調用方一直在等待響應方處理完成並返回。同步類似電話溝通，需要實時對話，異步則類似短信交流，發送消息之後無需保持等待狀態。 2、異步處理優點 雖然異步處理不能實時響應，但是處理複雜業務場景，多數情況都會使用異步處理。 異步可以解耦業務間的流程關聯，降低耦合度； 降低接口響應時間，例如用戶註冊，異步生成相關信息表； 異步可以提高系統性能，提升吞吐量； 流量削峰即把請求先承接下來，然後在異步處理； 異步用在不同服務間，可以隔離服務，避免雪崩； 異步處理的實現方式有很多種，常見多線程，消息中間件，發布訂閱的廣播模式，其根據邏輯在於先把請求承接下來，放入容器中，在從容器中把請求取出，統一調度處理。 注意 ：一定要監控任務是否產生積壓過度情況，任務如果積壓到雪崩之勢的地步，你會感覺每一片雪花都想勇闖天涯。 3、異步處理模式 異步流程處理的實現有好多方式，但是實際開發中常用的就那麼幾種，例如： 基於接口異步響應，常用在第三方對接流程； 基於消息生產和消費模式，解耦複雜流程； 基於發布和訂閱的廣播模式，常見系統通知 異步適用的業務場景，對數據強一致性的要求不高，異步處理的數據更多時候追求的是最終一致性。 二、接口響應異步 1、流程描述 基於接口異步響應的方式，有一個本地業務服務，第三方接口服務，流程如下： 本地服務發起請求，調用第三方服務接口； 請求包含業務參數，和成功或失敗的回調地址； 第三方服務實時響應流水號，作為該調用的標識； 之後第三方服務處理請求，得到最終處理結果； 如果處理成功，回調本地服務的成功通知接口； 如果處理失敗，回調本地服務的失敗通知接口； 整個流程基於部分異步和部分實時的模式，完整處理； 注意 ：如...
張貼留言
閱讀完整內容

.NET Core前後端分離快速開發框架(Core.3.0+AntdVue)

.NET Core前後端分離快速開發框架(Core.3.0+AntdVue) 目錄 引言 時間真快，轉眼今年又要過去了。回想今年，依次開源發布了 Colder.Fx.Net.AdminLTE(254Star) 、 Colder.Fx.Core.AdminLTE(335Star) 、 DotNettySocket(82Star) 、 IdHelper(47Star) ，這些框架及組件都是本着以實際出發，實事求是的態度，力求提高開發效率（我自己都是第一個使用者），目前來看反響不錯。但是隨着前端和後端技術的不斷變革，尤其是前端，目前大環境已經是前後端完全分離為主的開發模式，在這樣的大環境和必然趨勢之下，傳統的MVC就顯得有些落伍了。在這樣的背景下，一款前後端分離的.NET開發框架就顯得尤為必要，由此便定了框架的升級目標： 前後端分離 。 首先後端技術的選擇，從目前的數據來看，.NET Core的發展遠遠快於.NET Framework，最簡單的分析就是Colder.Fx.Core.AdminLTE發布比Colder.Fx.Net.AdminLTE晚，但是星星卻後來居上而且比前者多30%，並且這個差距在不斷擴大，由點及面的分析可以看出我們廣大.NET開發人員學習的熱情和积極向上的態度，並不是某些人所認為的那麼不堪（ 走自己的路，讓別人說去吧 ）。大環境上微軟积極擁抱開源，大力發展.NET Core， 可以說前途一片光明。因此後端決定採用 .NET Core3.0 ，不再浪費精力去支持.NET Framework。 然後是前端技術選擇，首選是三大js框架選擇，也是從實際出發，Vue相對其它而言更加容易上手，並且功能也毫不遜色，深得各種大小公司喜歡，如果偏要說缺點的話，那就是對TS支持不行，但是即將發布Vue3.0肯定會改變這一缺陷。選擇了Vue之後，然後就是UI框架的選擇了，這裏的選擇更多了，我選擇了Ant Design Vue，理由便是簡潔方便，十分符合我的設計理念。 技術選型完畢之後便...
張貼留言
閱讀完整內容

請問一下純電動汽車快充接頭上的PE,CC,CP,NC1,NC2什麼意思呢?

其實不難董，以下是每一個的解釋 1、CP CC代表充電控制和連接檢測，主要是協議線。 2、L是三相輸入U線。 3、NC1是三相輸入V線。 4、NC2是三相輸入W線。 5、N是三項輸入中線。 6、PE代表接地線。 台中電動車     潭子電動車 Orignal From: 請問一下純電動汽車快充接頭上的PE,CC,CP,NC1,NC2什麼意思呢?
張貼留言
閱讀完整內容