概述
現(xiàn)在大家使用的基本上都是多核cpu，一般是4核的。平時應用程序在運行時都是由操作系統(tǒng)管理的。操作系統(tǒng)對應用進程進行調(diào)度，使其在不同的核上輪番運行。
對于普通的應用，操作系統(tǒng)的默認調(diào)度機制是沒有問題的。但是，當某個進程需要較高的運行效率時，就有必要考慮將其綁定到單獨的核上運行，以減小由于在不同的核上調(diào)度造成的開銷。
把某個進程/線程綁定到特定的cpu核上后，該進程就會一直在此核上運行，不會再被操作系統(tǒng)調(diào)度到其他核上。但綁定的這個核上還是可能會被調(diào)度運行其他應用程序的。
操作系統(tǒng)對多核cpu的調(diào)度
目前windows和linux都支持對多核cpu進行調(diào)度管理。
軟件開發(fā)在多核環(huán)境下的核心是多線程開發(fā)。這個多線程不僅代表了軟件實現(xiàn)上多線程，要求在硬件上也采用多線程技術。
多核操作系統(tǒng)的關注點在于進程的分配和調(diào)度。進程的分配將進程分配到合理的物理核上，因為不同的核在共享性和歷史運行情況都是不同的。有的物理核能夠共享二級cache，而有的卻是獨立的。如果將有數(shù)據(jù)共享的進程分配給有共享二級cache的核上，將大大提升性能；反之，就有可能影響性能。
進程調(diào)度會涉及實時性、負載均衡等問題，目前研究的熱點問題主要集中在以下方面：
- 程序的并行開發(fā)設計
- 多進程的時間相關性
- 任務的分配和調(diào)度
- 緩存的錯誤共享
- 一致性訪問問題
- 進程間通信
- 多處理器核內(nèi)部資源競爭
多進程和多線程在cpu核上運行時情況如下：
- 每個 CPU 核運行一個進程的時候，由于每個進程的資源都獨立，所以 CPU 核心之間切換的時候無需考慮上下文
- 每個 CPU 核運行一個線程的時候，有時線程之間需要共享資源，所以這些資源必須從 CPU 的一個核心被復制到另外一個核心，這會造成額外的開銷
綁定進程到cpu核上運行
查看cpu有幾個核
使用cat /proc/cpuinfo查看cpu信息，如下兩個信息：
- processor，指明第幾個cpu處理器
- cpu cores，指明每個處理器的核心數(shù)
也可以使用系統(tǒng)調(diào)用sysconf獲取cpu核心數(shù)：
#include <unistd.h>
int sysconf(_SC_NPROCESSORS_CONF);/* 返回系統(tǒng)可以使用的核數(shù)，但是其值會包括系統(tǒng)中禁用的核的數(shù)目，因 此該值并不代表當前系統(tǒng)中可用的核數(shù) */
int sysconf(_SC_NPROCESSORS_ONLN);/* 返回值真正的代表了系統(tǒng)當前可用的核數(shù) */
/* 以下兩個函數(shù)與上述類似 */
#include <sys/sysinfo.h>
int get_nprocs_conf (void);/* 可用核數(shù) */
int get_nprocs (void);/* 真正的反映了當前可用核數(shù) */
我使用的是虛擬機，有2個處理器，每個處理器只有一個核，等同于一個處理器兩個核心。
使用taskset指令
- 獲取進程pid
-> % ps
PID TTY TIME CMD
2683 pts/1 00:00:00 zsh
2726 pts/1 00:00:00 dgram_servr
2930 pts/1 00:00:00 ps
- 查看進程當前運行在哪個cpu上
-> % taskset -p 2726
pid 2726's current affinity mask: 3
顯示的十進制數(shù)字3轉(zhuǎn)換為2進制為最低兩個是1，每個1對應一個cpu，所以進程運行在2個cpu上。
- 指定進程運行在cpu1上
-> % taskset -pc 1 2726
pid 2726's current affinity list: 0,1
pid 2726's new affinity list: 1
注意，cpu的標號是從0開始的，所以cpu1表示第二個cpu（第一個cpu的標號是0）。
至此，就把應用程序綁定到了cpu1上運行，查看如下：
-> % taskset -p 2726
pid 2726's current affinity mask: 2
- 啟動程序時綁定cpu
#啟動時綁定到第二個cpu
-> % taskset -c 1 ./dgram_servr&
[1] 3011
#查看確認綁定情況
-> % taskset -p 3011
pid 3011's current affinity mask: 2
使用sched_setaffinity系統(tǒng)調(diào)用
sched_setaffinity可以將某個進程綁定到一個特定的CPU。
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <sched.h>
/* 設置進程號為pid的進程運行在mask所設定的CPU上
* 第二個參數(shù)cpusetsize是mask所指定的數(shù)的長度
* 通常設定為sizeof(cpu_set_t)
* 如果pid的值為0,則表示指定的是當前進程
*/
int sched_setaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);
int sched_getaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);/* 獲得pid所指示的進程的CPU位掩碼,并將該掩碼返回到mask所指向的結構中 */
- 實例
#include<stdlib.h>
#include<stdio.h>
#include<sys/types.h>
#include<sys/sysinfo.h>
#include<unistd.h>
#define __USE_GNU
#include<sched.h>
#include<ctype.h>
#include<string.h>
#include<pthread.h>
#define THREAD_MAX_NUM 200 //1個CPU內(nèi)的最多進程數(shù)
int num=0; //cpu中核數(shù)
void* threadFun(void* arg) //arg 傳遞線程標號（自己定義）
{
cpu_set_t mask; //CPU核的集合
cpu_set_t get; //獲取在集合中的CPU
int *a = (int *)arg;
int i;
printf("the thread is:%d\n",*a); //顯示是第幾個線程
CPU_ZERO(&mask); //置空
CPU_SET(*a,&mask); //設置親和力值
if (sched_setaffinity(0, sizeof(mask), &mask) == -1)//設置線程CPU親和力
{
printf("warning: could not set CPU affinity, continuing...\n");
}
CPU_ZERO(&get);
if (sched_getaffinity(0, sizeof(get), &get) == -1)//獲取線程CPU親和力
{
printf("warning: cound not get thread affinity, continuing...\n");
}
for (i = 0; i < num; i++)
{
if (CPU_ISSET(i, &get))//判斷線程與哪個CPU有親和力
{
printf("this thread %d is running processor : %d\n", i,i);
}
}
return NULL;
}
int main(int argc, char* argv[])
{
int tid[THREAD_MAX_NUM];
int i;
pthread_t thread[THREAD_MAX_NUM];
num = sysconf(_SC_NPROCESSORS_CONF); //獲取核數(shù)
if (num > THREAD_MAX_NUM) {
printf("num of cores[%d] is bigger than THREAD_MAX_NUM[%d]!\n", num, THREAD_MAX_NUM);
return -1;
}
printf("system has %i processor(s). \n", num);
for(i=0;i<num;i++)
{
tid[i] = i; //每個線程必須有個tid[i]
pthread_create(&thread[i],NULL,threadFun,(void*)&tid[i]);
}
for(i=0; i< num; i++)
{
pthread_join(thread[i],NULL);//等待所有的線程結束，線程為死循環(huán)所以CTRL+C結束
}
return 0;
}
- 運行結果
-> % ./a.out
system has 2 processor(s).
the thread is:0
the thread is:1
this thread 0 is running processor : 0
this thread 1 is running processor : 1
綁定線程到cpu核上運行
- 綁定線程到cpu核上使用pthread_setaffinity_np函數(shù)，其原型定義如下：
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <pthread.h>
int pthread_setaffinity_np(pthread_t thread, size_t cpusetsize, const cpu_set_t *cpuset);
int pthread_getaffinity_np(pthread_t thread, size_t cpusetsize, cpu_set_t *cpuset);
Compile and link with -pthread.
各參數(shù)的意義與sched_setaffinity相似。
實例
#define _GNU_SOURCE
#include <pthread.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#define handle_error_en(en, msg) \
do { errno = en; perror(msg); exit(EXIT_FAILURE); } while (0)
int
main(int argc, char *argv[])
{
int s, j;
cpu_set_t cpuset;
pthread_t thread;
thread = pthread_self();
/* Set affinity mask to include CPUs 0 to 7 */
CPU_ZERO(&cpuset);
for (j = 0; j < 8; j++)
CPU_SET(j, &cpuset);
s = pthread_setaffinity_np(thread, sizeof(cpu_set_t), &cpuset);
if (s != 0)
handle_error_en(s, "pthread_setaffinity_np");
/* Check the actual affinity mask assigned to the thread */
s = pthread_getaffinity_np(thread, sizeof(cpu_set_t), &cpuset);
if (s != 0)
handle_error_en(s, "pthread_getaffinity_np");
printf("Set returned by pthread_getaffinity_np() contained:\n");
for (j = 0; j < CPU_SETSIZE; j++)
if (CPU_ISSET(j, &cpuset))
printf(" CPU %d\n", j);
exit(EXIT_SUCCESS);
}
- 運行結果
-> % ./a.out
Set returned by pthread_getaffinity_np() contained:
CPU 0
CPU 1
總結
可以使用多種方法把進程/線程指定到特定的cpu核上運行。
在具體使用中，要根據(jù)使用場景和需求決定使用何種方式。個人認為，重要的一步還是要先確定是否要使用把線程綁定到核心的方式。
【參考資料】
多核技術導論之操作系統(tǒng)對多核處理器的支持方法
線程綁定CPU核-sched_setaffinity
PTHREAD_SETAFFINITY_NP(3) Linux Programmer's ManualPTHREAD_SETAFFINITY_NP(3)
