Multiprocessing är en populär teknik inom Python-programmering som låter dig köra flera processer samtidigt, vilket ofta resulterar i prestandaförbättringar och mer effektiv användning av systemresurser. Den här artikeln dyker ner i användningen av multibehandlings bibliotek i Python, speciellt med fokus på karta fungera. Kartfunktionen låter dig tillämpa en funktion på varje objekt i en iterabel, till exempel en lista, och returnera en ny lista med resultaten. Genom att utnyttja multiprocessing kan vi parallellisera denna process för större effektivitet och skalbarhet.
I den här artikeln kommer vi att utforska problemet för vilket multiprocessing med kartfunktion kan vara en utmärkt lösning, diskutera relevanta bibliotek och funktioner, ge en steg-för-steg-förklaring av koden och fördjupa oss i relaterade ämnen som bygger på ryggraden av multiprocessing och kartfunktionen.
Multiprocessing Map: Problemet och lösningen
Problemet vi strävar efter att lösa är att förbättra prestandan och effektiviteten av att tillämpa en funktion på varje objekt i en stor iterabel, såsom en lista, tuppel eller något annat objekt som stöder iteration. När man står inför sådana uppgifter kan det vara ganska långsamt och ineffektivt att använda den inbyggda kartfunktionen eller listförståelse.
Lösningen är att använda multiprocessing-biblioteket i Python, närmare bestämt Pool klass och dess karta metod. Genom att använda multiprocessing Pool.map() funktion, kan vi fördela utförandet av vår funktion över flera processer.
Steg-för-steg-förklaring av koden
Låt oss bryta ner koden och illustrera hur man använder multiprocessing map-funktionen effektivt:
import multiprocessing
import time
def square(n):
time.sleep(0.5)
return n * n
# Create the list of numbers
numbers = list(range(10))
# Initialize the multiprocessing Pool
pool = multiprocessing.Pool()
# Use the map function with multiple processes
squared_numbers = pool.map(square, numbers)
print(squared_numbers)
- Importera först multibehandlings modul, som innehåller de verktyg som krävs för att använda parallell bearbetning i Python.
- Skapa en funktion som heter kvadrat som helt enkelt sover i en halv sekund och sedan returnerar kvadraten på sitt inmatningsargument. Denna funktion simulerar en beräkning som tar en rimlig tid att slutföra.
- Skapa en lista som heter nummer, som innehåller heltal från 0 till 9 (inklusive).
- Initiera a Pool objekt från multiprocessormodulen. Poolobjektet fungerar som ett sätt att hantera de arbetsprocesser som du kommer att använda för att parallellisera dina uppgifter.
- Ring karta metod på poolobjektet och skicka in kvadrat funktion och nummer lista. Kartmetoden tillämpar sedan kvadratfunktionen på varje objekt i nummerlistan samtidigt, med hjälp av de tillgängliga arbetsprocesserna i poolen.
- Skriv ut den resulterande listan med kvadratiska_tal, som ska innehålla kvadratvärdena från tallistan.
Python Multiprocessing Library
Python multibehandlings biblioteket ger ett intuitivt sätt att implementera parallellism i ditt program. Det maskerar en del av komplexiteten som vanligtvis förknippas med parallell programmering genom att erbjuda abstraktioner på hög nivå som Pool. Poolklassen förenklar fördelningen av arbete över flera processer, vilket gör att användaren kan uppleva fördelarna med parallell bearbetning med minimalt krångel.
Python Itertools-modul och relaterade funktioner
Även om multiprocessing är en utmärkt lösning för många parallella uppgifter, är det värt att nämna att Python också tillhandahåller andra bibliotek och verktyg som tillgodoser liknande behov. Itertools-modulen erbjuder till exempel en mängd funktioner som fungerar på iterables, ofta med förbättrad effektivitet. Vissa itertools fungerar som imap() och imap_unordered() kan parallellisera processen att applicera en funktion på en iterabel. Det är dock viktigt att notera att itertools i första hand fokuserar på iteratorbaserade lösningar, medan multiprocessorbiblioteket erbjuder ett mer omfattande tillvägagångssätt för parallellism, vilket ger ytterligare verktyg och möjligheter utöver kartliknande funktioner.
